KI-Agent lokal betreiben ohne Cloud: Meta und NVIDIA

Zwei der größten Technologiekonzerne der Welt haben binnen 24 Stunden je ein offenes KI-Modell veröffentlicht. Meta stellte am 10. August Muse Glimmer vor, NVIDIA folgte einen Tag später mit Nemotron 3.5 Lightning. Beide sollen autonome KI-Agenten auf einer einzelnen Grafikkarte möglich machen. Ein KI-Agent ist ein Programm, das mehrstufige Aufgaben eigenständig plant und dafür Werkzeuge aufruft. Wer KI-Agenten lokal betreiben will, ohne einen Cloud-Dienst der großen US-Anbieter zu nutzen, hat nun zwei ernstzunehmende Optionen.

Muse Glimmer und Nemotron 3.5 Lightning im Vergleich

Muse Glimmer stammt von Meta Superintelligence Labs und kam am 10. August 2026 heraus. Das Modell hat rund 30 Milliarden Parameter. Davon entfallen 2 Milliarden auf den Vision-Encoder und 28 Milliarden auf den Text-Decoder. Es verarbeitet Text und Bilder und beherrscht nach Angaben von Meta über 100 Sprachen. Meta stellt es unter Apache 2.0 und damit ohne die Nutzungsgrenzen der früheren Llama-Lizenzen. Getestet hat Meta das Modell auf MacBooks mit M4-Max und M5-Max sowie auf einer GeForce RTX 5090.

Nemotron 3.5 Lightning erschien einen Tag später und nutzt die Mixture-of-Experts-Bauweise. Bei dieser Architektur aktiviert das Modell pro Anfrage nur einen kleinen Teil seiner spezialisierten Teilnetze. Von rund 30 Milliarden Parametern sind deshalb nur etwa 3 Milliarden pro Token aktiv. Das Kontextfenster beschreibt die Textmenge, die ein Modell auf einmal verarbeiten kann. Bei Nemotron 3.5 Lightning reicht es laut NVIDIA bis zu einer Million Token, bei Muse Glimmer bis 131.072 Token. Im hauseigenen Benchmark PinchBench mit 10.000 agentischen Aufgaben gibt NVIDIA 86 Prozent Genauigkeit an.

Welche Hardware nötig ist, um KI-Agenten lokal ohne Cloud zu betreiben

Die Angaben der Hersteller klingen nach Gaming-PC, sie gelten aber nur eingeschränkt. Meta beziffert den Speicherbedarf von Muse Glimmer in einer auf 4 Bit reduzierten Fassung auf unter 20 Gigabyte. Quantisierung speichert die Zahlenwerte eines Modells gröber und spart so Speicher, kostet aber etwas Genauigkeit. In voller Präzision verlangt Glimmer laut Hugging-Face-Modellkarte eine Server-GPU mit 80 Gigabyte. Für ein vollständiges Fine-Tuning sind es sogar acht solcher Karten.

NVIDIA nennt für Nemotron 3.5 Lightning keine Gigabyte-Zahl, sondern nur Hardware-Klassen. Die Spanne reicht von Jetson-Boards und der GeForce RTX 5090 über DGX-Workstations bis in Rechenzentren mit Blackwell-GPUs. Beide Modelle nutzen Speculative Decoding. Bei dieser Technik schlägt ein kleines Entwurfsmodell mehrere Token vorab vor, die das Hauptmodell nur noch bestätigt. Meta misst so auf einer RTX 5090 den 3,1-fachen Durchsatz, auf einem MacBook mit M5-Max den 1,8-fachen. Für Nemotron 3.5 Lightning meldet das Analysehaus Artificial Analysis knapp 670 Token pro Sekunde aus Vorabtests des Anbieters DeepInfra.

Metas Rückkehr zu offenen Modellen und NVIDIAs eigene Modellsparte

Meta hat mit Muse Glimmer erstmals seit über einem Jahr wieder ein großes offenes Modell veröffentlicht, wie The Register berichtet. Die Llama-Reihe lief seit 2023 unter einer restriktiveren Community-Lizenz, die Dienste ab 700 Millionen monatlichen Nutzern ausschloss. Llama 4 galt im Markt als Enttäuschung, danach wurde es still um Metas offene Modelle. Zum Start von Glimmer veröffentlichte Mark Zuckerberg ein Essay von rund 6.500 Wörtern mit dem Titel „The Future Is for Everyone“. Verteilte Superintelligenz könne eine Ära der Selbstbestimmung einleiten, in der Einzelne ihr volles Potenzial ausschöpfen, schrieb er darin sinngemäß.

NVIDIA verfolgt eine andere Linie. Der Chiphersteller baut seit Monaten systematisch eine eigene Modellsparte neben seinem Kerngeschäft auf. Nach Marktberichten brachte NVIDIA im Juni 2026 bereits Nemotron 3 Ultra mit rund 550 Milliarden Parametern und offenen Gewichten heraus. Ende Mai hatte die Linux Foundation mit OpenMDW-1.1 eine besonders freizügige Lizenz speziell für KI-Modelle veröffentlicht. NVIDIA setzt sie inzwischen für Cosmos, Isaac GR00T und Nemotron ein, auch Lightning steht unter dieser Lizenz. Zeitgleich mit dem Modell brachte der Konzern NeMo Switchyard heraus, eine offene Routing-Bibliothek. Sie verteilt die Anfragen eines Agenten automatisch an das jeweils passende Modell und mischt dabei offene und geschlossene.

Kritik an den Benchmarks und am Etikett Open Source

Kari Briski, Vice President für generative KI bei NVIDIA, sagte gegenüber SiliconANGLE sinngemäß, Lightning lasse sich bemerkenswert leicht anpassen. Aus ihrer Sicht brauchen effiziente Agenten ein System aus mehreren Modellen statt eines einzigen großen. Unabhängige Beobachter widersprechen dieser Darstellung an mehreren Stellen. The Register hält Muse Glimmer mit 30 Milliarden Parametern für zu klein, um gegen chinesische Großmodelle wie Kimi K3 oder DeepSeek V4 zu bestehen. Glimmer ist ein Dense-Modell und nutzt bei jedem Token sämtliche Parameter, was mehr Rechenleistung kostet als die Mixture-of-Experts-Bauweise der Konkurrenz.

Schwerer wiegt der Streit um das Etikett „Open Source“. Meta veröffentlicht bei Glimmer nur die trainierten Gewichte, nicht aber die Trainingsdaten und die vollständige Trainingspipeline. Damit ist Glimmer im engeren Sinn ein Open-Weight-Modell, kein vollständig quelloffenes Modell. TechCrunch verweist auf einen strukturellen Widerspruch. Das leistungsfähigere Muse Spark bleibt geschlossen, offen ist nur die daraus abgeleitete kleinere Fassung. Genau dort zieht Meta die Grenze.

Auch NVIDIAs Zahlen halten dem Vergleich nicht überall stand. Im Intelligence Index von Artificial Analysis erreicht Nemotron 3.5 Lightning 24 Punkte, Qwen3.6 35B A3B dagegen 32. Nach dieser Auswertung liegt das chinesische Modell in 13 von 14 veröffentlichten Benchmark-Werten vorn. NVIDIA hält mit Tempo dagegen. Eine Aufgabe dauert bei Lightning rund eine halbe Minute, bei Qwen3.6 rund dreieinhalb Minuten. Gegen geschlossene Spitzenmodelle bleibt der Abstand groß. Gemini 3.5 Flash-Lite kommt im selben Index auf 37 Punkte, GPT-5.6 Luna in der Maximalstufe auf 52.

Ein weiterer Wert, den Meta veröffentlicht, betrifft nicht die Leistung, sondern den Datenschutz. Ein Agent auf dem eigenen Rechner sieht Kalender, Mails, Dateien und Bildschirminhalte. Der Benchmark CI Memories prüft, ob der Agent dieses Wissen sauber auseinanderhält. CI steht für Contextual Integrity, auf Deutsch für kontextuelle Integrität. Als Verstoß gilt, wenn das Modell eine Information in einem fremden Zusammenhang preisgibt. Ein Beispiel zur Veranschaulichung: Nennt ein Agent in einer Mail an einen Kunden beiläufig einen Arzttermin aus dem Privatkalender, wäre das ein solcher Verstoß. Glimmer kommt laut VentureBeat bei den Verstößen auf den Wert 26,4, wobei niedrigere Werte besser sind. Gemma4 schneidet mit 12,1 besser ab, Qwen3.6 liegt mit 53,4 klar dahinter.

Ein zweiter Test namens Siren AgentDojo misst die Anfälligkeit für Prompt Injection. Bei diesem Angriff versteckt ein Angreifer Anweisungen in Texten oder Webseiten, die der Agent verarbeitet. Befolgt der Agent sie, arbeitet er für den Angreifer. Glimmer liegt mit 28,4 Prozent erfolgreicher Angriffe erneut zwischen den beiden anderen Modellen. Gemma kommt auf 25,6 Prozent, Qwen auf 40,3 Prozent. Meta rät deshalb zu Schutzmechanismen und dazu, unumkehrbare Aktionen von einem Menschen bestätigen zu lassen. Der lokale Betrieb sichert den Weg der Daten, aber nicht das Verhalten des Modells.

Was es Unternehmen bringt, KI-Agenten lokal ohne Cloud zu betreiben

Für Unternehmen stellt sich mit beiden Modellen eine strategische Frage neu. Wer bisher einen leistungsfähigen Agenten wollte, musste Daten an die Cloud-API eines US-Anbieters schicken. Nun stehen zwei aktuelle Modelle von Großkonzernen mit freizügiger Lizenz bereit. Es geht um Datenhoheit, Kostenkontrolle und die Abhängigkeit von einem einzigen Anbieter. Dass keine Daten das eigene Rechenzentrum verlassen müssen, folgt aus der Technik und nicht aus der Zusicherung eines Herstellers.

Belastbare Preisvergleiche zwischen lokalem Betrieb und Cloud-API fehlen bislang. NVIDIA führt ausschließlich eigene Kundenreferenzen zu NeMo Switchyard an. LangChain senkte demnach die Kosten um 74 Prozent. Ramp meldet 58 Prozent weniger Kosten und eine um ein Drittel kürzere Laufzeit. CodeRabbit trainierte laut SiliconANGLE einen Router-Agenten für 85 US-Dollar in zwei Stunden. Alle diese Angaben stammen von NVIDIA selbst oder von dessen Kunden und sind nicht unabhängig geprüft.

Der Betrieb im eigenen Haus ist kein Selbstläufer. Quantisierte Fassungen laufen auf einer einzelnen Consumer-GPU, in voller Präzision braucht Glimmer eine 80-Gigabyte-Serverkarte. Dazu kommen Inferenz-Server, Updates, Monitoring und die Absicherung des Modells. Diese Arbeit übernimmt bei einer Cloud-API der Anbieter. Wer die Rechnung nur über gesparte Token-Kosten aufmacht, rechnet zu kurz.

Wohin die Entwicklung bei offenen KI-Modellen läuft

Der eigentliche Befund dieser beiden Tage ist kein einzelnes Modell. Zwei Konzerne mit sehr unterschiedlichen Interessen vertreten dieselbe These. Agenten brauchen kein einzelnes riesiges Modell, sondern eine sinnvolle Arbeitsteilung zwischen mehreren. NVIDIA verkauft dazu die Hardware und liefert mit Switchyard gleich den Verteiler. Meta sichert sich Verbreitung, behält das stärkere Modell aber für sich.

Offen bleibt, wie schnell die offenen Modelle zu den geschlossenen Spitzenmodellen aufschließen. Im Intelligence Index ist der Abstand derzeit noch erheblich. Offen ist auch, ob Meta seine Öffnung durchhält oder ob Glimmer eine einmalige Geste bleibt. An einem größeren Nemotron 4 arbeitet NVIDIA laut Marktberichten bereits, einen Termin hat der Konzern nicht genannt.

Für Unternehmen mit sensiblen Daten lohnt ein nüchterner Blick auf den eigenen Bedarf. Viele Agenten-Aufgaben sind Routine und verlangen keine Spitzenintelligenz, dafür reicht ein Modell auf eigener Hardware. Anspruchsvolles Reasoning bleibt vorerst die Domäne der großen geschlossenen Modelle. Eine belastbare Antwort liefert am Ende nur ein eigener Test mit den eigenen Aufgaben.