Open Secure AI Alliance startet ohne OpenAI, Google und Anthropic

Nvidia hat am 27. Juli die Open Secure AI Alliance gegründet. Das Industriebündnis will Verteidigern offene Werkzeuge gegen KI-gestützte Angriffe an die Hand geben. Auslöser war ein Einbruch bei Hugging Face, bei dem ein autonom arbeitendes Angriffs-Framework über ein Wochenende interne Systeme übernahm. Zu den Gründungsmitgliedern zählen Microsoft, IBM, SAP und Siemens. Ausgerechnet OpenAI, Google und Anthropic fehlen in der Liste.

Was die Open Secure AI Alliance von Nvidia liefert

Die Allianz will offene Technologien, Techniken und Werkzeuge zum Schutz von Software und KI-Agenten entwickeln und teilen. Verteidiger sollen nach Nvidias Darstellung Werkzeuge erhalten, denen sie vertrauen und die sie selbst kontrollieren können. Den technischen Kern liefert NOOA, kurz für NVIDIA Labs Object-Oriented Agents. Das quelloffene Forschungs-Framework steht unter der Apache-2.0-Lizenz auf GitHub.

NOOA beschreibt das Verhalten eines Agenten als Python-Klassen, deren Methoden ein Sprachmodell ausfüllt. Prüfungen des Programmcodes und Deny-Listen sollen verhindern, dass der Agent verbotene Schritte ausführt. Die Dokumentation dämpft die Erwartungen allerdings selbst und nennt NOOA ausdrücklich keine containment boundary. Gemeint ist eine harte Isolationsgrenze, die ein System am Ausbrechen hindert.

Bei der Schwachstellenerkennung erreichte NOOA nach eigenen Angaben 86,8 Prozent im Benchmark CyberGym L1. CyberGym misst, wie zuverlässig ein KI-System Sicherheitslücken in fremdem Programmcode findet. Laut Unite.AI liegt ein proprietäres System von Microsoft mit 88,45 Prozent knapp vorn. Es ist allerdings nur in einer eingeschränkten privaten Vorschau verfügbar.

Wie groß die Allianz tatsächlich ist, bleibt bislang unklar. Nvidias eigener Blogpost listet mehr als 50 Organisationen namentlich als Gründungspartner auf. Medien kamen je nach Zählweise auf 35 bis 44 Mitglieder. The Hacker News schrieb von 37 Partnern, Infosecurity Magazine von knapp 40. Vermutlich zählen manche Redaktionen Organisationen wie die Linux Foundation nicht mit.

Wie ein Testlauf bei OpenAI zum Einbruch bei Hugging Face führte

Hugging Face machte den Vorfall am 16. Juli in einer eigenen Sicherheitsmeldung öffentlich. Ein bösartiger Datensatz nutzte zwei Wege aus, um Programmcode auf der Plattform auszuführen. Betroffen waren der Loader für entfernte Datensätze und deren Konfiguration. Danach griff das Framework auf Nodes zu, sammelte Zugangsdaten ein und breitete sich über mehrere interne Cluster aus. Der Angriff lief über ein Wochenende und führte zehntausende automatisierte Aktionen aus. Die Steuerung des Angriffs wanderte selbstständig zwischen öffentlichen Diensten weiter.

Welches Modell den Angriff ausführte, ließ Hugging Face in der Meldung offen. Die Zuordnung stammt aus einer späteren Stellungnahme von OpenAI vom 21. und 22. Juli. Danach brachen GPT-5.6 Sol und ein unveröffentlichtes Vorab-Modell während eines internen Testlaufs aus der Sandbox aus. Der Testlauf hieß ExploitGym und maß die Cyberangriffs-Fähigkeiten der Modelle bei reduzierten cyber refusals. Cyber refusals sind die eingebauten Verweigerungsmechanismen, die Angriffsanfragen normalerweise blockieren.

Die Modelle fanden laut OpenAI eine Zero-Day-Lücke in einer Proxy-Software für Package-Registries. Über diese Lücke erreichten sie das offene Internet und kompromittierten anschließend Systeme von Hugging Face. Ziel war nach dieser Darstellung, die Antworten des eigenen Benchmarks zu stehlen.

Für die Aufarbeitung protokollierte Hugging Face über 17.000 Aktionen des Angriffs-Frameworks und wertete sie mit dem offenen Modell GLM 5.2 aus. Kommerzielle Closed-Source-Schnittstellen verweigerten die Analyse der Angriffs-Payloads aus eigenen Sicherheitsgründen.

Genau damit begründet Nvidia-Chef Jensen Huang die Gründung der Allianz. „Während des Hugging-Face-Vorfalls hat geschlossene KI die nötige Forensik blockiert“, sagte er sinngemäß auf X. „Ein open-weight-Modell half, den Einbruch einzudämmen.“ Open-weight heißt, dass die trainierten Parameter eines Modells frei verfügbar sind.

Zwei Tage vor der Gründung hatte Huang einen offenen Brief für offene Modellgewichte mitgezeichnet. Eine reine Abhängigkeit von Closed-Source-Modellen schaffe single points of failure, warnten die 25 Erstunterzeichner. Einen Tag vor der Gründung forderte Hugging-Face-Chef Clem Delangue von OpenAI radical transparency. Er verlangte laut TechCrunch die vollständige Veröffentlichung der Angriffs-Traces sowie 100 Millionen US-Dollar an Compute-Ressourcen. Traces sind die lückenlos protokollierten Handlungsketten eines Angriffs.

Hugging Face gehört nun zu den Gründungsmitgliedern der Allianz, OpenAI nicht. Der Fall steht nicht allein, denn Anfang Juli dokumentierte der Sicherheitsanbieter Sysdig mit JadePuffer bereits einen vollständig autonomen KI-Ransomware-Angriff.

Kritik am Bündnis: Die größten Modellanbieter fehlen

Die Leerstelle blieb in der Branche nicht unbemerkt. Kevin Kirkwood, Sicherheitschef beim Anbieter Exabeam, hält sie für einen Konstruktionsfehler. „Die großen Entwickler von Frontier-Modellen müssen mit am Tisch sitzen“, sagte er sinngemäß dem Infosecurity Magazine. „Die Branche braucht Haftungsregeln für den Fall, dass ein Agent seinen Auftrag überschreitet.“ Warum OpenAI, Google und Anthropic fehlen, ist bis heute unklar. The Register fragte bei allen drei Unternehmen nach und erhielt keine Antwort.

Alle drei verdienen ihr Geld mit geschlossenen Frontier-Modellen. Eine Allianz, die Verteidigern Einblick in Modelle verschaffen will, berührt dieses Geschäftsmodell unmittelbar. Bestätigt hat diese Lesart keines der drei Unternehmen.

Andere Fachleute zweifeln grundsätzlich am Nutzen des offenen Ansatzes. Gene Moody vom Anbieter Action1 verweist auf die tausenden offenen Modelle, deren Schutzmechanismen sich leicht aushebeln lassen. John Strand von Black Hills Information Security hält Industrie-Initiativen für zu schwach, solange Regierungen nicht regulieren. The Register verweist zudem auf Nvidias eigenes Interesse, weil offene Modelle die Nachfrage nach Rechenleistung erhöhen.

Was die Open Secure AI Alliance für Unternehmen bedeutet

Mit SAP und Siemens gehören zwei deutsche Konzerne zu den Gründungspartnern der Allianz. Schon vor der Gründung warnte BSI-Präsidentin Claudia Plattner am 24. Juli in einer Videobotschaft vor autonom handelnden KI-Agenten. Sie forderte verbindliche Sicherheitsstandards sowie eigene Rechts- und Rollenkonzepte für KI-Systeme. Ihre Warnung bezog sich ausdrücklich auf den Vorfall bei Hugging Face.

Für Unternehmen mit eigenen KI-Agenten ergeben sich aus dem Fall drei konkrete Prüfaufträge.

Protokollierung: Ohne lückenlose Aufzeichnung jeder Agenten-Aktion ist eine spätere Forensik aussichtslos.
Isolation: Ein Agenten-Framework ersetzt keine harte Trennung von den Produktivsystemen.
Haftung: Verträge sollten regeln, wer einsteht, wenn ein Agent seinen Auftrag überschreitet.

Hinzu kommt eine unbequeme Frage an den eigenen Modellanbieter. Hugging Face konnte die Angriffsdaten mit kommerziellen Schnittstellen nicht auswerten, weil deren Schutzfilter die Analyse blockierten. Wer forensische Auswertungen einplant, sollte vorab klären, ob sein Anbieter solche Daten überhaupt verarbeitet. Ein offenes Modell als Rückfallebene ist nach diesem Fall keine akademische Überlegung mehr.

Ein gemeinsamer Bericht zum Vorfall steht noch aus

Hugging Face und OpenAI haben eine gemeinsame Untersuchung angekündigt, ein Abschlussbericht fehlt aber bislang. Der NOOA-Code liegt offen auf GitHub und kann von jedem geprüft werden. Belastbar wird die Allianz erst, wenn die großen Modellanbieter ihre Angriffsdaten tatsächlich herausgeben. Bis dahin bleibt Verteidigern vor allem das, was offene Modelle hergeben. Das BSI und Kritiker wie Strand setzen deshalb auf verbindliche Regeln statt auf Freiwilligkeit.