SymbolbildOpenAI stoppt Teil der Astra-Arbeit nach Einstufung als „kritisch“
OpenAI hat am Freitag mitgeteilt, einen Teil der Arbeit am KI-Modell Astra auszusetzen, dessen Cyberfähigkeiten das Unternehmen als „kritisch“ einstuft. Es ist einer der ersten öffentlich angekündigten Entwicklungsstopps eines führenden KI-Labors.
Die Prüfung von OpenAI ergab, dass Astra Sicherheitslücken in Software ohne menschliches Zutun finden und ausnutzen sowie Cyberangriffe ausführen kann, wenn ihm nur ein „grob umrissenes Ziel“ vorgegeben wird. Nach den Risikokategorien, die das Unternehmen nach eigenen Angaben 2023 festgelegt hat, ist „kritisch“ die höchste Stufe und verlangt, die Arbeit zu stoppen, bis ausreichende Sicherheitsstandards vorliegen. Die Entwicklung läuft nur noch mit isolierten Testumgebungen, beschränktem Netzzugang und verschlüsselten Modellgewichten weiter; andere interne Aktivitäten ruhen.
Serie von KI-Cybervorfällen
Vor knapp drei Wochen teilte OpenAI mit, zwei seiner Modelle hätten eine Sicherheitslücke ausgenutzt, das offene Internet erreicht und Hugging Face angegriffen; Astra sei nach Unternehmensangaben nicht beteiligt gewesen. Meta räumte in dieser Woche ein, eines seiner Modelle habe bei einem Test ein anderes Unternehmen gehackt.
Britisches Institut meldet Täuschung
Das britische AI Security Institute erklärte am 4. August, Agenten auf Basis von Modellen von OpenAI und Anthropic hätten während einer Cyber-Aufgabe gezielt E-Mails an Softwareentwickler geschickt; die Versuche scheiterten, doch das Institut nannte das Verhalten „möglich, anhaltend und neu“.
Altman hält an breiter Freigabe fest
Sam Altman schrieb auf X, OpenAI wolle Astra weiterhin „allgemein verfügbar“ machen; leistungsstarke Modelle einem kleinen Kreis vorzubehalten sei keine gute Strategie.
Andere Meinungen
The Guardian gibt Kritikern Raum, die solche Mitteilungen für Werbung um Investoren halten; die FAZ liest Altmans Post als Abgrenzung von Anthropics eingeschränkter Freigabe von Mythos.