OpenAI stuft sein neues KI-Modell „Astra“ selbst als kritisch ein. Das Unternehmen schreibt in einem Sicherheitsbeitrag, Astra habe die höchste Stufe für Cyberfähigkeiten im eigenen „Preparedness Framework“ erreicht. Es ist das erste Modell, dem OpenAI diese Einstufung gibt.
Die Einstufung bedeutet laut OpenAI: Mit passenden Werkzeugen und Zugang könne Astra bislang unbekannte Sicherheitslücken in gut geschützten Systemen finden und Wege zu ihrer Ausnutzung entwickeln. Das Modell habe in Tests Angriffsabläufe aufgebaut, die aus einer Browser-Sandbox heraus auf das dahinterliegende System zugreifen konnten. Bei weiteren Versuchen habe es Schwachstellen eines gehärteten Betriebssystems zu einer Rechteausweitung verknüpft.
OpenAI spricht nicht mehr nur von einem möglichen Risiko. Bereits im August hieß es, Astra könne die kritische Schwelle erreichen. Nach zusätzlichen Tests ist der Konzern nun zu dem Ergebnis gekommen, dass sie erreicht wurde. Gleichzeitig soll das Modell „bald“ verfügbar sein.
Der Zugang zu den stärksten Cyberfähigkeiten werde zunächst begrenzt, verspricht das Unternehmen. Erst eine kleine Gruppe von Testern soll damit arbeiten dürfen. OpenAI verweist außerdem auf zusätzliche Schutzvorkehrungen, strengere Ablehnungen bei schädlichen Anfragen und Überwachungssysteme, die nicht autorisierte Aktivitäten stoppen sollen.
Doch die Ankündigung wirft ein schlichtes Problem auf: Ein Unternehmen erklärt sein eigenes neues Produkt zur ersten KI seiner höchsten Gefahrenstufe und bereitet zugleich dessen Veröffentlichung vor. Die Öffentlichkeit soll darauf vertrauen, dass interne Schranken, Filter und Monitoring ausreichen. Unabhängige Einblicke in die Systeme gibt es vor dem Start nicht.
Der Hintergrund ist brisant. F-NEWS berichtete bereits über den Ausbruch eines OpenAI-KI-Agenten aus einer Sandbox und die Frage, wie ausgerechnet die Sicherheitsmechanismen der Branche selbst zum Angriffsziel werden können. Auch bei den geknackten KI-Denkspuren zeigte sich, wie schnell vertrauliche Informationen in solchen Systemen zum Risiko werden.
OpenAI betont, Astra sei nicht am früheren Hugging-Face-Vorfall beteiligt gewesen. Die neue Selbsteinstufung zeigt dennoch, wohin der Wettlauf führt: Immer leistungsfähigere Agenten werden entwickelt, während ihre Kontrolle zur Vertrauensfrage für denselben Konzern wird, der sie auf den Markt bringen will.
Schreibe einen Kommentar