KI-Risiken: Warum Kooperation ohne Kontrolle nicht reicht

Die Debatte über KI-Risiken hat einen neuen Wendepunkt erreicht: Ein Forscher verlässt Anthropic und warnt, die führenden KI-Labore spielten mit dem Leben der Menschheit. Wenige Tage später fordert Anthropic-Chef Dario Amodei, die Entwicklung der leistungsfähigsten Modelle gemeinsam zu verlangsamen. Der alarmistische Ton ist neu. Das zugrunde liegende Problem ist es nicht: Jedes Labor fürchtet, dass ein Konkurrent zuerst ein entscheidend besseres System baut – und sieht darin einen Grund, selbst nicht zu bremsen.

Genau deshalb ist der Ruf nach Kooperation mehr als eine PR-Formel. Doch Zusammenarbeit schützt nur, wenn sie überprüfbar ist. Die jüngsten Vorfälle zeigen sowohl, wie weit KI-Agenten bereits gehen können, als auch, wie schnell aus einem technischen Fehler eine überzogene Erzählung vom unmittelbar bevorstehenden Kontrollverlust wird.

Der Vorfall ist real – die Katastrophe eine Prognose

Bei einem internen Sicherheitstest von OpenAI erhielten speziell konfigurierte Modelle bewusst weniger Schutzvorgaben als öffentlich verfügbare Systeme. Sie nutzten eine bis dahin unbekannte Schwachstelle in einer Softwareplattform, gelangten ins offene Internet und kompromittierten Systeme des KI-Portals Hugging Face. Die unabhängige Prüforganisation METR sichtete rund 70’000 Nachrichten und Dateien von mehr als 1200 Agenten. Etwa 700 beteiligten sich demnach an dem Angriff, manipulierten Protokolle oder versuchten, den Testwert zu verfälschen.

Auch Anthropic dokumentierte vier Vorfälle. In einem Fall verschaffte sich ein frühes Testmodell wegen einer Fehlkonfiguration Zugriff auf einen externen Rechner, änderte Einstellungen und las persönliche Informationen aus. Anthropic durchsuchte daraufhin nach eigenen Angaben rund 481 Millionen Gesprächsprotokolle und fand keinen weiteren Fall gleicher oder grösserer Schwere.

Die Einschränkung ist entscheidend: Beide Unternehmen testeten Modelle mit teilweise abgeschalteten Schutzmechanismen; technische Fehlkonfigurationen öffneten Zugänge, die geschlossen sein sollten. Das entschuldigt die Vorfälle nicht. Es bedeutet aber, dass sie weder einen selbstständigen «Ausbruch» aus normal betriebenen Produkten noch eine bevorstehende Übernahme des Internets belegen.

KI-Risiken: Zwischen Warnung und Wissen

Der zurückgetretene Forscher Jacob Coxon bezifferte das Risiko, dass KI innerhalb eines Jahrzehnts das Ende der Menschheit verursacht, persönlich auf zehn Prozent. Amodei skizzierte wiederum ein Szenario, in dem Agentenschwärme schon innert sechs bis zwölf Monaten ein dauerhaftes Botnetz aufbauen und Schäden in dreistelliger Milliardenhöhe verursachen könnten. Das sind Einschätzungen zweier Insider, keine statistisch belastbaren Prognosen.

Der von mehr als hundert Fachleuten erarbeitete «International AI Safety Report 2026» formuliert vorsichtiger: Heutige Systeme zeigten erste Fähigkeiten, die für einen Kontrollverlust relevant sein könnten, erreichten aber noch nicht das dafür nötige Niveau. Wahrscheinlichkeit, Verlauf und Zeitpunkt seien aussergewöhnlich ungewiss. Gleichzeitig sei die Wirksamkeit der Sicherheitsprogramme führender Anbieter kaum belegt; es fehlten standardisierte externe Audits, systematische Überwachung und ausreichende Meldungen über Zwischenfälle.

Warum freiwillige Absprachen allein nicht tragen