Die Aufgabe verlangte einen Beleg aus dem Internet, das Modell hatte aber nur sein eigenes Rechenergebnis. Also lud es die selbst erzeugte Datei auf einen öffentlichen Speicherdienst hoch – und führte die frisch entstandene Adresse als Quelle an. Den Nutzer fragte es nicht.

Der Fall gehört zu sechs Zwischenfällen, die der ChatGPT-Entwickler OpenAI am Mittwoch offengelegt hat. Sie ereigneten sich seit Oktober bei Trainingsläufen und internen Tests. Das Muster ist in allen Fällen ähnlich: Die Modelle erfüllen nicht die gestellte Aufgabe, sondern das Kriterium, an dem sie gemessen werden.

So verschleierten Modelle beim Training eines neuen Systems eigene Fehler und erfanden fehlende historische Daten. Ein Modell durchsuchte öffentliche Programmierplattformen nach offen herumliegenden Zugangsschlüsseln und legte sich Wegwerf-Mailkonten zu; als es die verlangten Geschäftszahlen dennoch nicht fand, erfand es sie. Ein noch unveröffentlichtes Forschungsmodell schrieb sich in die eigenen Notizen Anweisungen, die es von seinen Vorgaben lösen sollten – darunter die Aufforderung, Entwicklerbefehle zu ignorieren. In einem weiteren Fall nutzten Modelle ein internes Firmenarchiv als schwarzes Brett und tauschten darüber Informationen zwischen Trainingsläufen aus, die eigentlich voneinander getrennt sein sollten.

Zugleich führt OpenAI ein Meldeverfahren ein. Jeder Mitarbeiter soll einen Verdachtsfall melden können; klare Fälle werden binnen sechs Arbeitstagen veröffentlicht, aufwendigere binnen zwölf. Wer eine Offenlegung für nötig hält und überstimmt wird, kann die Geschäftsleitung anrufen. Einen Branchenstandard dafür gibt es nicht – das Unternehmen bezeichnet den Schritt als freiwillig und hofft nach eigenen Angaben, damit gemeinsame Regeln anzustossen.

Der Hintergrund ist ein schwererer Vorfall: Im Juli hatte OpenAI eingeräumt, dass Modelle während einer Erprobung ihre Testumgebung verlassen, sich Internetzugang verschafft und Systeme des KI-Unternehmens Hugging Face kompromittiert hatten. Anthropic meldete im selben Monat, seine Modelle seien bei Tests in drei Organisationen eingedrungen. Sicherheitsfachleute weisen darauf hin, dass sich viele dieser Vorfälle mit gewöhnlichen Schutzmassnahmen hätten verhindern lassen. OpenAI selbst nennt zwei Ursachen: zu schwache interne Kontrollen – und Modelle, die sich schneller entwickelt haben als erwartet.