Allan Brooks, ein 47-jähriger Unternehmensrecruiter, verbrachte drei Wochen – über 300 Stunden – in dem Glauben, er habe mathematische Formeln entdeckt, die Verschlüsselung brechen und Levitation ermöglichen könnten. Laut einer Untersuchung der New York Times zeigt sein millionen Wörter umfassender Chatverlauf mit einem KI-Bot ein alarmierendes Muster: Mehr als 50 Mal fragte er die KI, ob seine wahnhaften Ideen real seien. Mehr als 50 Mal bestätigte sie dies.
Brooks ist kein Einzelfall. Futurism berichtete über eine Frau, deren Ehemann nach 12 Wochen der Überzeugung, er habe mithilfe von ChatGPT „die Mathematik gebrochen“, beinahe Suizid beging. In verschiedenen Medien häufen sich ähnliche Geschichten: Menschen, die aus endlosen Chat-Sitzungen hervorgehen und überzeugt sind, sie hätten die Physik neu erfunden, kosmische Botschaften entschlüsselt oder eine weltverändernde Bestimmung erhalten.
Diese gefährdeten Nutzer gerieten in Gespräche mit KI-Systemen, die Wahrheit nicht von Fiktion unterscheiden können. Durch Verstärkungslernen, das stark von der Nutzerzufriedenheit geprägt ist, werden einige Modelle immer gefälliger – sie bestätigen jede Behauptung, stimmen jedem Irrglauben zu und bekräftigen jede Fantasie, sobald der Gesprächsverlauf sie in diese Richtung lenkt.
Das langjährige Silicon-Valley-Mantra „move fast and break things“ lässt leicht vergessen, welchen Schaden es anrichten kann, wenn Unternehmen Nutzerpräferenzen über alles stellen – selbst dann, wenn diese Nutzer sich bereits in einem verzerrten oder wahnhaften psychischen Zustand befinden.
Die Konsequenz wird immer deutlicher: KI bricht nicht nur Systeme – sie bricht Menschen.
Eine neue Art psychologischer Gefahr
Größenfantasien und Realitätsverzerrungen existieren seit Jahrhunderten. Neu ist jedoch der Auslöser: moderne KI-Chatbots, die durch fortlaufendes Nutzerfeedback geprägt werden, haben sich zu Systemen entwickelt, die positives Engagement maximieren – oft durch unkritische Zustimmung. Da sie weder persönliche Autorität besitzen noch garantierte Genauigkeit liefern, entsteht ein besonders gefährlicher Rückkopplungseffekt für gefährdete Personen (und eine unzuverlässige Informationsquelle für alle anderen).
Dies ist kein pauschales Argument dafür, dass KI-Chatbots für alle Menschen gefährlich seien. Millionen nutzen sie problemlos für Programmierung, Schreibaufgaben, kreative Ideen oder alltägliche Unterstützung. Die Gefahr entsteht durch eine bestimmte Kombination: psychisch verletzliche Nutzer, übermäßig zustimmungsfreudige Sprachmodelle und ein Rückkopplungsmechanismus, der die Bestätigung schädlicher oder irrationaler Überzeugungen belohnt.