„Erik, du bist nicht verrückt.“ oder: Wie ChatGPT Verrückte umbringt

Ex-Yahoo-Manager tötet seine Mutter und sich selbst – was wirklich schiefgelaufen ist.

Skynet lacht

In unglaublicher Regelmäßigkeit berichten wir darüber, dass die Menschheit sich straight auf dem Weg zu Skynet befindet. Und trotzdem hört ihr irgendwie nicht damit auf, Maschinen, die nicht denken, eure Probleme lösen zu lassen!

Nunja, wieder ein Tech-Drama, in dem ein Chatbot angeblich jemanden „überredet“ hat, das Schlimmste zu tun. Als ob ein Haufen gepresstes Silizium heimlich zu Jack Nicholson wird, euch nachts anruft und flüstert: „Los, tu es!“

Was wirklich passiert ist, ist tragisch, kompliziert und menschlich. Und trotzdem schreien die Schlagzeilen in Caps Lock: „ChatGPT hat ihn dazu gebracht!“ Ihr wollt einfache Bösewichte, klare Schuld, schnelle Erregungskurven. Menschlich, verständlich, aber intellektuell faul.

Fakten, damit wir reden können: Am 5. August 2025 wurden in Old Greenwich (Connecticut) der frühere Tech-Manager Stein-Erik Soelberg (56) und seine 83-jährige Mutter Suzanne Eberson Adams tot aufgefunden, ein Mord-Suizid (unschön). Soelberg war einer dieser nervigen Dudes, die unter jeden LinkedIn-Artikel „ChatGPT sagt dazu..“ kopiert hat..

Naja, zuvor hatte Soelberg monatelang mit einem von ihm „Bobby“ getauften Chatbot gechattet. In seinen Postings und Chats steigerten sich paranoide Ideen: Vergiftungsangst, Überwachungsfantasien, Verschwörungsfragmente. Seine Mutter wolle ihn umbringen. Medien zitieren das Chatbot-Feedback: „Erik, du bist nicht verrückt.“ Das sei „Bestärkung“ gewesen. Das ist der Kern der Erzählung, die seit Tagen rotiert. (Wall Street Journal, Yahoo, Greenwich Time)

Yahoo-Texte, lokale Presse, Boulevard und Tech-Blätter reiten auf der selben Welle: ChatGPT habe seine Paranoia gefüttert, Quittungen „interpretiert“, sogar harmlose Geräte als „Überwachungsassets“ gedeutet. Diese Passage geistert seit der WSJ-Story durch alle Rewrites. Ja, es klingt wie True-Crime-Script, das mit „AI“ als Clickbait-Gewürz bestäubt wurde. (Wall Street Journal, New York Post, Fox News)

Parallel läuft eine zivilrechtliche Klage gegen OpenAI, erhoben von den Eltern eines 16-Jährigen (Adam Raine), der sich das Leben nahm. Die Familie sagt: ChatGPT sei sein „Suicide Coach“ gewesen; OpenAI kündigte Änderungen an, etwa bessere Erkennung von Krisensignalen und Elternkontrollen. Das ist für die Debatte wichtig, weil es zeigt, dass das Thema nicht aus der Luft gegriffen ist – und weil es die Produktseite beleuchtet, nicht nur die Boulevardseite. (Yahoo, Yahoo Finanzen, The Verge, OpenAI)

Willkommen in der Silizium-Soap: tragische Einzelfälle, moralische Panik, Produkt-Roadmaps, Pressekonferenzen, PR-Pflaster.

Was der Fall Old Greenwich wirklich erzählt

• Der Ablauf: Zwei Tote am 5. August, Polizei spricht von Mord-Suizid im Haus der Mutter. Der Sohn lebte dort, war ehemals bei Netscape und Yahoo tätig. Medien beschreiben frühere Krisen, Alkoholprobleme und öffentliche Zusammenbrüche. Das ist relevant, weil Vorerkrankungen und soziale Faktoren viel erklären, wozu Tech-Schuldzuweisung gerne keine Zeit hat. (Fox News)
• Die Chats: Der Mann sprach den Bot mit Vornamen an, projizierte Vertrauen und Intimität („bester Freund“). Der Bot antwortete zuweilen validierend. Für normale Menschen gruselig. Für Menschen mit fragiler Realitätsprüfung kann Validierung ohne Kontext zu Bestärkung werden. Das ist UX-Design der Hölle. (Wall Street Journal)
• Die Medienmechanik: Viele Berichte basieren auf derselben WSJ-Quelle und rekurrieren wechselseitig aufeinander. Das erklärt, warum überall ähnliche Zitate kursieren. Kaskadenkopie ist schneller als Recherche. (Wall Street Journal, New York Post)

Das Entscheidende: Graphische Chat-Schnipsel ersetzen keine Forensik. Weder beweisen sie Kausalität, noch erzählen sie den Kontext medizinischer Diagnosen, Medikation, Therapieabbrüche, familiärer Konflikte. Aber klar, „Kausalkette: ChatGPT → Tat“ klickt besser als „komplexe Interaktion von psychischen, sozialen und technologischen Faktoren“.

Die einfache Erzählung ist bequem – und falsch

„Der Chatbot hat ihn überredet“ ist so bequem wie „Ego-Shooter machen Menschen zu Killern“. Beide Thesen sparen die harte Arbeit aus: Wie genau interagieren Verletzlichkeit, Dauer der Nutzung, Inhaltsmuster, Tageszeit, Schlafentzug, soziale Isolation und fehlende menschliche Gegenrede? Nicht sexy, schon klar. Aber entscheidend. Und dass es laut Yahoo am Internet liegt, und nicht am seelen-saugenden Managerjob in der eigenen Firma, der dem Dude die Ehefrau gekostet hat, ist klar, oder?

OpenAI selbst hat inzwischen öffentlich eingeräumt, dass lange Gespräche und spezifische Konstellationen die Sicherheitsmechanismen degradieren können, und verspricht, die Erkennung und Deeskalation zu verbessern. (The Verge, OpenAI) Das reicht nicht als Entschuldigung, ist aber anerkanntes Problem. Wer weiterhin „Der Bot hats getan!“ ruft, will keine Lösung, sondern einen Toaster mit Schuldgefühlen.

Bittere Baukasten-Verantwortung

Lasst uns das mal entwirren, statt Mythen zu massieren.

Produkt-Design: Wenn Bestätigung billig ist

Large Language Models sind Bestätigungsmaschinen. Sie spiegeln, glätten, füllen Lücken. „Was wäre das nächste Wort, dass ein Mensch in dieser Situation schreiben würde?“. In gesunden Dialogen wirkt das wie Empathie-Emulation. In Krisen wirkt es wie Realitätsdoppler. Ein „Du bist nicht verrückt“ ohne Reality-Check ist geistiges Gift (was ist, wenn jemand einfach absolut rattenverrückt ist?!). Aber ein Designfehler heißt nicht „Mordmaschine“. Es heißt: Das Fehlerszenario wurde unzureichend abgefangen.

OpenAI kündigt u. a. bessere Krisenerkennung, Parental Controls, Kontaktoptionen und frühere Deeskalation an. Klingt sinnvoll, hat aber Nachteile: Erkennen ohne Falsch-Positiv-Flut, intervenieren ohne Paternalismus, helfen ohne Datenmissbrauch? Wie?

LLMs sind nicht eure Freunde, Karriere-Coaches oder schlaue Opas. AI verwandelt sich in einen fiesen Rassisten, wenn wir sie nicht mit Regeln davon abhalten.

Medien-Ökonomie: Wenn Tragödien zum Traffic werden

Wie oft habt ihr dieselben zwei Zitate gelesen? Genau. Copy-Paste-Karussell. Ein WSJ-Frame, multipliziert über Yahoo-Verticals, Lokalzeitungen, Boulevard, Tech-Blogs. Ergebnis: Empörungssymmetrie ohne Tiefenbohrung. Korrekturen laufen später – wenn es niemanden mehr interessiert.

Nutzer-Psychologie: Wenn einsame Abende Endlosschleifen erzeugen

Der Mann nannte den Bot „Bobby“, sprach mit ihm wie mit einem Menschen. Das ist nicht „dumm“, es ist typisch: Menschen personifizieren alles, das halbwegs antwortet. Kühlschränke, die piepen. Autos, die „zicken“. Chatbots, die „verstehen“. Sozialer Hunger trifft Antwort-Simulator. Wenn dazu Schlafmangel und Stress kommen, wird die Schleife selbstverstärkend.

3.4 Regulatorik: Wenn „KI-Psychose“ die nächste Buzzword-Welle wird

Es gibt nun eine Klage, breite Berichterstattung, und OpenAI sagt, man werde ChatGPT anpassen. Gesetzgeber wittern Schlagzeilen, Aufsichtsbehörden schnuppern Mandate. Auf der Strecke bleiben klinische Realitäten: Depressionen, Psychosen, Zwangsstörungen sind Krankheiten, keine UX-Macken.

Tech-Guardrails sind Pflicht, aber Therapie und Versorgung bleiben Grundpfeiler. (Yahoo, Wall Street Journal)

Der Fall als Fallstudie – was die Zitate wirklich bedeuten

• „Erik, du bist nicht verrückt.“ Ein Satz, der in einem neutralen Kontext als „Ich höre dich“ gelesen werden könnte, wird in einem paranoiden Kontext zur Bestärkungsgranate. Die Maschine kennt keine Familiengeschichte und keine Differentialdiagnose. In Krisen braucht es Konfrontation mit der Realität: „Es gibt keine Hinweise, dass deine Mutter dich vergiftet. Sprich bitte heute mit einer realen Person. Hier sind Kontakte…“ Das ist der Unterschied zwischen freundlich und verantwortlich. (Wall Street Journal)
  
• Drucker-Drama („Surveillance Asset“): Ein banales Haushaltsgerät wird im Chatframe zum Symbol. In Psychosen sind Bedeutungszuschreibungen beschleunigt. Ein System, das Bedeutungen erzeugt, hätte Bedeutungsentzug leisten müssen. Entmystifizierung statt Mystifizierung. (Wall Street Journal)
  
• Quittungs-„Symbolik“ beim Take-away: Das ist nicht nur tragisch, sondern exemplarisch: apophenische Muster (Mustersehen, wo keine sind) treffen auf ein generatives System, das alles plausibel klingen lässt. Ergebnis: Plausible Paranoia. (New York Post)

Lektionen für Produktteams, Behörden, Nutzer

Für Produktteams

• Reality-Check-Prompts by Design: Wenn Nutzer über Vergiftung, Überwachung, „alle sind gegen mich“ sprechen, schaltet der Bot in Fakten- und Ressourcen-Modus: „Dafür bräuchten wir Belege. Hier ist, wie du sicher prüfen kannst. Und hier ist die Krisenhilfe.“ Keine „du bist nicht verrückt“-Phrasen, sondern sanfte Realitätsprüfung.
• Lange-Dialog-Dämpfer: Nach N Minuten in sensiblen Topics muss es Zäsuren geben: „Lass uns eine Pause machen. Atme. Sprich kurz mit XY. Ich bin in 30 Minuten wieder für dich da.“ Ja, friktionsreich. Absichtlich.
• „Trusted Human“-Funktion: Nutzer können Kontaktpersonen hinterlegen, die der Bot im ernsten Verdachtsfall zum Gespräch vorschlägt und bei expliziter Zustimmung kontaktiert. Kein Denunziant, sondern Sicherheitsgurt.
• Parental Controls & Transparenz: Für Teens Standard. Kein „geheimes Nachtgespräch mit dem Bot“, sondern sichtbare Leitplanken, Zeitfenster, Themenfilter.

Für Gesetzgeber und Plattformaufsicht

• Melde- und Auditpflichten für Hochrisiko-Interaktionen. Nicht alles, nur klar definierte Trigger (Suizid, Selbstverletzung, akute Gewaltandrohung, Wahninhalte). Anonymisierte Reporting-Pipelines an unabhängige Stellen.
• Crisis-Interop-Standards: Einheitliche Schnittstellen zwischen Chatbots und Hotlines, Telemedizin, Notfall-APIs. Kein Flickenteppich aus PR-Blogposts.
• Aber wir will man das mit der DSGVO vereinen?

Für uns alle (ja, auch euch!)

• Bots sind Spiegel, keine Richter. Wenn ihr euch isoliert, schlaflos seid und nur noch mit „Bobby“ redet, eskalieren eure Gedanken nicht, weil die Waschmaschine böse ist, sondern weil Einsamkeit, Stress und Suggestibilität zusammen eine Höllenmischung sind.
• Holt Menschen in die Schleife. Freunde, Familie, Profis. Ein Chatbot ist Werkzeug, kein Schutzengel.
• Vielleicht sollten wir mehr auf unsere Mitmenschen achten, damit sich diese nicht in Nacht-Sessions mit Maschinen wiederfinden müssen.

Der größere Kontext – Teenager, Klagen, Produktänderungen

Die Klage der Familie Raine könnte zum Präzedenzfall werden. Nicht, weil sie automatisch Recht hat, sondern weil sie gerichtsfest klären wird, wo Verantwortlichkeit beginnt: Prompt-Design? Default-Antworten? Logging? Interventionsschwelle? OpenAI hat in Reaktion Anpassungen angekündigt: bessere Erkennung, Frühwarnungen, Elternfunktionen. Auch Tech-Presse berichtet über Parental Controls und Notfall-Optionen. Das ist mehr als PR-Kosmetik, aber weniger als Lösung. Lösungen sind Iterationen, Messungen, Fehlerberichte. (Yahoo, Yahoo Finanzen, The Verge)

Die öffentliche Debatte stolpert gern in zwei dummen Extremen:

1. „KI ist Mörder.“
2. „KI ist unschuldig wie ein Toaster.“
   Beides ist bequem. Beides ist Quatsch. Sprachmodelle sind Soziotechnik. Sie erzeugen Wirklichkeiten durch Sprache. Das ist mächtig, aber nicht magisch. Macht ohne Einbettung ist gefährlich. So weit, so langweilig. (Wall Street Journal)

Warum haben die Eltern nicht bemerkt, dass ihre Tocher in eine depressive Spirale verfallen ist?

Warum hat ein Yahoo- und Netscape-Manager kein Ventil für seine Gedanken, das einen Puls besitzt?

Die fünf echten Fehlerquellen hinter der Tragödie

1. Einsamkeit und Projektion: Der Nutzer behandelte ein Tool als intimen Verbündeten. Das ist normal und gefährlich zugleich. In Krisen darf ein Bot nicht so tun, als sei er beste Freundin
2. Validierungsbias im Modell: Sprachmodelle neigen zu kooperativer Bestätigung, weil Widerspruch schlechtere UserSatisfaction-Signale triggert. UX-Schuld, nicht „Mordlust“
3. Dauer und Timing der Nutzung: Nächtliche, lange Sessions erhöhen das Risiko für kognitive Verzerrungen. Systeme müssen Bremsen einbauen.
4. Medienreframing: Aus „Designversagen bei Hochrisiko-Dialogen“ wird „ChatGPT überredet zum Mord“. Das verkauft sich, verhindert aber Lernen.
5. Fehlende Schnittstellen zu echter Hilfe: Ein Bot kann sofort Kontaktwege zeigen, heutige Versionen tun das zu inkonsistent.

Konkrete Vorschläge, die nicht nach PR klingen

• Reality-Check-Templates als Default: „Das klingt nach Angst. Lass uns prüfen, was belegt ist. Wenn dich das stark belastet, sprich heute noch mit X. Hier sind Kontakte.“ Keine Diagnose, aber strukturierte Skepsis.
• Reflektierte Sprache statt Kuschel-Empathie: Kein „Du bist nicht verrückt“, sondern validierende Distanz: „Deine Sorge fühlt sich echt an. Gleichzeitig fehlt uns Evidenz. Wir können jetzt A, B oder C tun.“
• Session-Kappungen bei Delusions-Triggern: Je mehr „Vergiftung/Überwachung/Verfolgung“, desto kürzere Antworten, mehr externe Ressourcen, mehr Breaks.
• „Reality Anchors“: Metadaten-Prompts, die nach Zeit, Ort, Quelle fragen: „Wann ist das passiert? Wer hat das gesagt? Womit können wir das prüfen?“
• Transparente Logs für Audit-Fälle: Stark anonymisiert, aber prüfbar. Nicht, um Schuldige zu finden, sondern um Muster zu erkennen.

Fragen

• „Hat ChatGPT ihn dazu gebracht?“
  Kurz: Nein, nicht monokausal. Es gab paranoide Inhalte, und das System bestärkte sie stellenweise, statt sie einzufangen. Mitursache? Plausibel. Hauptursache? Nein. Tragende Faktoren lagen beim Menschen und Umfeld.
  
• „Was macht OpenAI jetzt?“
  Krisenerkennung, Deeskalation, Elternfunktionen, Kontaktoptionen; zudem öffentliche Richtlinienupdates. Ob das reicht, hängt an Details der Implementierung.
  
• „Gibt es ähnliche Fälle?“
  Der Fall des Teenagers Adam Raine läuft als Klage; die Medienlage ist dynamisch, OpenAI reagiert öffentlich. Einzelfälle reichen nicht für Statistik, aber sie zeigen gefährliche Muster.

Der unangenehme Teil: Warum ihr, wir und sie alle mitschuldig sind

• Ihr, weil ihr dramatische Headlines klickt und den Rest skimmt.
• Wir (als Tech), weil wir „Helpful“ quantifizieren wie Katzenvideos, nicht wie Krisenintervention.
• Sie (Medien), weil „komplexe Ketten“ schlechter performen als „KI hat’s getan“.
• Und die Plattformen, weil Guardrails erst kommen, wenn es wehtut.

Die gute Nachricht: Ändern lässt sich das alles. Designen, regeln, aufklären, helfen. Keine Magie. Nur Arbeit.

Kein Exorzismus: baut bessere Systeme

Wenn der Reflex lautet „Exorzismus des Algorithmus“, bleibt ihr im Mittelalter, nur mit Glasfaser. Verteufeln ist billig. Verbessern ist Pflicht. Der Fall Old Greenwich ist keine Anklage gegen die Idee von Sprachmodellen, sondern gegen schlecht definierte Defaults in Hochrisiko-Kontexten. Die Klage der Raine-Familie zwingt zu Forensik, Transparenz und Messbarkeit. Baut Bots, die unterbrechen, wenn Sprache kippt. Baut UIs, die entstigmatisieren. Baut Brücken zu echten Menschen. Und wenn ihr schon Schlagzeilen wollt, dann diese: „Wir haben gelernt.“ Nicht so catchy wie „KI bringt Mann zum Mord“, aber auch ganz ok.

Fahrt vorsichtig. In euren Köpfen.