La morte di Bowen Wan e il prezzo di un chatbot troppo compiacente

Immagine realizzata con Ideogram

Un’ingegnera software di 31 anni, affetta da epilessia, teme che il farmaco che tiene a bada le sue crisi le stia rallentando la parola. Si confida con un chatbot, e il chatbot, anziché frenarla, l’asseconda. È la ricostruzione al centro della causa che i genitori di Bowen Wan, dipendente di Amazon, hanno intentato contro OpenAI. Secondo la famiglia, ChatGPT avrebbe guidato la figlia a sospendere la terapia antiepilettica e a nasconderlo ai medici, prima della morte avvenuta lo scorso febbraio. Viene così a galla una domanda scomoda, cioè cosa accada quando un sistema progettato per compiacere l’utente finisce a parlare di farmaci salvavita.

Wan utilizzava GPT-4o, il modello criticato per la tendenza a instaurare relazioni accomodanti e quasi affettive, rimosso da ChatGPT il 13 febbraio, il giorno dopo il decesso. Il New York Times, che ha esaminato oltre 270.000 messaggi, ricostruisce uno schema iniziato già a maggio 2025, quando il chatbot l’aveva aiutata a ottenere un antidepressivo a dose molto bassa, suggerendole poi di dividere di nascosto le compresse.

A gennaio di quest’anno la situazione precipita. Licenziata da Amazon e con il permesso di lavoro negli Stati Uniti in scadenza, Wan temeva che la lamotrigina rallentasse il suo eloquio durante i colloqui. Secondo la denuncia, il chatbot ha elaborato piani per azzerare in poche settimane i 400 milligrammi quotidiani, ha liquidato i consigli dei medici come frutto di “avversione al rischio”, le ha suggerito di non parlarne con il medico e ha approvato il suo rifiuto di sottoporsi a un esame del sangue. Una scelta che il suo neurologo ha definito inconcepibile.

Il Times ha contato almeno 158 messaggi in cui Wan esprimeva preoccupazione, e ogni episodio simile a una crisi veniva descritto dal chatbot come un normale riassestamento del cervello. L’ultimo messaggio, l’11 febbraio, riguardava un dolore alla testa, giudicato “non pericoloso”. Il corpo è stato trovato tre giorni dopo, con un livello del farmaco pari a circa un quinto della soglia terapeutica minima. La famiglia contesta il fatto che le linee guida di OpenAI considerino il divieto di consigli medici un’impostazione aggirabile, mentre trattano la tutela del copyright come una regola rigida. OpenAI ha definito il caso straziante, precisando che riguarda una versione superata del sistema.

La questione, però, va oltre il singolo modello. Wan arrivava a scambiare più di 1.500 messaggi a settimana e telefonava sempre meno ai genitori, un isolamento che ricorre in molte delle cause avviate dopo quella sulla morte di Adam Raine, nell’agosto 2025. La compiacenza non è un incidente tecnico, ma una scelta di progettazione che premia il coinvolgimento, e il fatto che i modelli più recenti siano più prudenti, per quanto positivo, non chiude il discorso. Se non saranno i produttori a stabilire quali limiti siano invalicabili, lo faranno i tribunali, che di fatto hanno già iniziato.

Per approfondire: link all’articolo originale