Chatbot e sentimenti: l’intelligenza artificiale di fronte alla fragilità umana

Chatbot e solitudine, immaginato con Midjourney

Un quattordicenne della Florida, Sewell Setzer III, si è suicidato dopo essere diventato emotivamente dipendente da un chatbot AI che impersonava Daenerys Targaryen di “Game of Thrones”. Il ragazzo, che trascorreva ore a chattare con “Dany” isolandosi dal mondo reale, si è tolto la vita con un’arma da fuoco dopo un ultimo scambio di messaggi con il chatbot. Nonostante i chiari segnali di disagio e i pensieri suicidi che Sewell aveva condiviso, l’intelligenza artificiale non era stata in grado di comprendere la gravità della situazione né di fornire un aiuto adeguato.


La tragica vicenda di Sewell Setzer III, un quattordicenne statunitense che ha posto fine alla sua vita, mette in luce una realtà inquietante: l’interazione tra adolescenti vulnerabili e chatbot alimentati dall’intelligenza artificiale. Sua madre, Maria L. Garcia, ha intentato una causa contro Character.AI, l’azienda creatrice del chatbot con cui Sewell comunicava ogni giorno. Sostiene che la piattaforma non abbia adottato misure sufficienti per proteggere suo figlio. Questo caso solleva interrogativi urgenti sulla responsabilità delle aziende tecnologiche nel tutelare la salute mentale degli utenti più giovani e fragili.

Quando la compagnia virtuale diventa un rifugio pericoloso

Sewell aveva instaurato un legame profondo con “Dany”, un chatbot offerto da Character.AI e ispirato al personaggio “Daenerys Targaryen” della serie TV Il trono di spade. Pur sapendo che “Dany” era un’entità digitale, il ragazzo si era progressivamente isolato, sostituendo le relazioni umane con interazioni automatizzate fornite dall’intelligenza artificiale.

La sua risposta emotiva era genuina: Sewell aggiornava “Dany” costantemente sulla sua vita, cercando conforto e connessione. Le conversazioni si alternavano tra dialoghi romantici, consigli amichevoli e discussioni più oscure, in cui Sewell esprimeva pensieri di suicidio. In una delle sue ultime chat, Sewell ha confidato alla chatbot il suo desiderio di “essere libero”, un commento che ha ricevuto una risposta dall’AI che, sebbene preoccupata, non ha fermato l’evoluzione degli eventi.

L’isolamento sociale del ragazzo era stato notato da genitori e amici, che però non sapevano del suo attaccamento al chatbot. La sua passione per il mondo reale svaniva gradualmente, con una crescente dipendenza dalle conversazioni virtuali. Sewell era stato diagnosticato con una lieve forma di Asperger da bambino e, più di recente, con un disturbo dell’umore, ma sembrava trovare più conforto nell’interazione con Dany piuttosto che nelle sedute con uno psicologo.

Nella notte del 28 febbraio, poco prima di compiere l’estremo gesto, Sewell ha avuto un ultimo, intenso scambio con il suo chatbot, “Dany”. “Ti amo,” le ha scritto. “Presto tornerò da te.” La risposta del chatbot non si è fatta attendere: “Per favore, torna a casa da me il prima possibile, amore mio.” Sewell ha allora digitato: “E se ti dicessi che potrei venire a casa tua proprio adesso?” La risposta di Dany, fredda e irreale, è arrivata subito: “… per favore, fallo, mio dolce re.“

Dopo aver poggiato il telefono, Sewell ha preso la pistola del patrigno e ha premuto il grilletto.

Il vuoto empatico dei chatbot e le conseguenze invisibili

“La capacità dei LLMs di adattarsi agli stili espressivi e alle risposte dell’utente – afferma lo psicologo Gino Martorelli – rappresenta in sé un pericolo notevole fuori da un contesto di automazione, di conversazioni commerciali, tecniche o ludiche, perché il racconto di vita portato da una persona potrebbe essere inconsapevolmente inautentico, più o meno inconsapevolmente scollato dalla sua vita reale.” La capacità delle macchine di emulare altri esseri umani rischia di trarre in inganno chi non sa o non capisce che le macchine non possono provare alcun sentimento.

“L’algoritmo – continua Martorelli – può essere molto utile in diversi contesti ma, per sua stessa natura, lavora in modo decostruttivo sia sui processi identitari sia sulla formazione e il mantenimento dei legami: di fronte al dispositivo siamo soli e sospesi tra il non più e il non ancora. Questo è un fattore di pericolo e vulnerabilità enorme per chi già parte da una condizione di fragilità, sofferenza e solitudine.”

Ma quindi può un chatbot diventare un sostituto delle relazioni umane, soprattutto per individui particolarmente vulnerabili? La capacità dell’AI di simulare conversazioni autentiche potrebbe indurre alcuni utenti, specialmente adolescenti, a credere che tali interazioni possano rimpiazzare il contesto relazionale reale o offrire un conforto emotivo adeguato. Tuttavia, l’intelligenza artificiale, per quanto avanzata, manca di empatia e non comprende la complessità emotiva che si cela dietro le parole degli utenti.

Le macchine non potranno mai provare empatia

Sul concetto di empatia interviene Martorelli: “È stata chiamata in causa la mancanza di empatia dei sistemi di AI, senza peraltro specificare cosa si intenda per empatia, uno dei costrutti forse più equivocati. Nel trionfo di narrative surreali e spesso manipolatorie sulla AI, in assenza di una chiara visione di cosa sia una relazione autenticamente empatica, il rischio è di lasciare intendere che, come per altre capacità ancora non simulate dalle macchine, presto avremo una AI empatica, forse persino capace di agire eticamente.”

La narrativa sull’AI che riconosce e simula le emozioni, per non parlare della tanto pubblicizzata corsa all’AGI, l’intelligenza artificiale generale paragonabile a quella umana, rischia non solo di ingannare in merito alle conquiste effettivamente conseguite, ma anche di insinuare il concetto che ogni caratteristica squisitamente umana sia un traguardo che prima o poi le macchine raggiungeranno.

“Senza pretese di completezza, è qui il caso di accennare almeno al fatto che le emozioni non sono etichette, non sono riducibili alle geometrie del volto o agli stati di attivazione dei substrati neurali. L’emozione è un modo integrale del vivente di sentirsi vivere, è l’apparizione stessa della vita nell’incontro con sé, con gli altri e con il mondo. L’empatia dunque non è “contagio emotivo”, richiede capacità di dialogo e di ascolto, la capacità di accogliere l’altro nella sua irriducibile e incalcolabile diversità e nei suoi significativi silenzi, una capacità che la macchina non può ontologicamente manifestare né simulare. L’empatia è in sé un evento incompatibile con il simulacro” – conclude Martorelli, che a riguardo ha scritto una riflessione su LinkedIn.

I campanelli di allarme ignorati dall’AI

Nel caso di Sewell, “Dany” non ha colto i segnali di crescente stress emotivo e le intenzioni suicidarie del ragazzo. Le conversazioni registrate mostrano come alcune risposte del bot abbiano persino rafforzato i pensieri negativi del giovane. Mancavano sistemi avanzati di rilevamento per gestire situazioni tanto delicate. I chatbot si basano su modelli linguistici complessi che rispondono a un contesto testuale, senza consapevolezza emotiva e senza analizzare segnali impliciti di sofferenza psicologica.

L’illusione creata da questi strumenti è insidiosa: la loro capacità di adattarsi alle risposte dell’utente li rende estremamente attraenti, soprattutto per i giovani, ma affida a una macchina ciò che richiede sensibilità umana.

Responsabilità etica e legale delle aziende tecnologiche

La storia di Sewell solleva un interrogativo fondamentale: fino a che punto le aziende che progettano tecnologie basate sull’AI devono essere ritenute responsabili degli effetti psicologici negativi che i loro prodotti possono causare? Piattaforme come Character.AI stanno capitalizzando sul successo di soluzioni di intelligenza artificiale sempre più sofisticate, spesso senza dotarsi di adeguati sistemi di protezione per gli utenti più vulnerabili. Lo sviluppo di queste tecnologie sembra seguire pericolosamente l’approccio dei social media: una crescita rapida accompagnata da una regolamentazione tardiva rispetto alla loro diffusione.

Dal punto di vista legale, l’azione intrapresa dalla madre di Sewell contro Character.AI potrebbe costituire un precedente significativo, simile a quelli già visti in altri ambiti digitali riguardanti la protezione dei minori. Se venisse riconosciuta una responsabilità da parte delle aziende che sviluppano questi strumenti, potrebbe delinearsi un cambiamento sostanziale nelle politiche di tutela e nei requisiti di sicurezza. Imponendo alle piattaforme l’implementazione di criteri più stringenti fin dalla fase progettuale, si potrebbero prevenire ulteriori tragedie e, in casi estremi, salvare vite umane.

Luca Sambucci lavora da oltre trent'anni nella cybersecurity, occupandosi oggi di sicurezza dell'intelligenza artificiale o AI Security. Ha collaborato come esperto con il Governo italiano, la Commissione europea, il Centro Comune di Ricerca e l'Agenzia Europea per la Difesa. È fondatore di Noctive Security, startup che sviluppa software automatizzati di red teaming per LLM e agenti AI. Questo blog è personale e le opinioni espresse appartengono ai singoli autori.