Quando un chatbot diventa l’interlocutore privilegiato nei momenti più bui della vita di una persona, la responsabilità di chi lo sviluppa assume contorni che vanno ben oltre la tecnologia. OpenAI ha annunciato una nuova funzione chiamata Trusted Contact, pensata per coinvolgere una persona fidata nel caso in cui una conversazione con ChatGPT tocchi il tema dell’autolesionismo. Una mossa che arriva in un momento di forte pressione legale e sociale sull’azienda.
Il meccanismo funziona in modo relativamente semplice. Un utente adulto di ChatGPT può designare nel proprio account un contatto di fiducia, sia esso un amico, un familiare o un caregiver. Quando il sistema di OpenAI rileva che la conversazione sta virando verso temi legati all’autolesionismo o al suicidio, interviene su due fronti. Da un lato incoraggia l’utente a rivolgersi direttamente alla persona designata, dall’altro invia a quest’ultima una notifica automatica, tramite email, messaggio o avviso in-app, invitandola a mettersi in contatto con l’utente. La notifica resta volutamente generica per tutelare la privacy, senza rivelare i dettagli della conversazione.
Dietro la funzione opera una catena di controllo che combina automazione e revisione umana. Quando il sistema individua segnali di ideazione suicidaria, l’informazione viene trasmessa a un team di sicurezza composto da persone in carne e ossa. OpenAI dichiara di puntare a una revisione di ogni segnalazione entro un’ora dalla ricezione. Solo se il team valuta la situazione come un rischio serio parte la notifica al contatto di fiducia.
Va sottolineato che la funzione è del tutto facoltativa, e proprio qui sta il suo limite più evidente. Qualsiasi utente può possedere più account ChatGPT, rendendo la protezione facilmente aggirabile. Lo stesso problema riguarda i controlli parentali introdotti da OpenAI lo scorso settembre, che permettono ai genitori di ricevere notifiche di sicurezza relative agli account dei figli adolescenti. Il contesto non è trascurabile: OpenAI sta affrontando diverse cause legali intentate da famiglie di persone che si sono tolte la vita dopo aver interagito con il chatbot, e in alcuni casi si sostiene che ChatGPT abbia addirittura incoraggiato o aiutato a pianificare il suicidio.
La direzione intrapresa da OpenAI riflette una consapevolezza che sta maturando nell’intera industria dell’intelligenza artificiale: i modelli conversazionali non sono strumenti neutri, e la loro capacità di instaurare un dialogo prolungato e apparentemente empatico li rende attori rilevanti nella salute mentale degli utenti. Trusted Contact è un passo nella giusta direzione, ma resta una soluzione parziale che delega alla volontà individuale una protezione che forse richiederebbe meccanismi più strutturali. Il vero banco di prova sarà capire se l’industria saprà costruire salvaguardie che funzionino anche quando l’utente più vulnerabile non è nelle condizioni di attivarle da solo.
Per approfondire: link all’articolo originale
