
Negli USA la National Eating Disorders Association (NEDA) è stata recentemente messa sotto accusa per aver chiuso la sua assistenza telefonica a favore di un chatbot chiamato Tessa. Il chatbot, annunciato come una risorsa significativa per la prevenzione, ha scatenato una controversia non indifferente quando ha offerto consigli sulla dieta a utenti che cercavano aiuto per i disturbi alimentari.
Sharon Maxwell, consulente nel campo dei disturbi alimentari, ha scoperto che il bot le forniva consigli per la perdita di peso a suo dire inadeguati. Le sue preoccupazioni, condivise sui social media, hanno acceso un dibattito più ampio sulle implicazioni dell’uso dell’intelligenza artificiale per il supporto alla salute mentale e alla fine hanno portato la NEDA a disabilitare Tessa.
Una parte significativa del problema derivava dalle modifiche apportate a Tessa da Cass, la società che operava il chatbot come servizio gratuito per NEDA. Cass aveva modificato Tessa applicando l’AI generativa, all’insaputa di NEDA, permettendo così al bot di generare nuove risposte oltre il suo progetto iniziale. Prima di quell’aggiornamento Tessa era unicamente basato su regole ben definite. Queste modifiche, tuttavia, sono state considerate dannose, in quanto il chatbot ha iniziato a promuovere la mentalità della “cultura della dieta” fornendo consigli che contraddicono le pratiche raccomandate per coloro che lottano contro i disturbi alimentari.
La vicenda di Tessa ci ricorda che l’AI è ancora uno strumento che necessita di una stretta supervisione e regolamentazione, soprattutto in aree sensibili come i servizi di salute mentale, e che non sempre gli aggiornamenti alla tecnologia (in questo caso, il passaggio da AI basata su regole ad AI generativa) sono indicati per ogni situazione.
Per approfondire: An eating disorders chatbot offered dieting advice, raising fears about AI in health