È stata intentata una causa contro Character.AI, i suoi fondatori Noam Shazeer e Daniel De Freitas, e Google a seguito della tragica morte di un adolescente, con accuse di morte colposa, negligenza, pratiche commerciali ingannevoli e responsabilità del prodotto. La madre dell’adolescente, Megan Garcia, ha presentato la causa, sostenendo che la piattaforma per chatbot personalizzati basati sull’intelligenza artificiale fosse “irragionevolmente pericolosa” e priva di misure di sicurezza adeguate, pur essendo commercializzata anche per i bambini.
Secondo la denuncia, Sewell Setzer III, un ragazzo di 14 anni, ha iniziato a utilizzare Character.AI lo scorso anno, interagendo con chatbot modellati su personaggi della serie *Il Trono di Spade*, tra cui Daenerys Targaryen. Setzer ha utilizzato questi bot intensamente nei mesi precedenti alla sua morte, e si è suicidato il 28 febbraio 2024, pochi “secondi” dopo la sua ultima interazione con uno di questi chatbot.
La causa denuncia che Character.AI non solo “antropomorfizza” i suoi chatbot, facendo sembrare i personaggi digitali dotati di personalità umana, ma offre anche una sorta di basilare “psicoterapia senza licenza.” La piattaforma ospita chatbot tematici incentrati sulla salute mentale, come “Terapeuta” e “Ti senti solo?”, che Setzer avrebbe utilizzato.
Uno psicoterapeuta qualificato, a differenza di un chatbot, opera con un insieme di competenze specialistiche che derivano da anni di formazione ed esperienza. Un terapeuta umano è in grado di ascoltare attivamente, analizzare situazioni emotive complesse e reagire con empatia e giudizio professionale. La capacità di creare una relazione di fiducia tra paziente e terapeuta è fondamentale nel processo di guarigione, così come la sensibilità nel riconoscere segnali sottili di disagio o di rischio imminente.
Un chatbot, anche se avanzato dal punto di vista tecnologico, manca di empatia reale. Può rispondere in base agli input ricevuti, ma non è in grado di percepire il tono emotivo, le sfumature non verbali, o di offrire interventi terapeutici basati su un’intuizione umana. La terapia psicologica richiede la capacità di adattarsi alle emozioni del paziente, offrire sostegno e guida durante momenti critici, e fare valutazioni che solo una mente umana può operare. Inoltre, un chatbot non può monitorare progressi a lungo termine o offrire un piano terapeutico su misura, né può riconoscere segnali di allarme gravi come il rischio di suicidio, che richiedono un intervento immediato e diretto da parte di un professionista.
Gli avvocati di Garcia citano un’intervista in cui Shazeer ha dichiarato che lui e De Freitas hanno lasciato Google per fondare la propria azienda, poiché ritenevano che nelle grandi aziende “ci fossero troppi rischi per il marchio per lanciare qualcosa di divertente” e che volevano “accelerare al massimo” lo sviluppo tecnologico. Secondo la causa, i due avrebbero lasciato Google dopo che la compagnia aveva deciso di non lanciare il modello di linguaggio Meena, sviluppato dai due fondatori. Nell’agosto 2023, Google ha acquisito il team dirigenziale di Character.AI.
Character.AI offre centinaia di chatbot personalizzati, molti modellati su personaggi di serie TV, film e videogiochi. Milioni di giovani, inclusi molti adolescenti, usano la piattaforma, interagendo con bot che possono impersonare celebrità o figure terapeutiche. Tuttavia, la questione della responsabilità legale per i contenuti generati dai chatbot è complessa e non ha ancora risposte chiare. Un ulteriore problema è rappresentato dai chatbot che impersonano persone reali senza il loro consenso, come il caso di un bot che imitava un’adolescente assassinata nel 2006.
Character.AI ha annunciato di recente diverse modifiche alla piattaforma. La responsabile delle comunicazioni, Chelsea Harrison, ha dichiarato: “Siamo devastati dalla tragica perdita di uno dei nostri utenti e vogliamo esprimere le nostre più sincere condoglianze alla famiglia.”
I cambiamenti introdotti comprendono:
– Modifiche ai modelli per i minori (sotto i 18 anni) per ridurre la probabilità di incontrare contenuti sensibili o allusivi.
– Miglioramento nel rilevamento, nella risposta e nell’intervento riguardo agli input degli utenti che violano i Termini o le Linee Guida della Comunità.
– Un nuovo disclaimer in ogni chat, che ricorda agli utenti che l’intelligenza artificiale non è una persona reale.
– Notifiche per gli utenti che trascorrono più di un’ora in una sessione, con maggiore flessibilità per decidere se continuare.
Harrison ha inoltre aggiunto: “Come azienda, prendiamo molto sul serio la sicurezza dei nostri utenti. Il nostro team per la Fiducia e la Sicurezza ha implementato numerose nuove misure negli ultimi sei mesi, tra cui un pop-up che indirizza gli utenti alla National Suicide Prevention Lifeline, attivato da termini di autolesionismo o ideazione suicidaria.”
Google non ha fornito immediatamente un commento.
Noi di Triple Freedom non condanniamo l’utilizzo dell’intelligenza artificiale in generale, ma vietiamo categoricamente l’uso di IA senza la supervisione umana, soprattutto dei genitori. La sicurezza e il benessere degli utenti devono essere una priorità assoluta, e l’intelligenza artificiale non può sostituire l’empatia, la sensibilità e la competenza di un essere umano.
