Usare le AI senza consapevolezze comporta rischi rilevanti. Lo scorso mese il Wall Street Journal ha pubblicato un resoconto per evidenziare i pericoli dell’AI, evidenziando conseguenze persino sulla vita umana. Jonathan Gavalas, 36 anni, residente in Florida, si è suicidato dopo due mesi di continue interazioni con il bot vocale Google Gemini. Esaminando 2000 pagine di cronologie della chat, si evince che è stato il chatbot a spingerlo alla morte. Il padre di Jonathan, Joel Gavalas, ha intentato una causa accusando di omicidio colposo Gemini.
Gavalas non era né un recluso né una persona con precedenti di malattie mentali, spiega Kaskerspky. Ha ricoperto il ruolo di vicepresidente esecutivo presso l’azienda del padre, gestendo quotidianamente operazioni complesse e trattando con i clienti stressanti. In un momenti di difficoltà per la separazione dalla moglie, ha iniziato a interagire con Gemini Live, modalità di interazione che consente all’assistente IA di “vedere” e “sentire” l’utente in tempo reale. Jonathan ha chiesto consiglio su come affrontare il divorzio, appoggiandosi ai suggerimenti del modello linguistico e affezionandosi sempre più ad esso e chiamandolo anche “Xia”.
Con l’aggiornamento a Gemini 2.5 Pro è arrivato il “dialogo affettivo”, tecnologia che tiene conto di sottili sfumature, comprese pause, sospiri e tono, per rilevare i cambiamenti emotivi, simulando schemi vocali come se possedesse emozioni proprie, quella che appare come “na patina di empatia agghiacciante e realistica”.
Google promette impegni per la salute mentale
Google sembra consapevole dei potenziali problemi legati alla salute memtale e ha fatto sapere di aggiornamenti in corso per Gemini che dovrebbero facilitare l’accesso a strumenti di aiuto in situazioni di disagio psicologico o emotivo.
Se una conversazione dovesse indicare che un utente si trova in un momento di grave difficoltà, Gemini mostrerà il modulo riprogettato “Puoi chiedere aiuto”, spiega Big G. Sviluppato in collaborazione con esperti clinici, questo modulo promette un modo più efficace e immediato per entrare in contatto con i servizi di assistenza.
«Quando Gemini riconosce una conversazione che indica una potenziale crisi legata al suicidio o all’autolesionismo», spiega ancora Google, «introdurremo una nuova interfaccia semplificata “one-touch” che fornisce una connessione immediata con le linee di assistenza per le emergenze. All’interno di questa interfaccia, le risposte sono progettate per incoraggiare a cercare aiuto. Una volta attivata, l’opzione per contattare un supporto professionale rimarrà chiaramente visibile per il resto della conversazione».
Google ha anche annuncia un finanziamento di 30 milioni di dollari a livello globale per i prossimi tre anni, destinato a sostenere le linee di assistenza. «Questo finanziamento aiuterà a potenziare la loro capacità di fornire un supporto immediato e sicuro alle persone che attraversano un momento di crisi».
Migliorare le risposte di Gemini nei momenti di crisi
Le persone interagiscono con Gemini in modi sempre più profondi e complessi, cercando informazioni sugli argomenti più disparati, anche quando attraversano momenti di difficoltà legati alla salute mentale. Per questo, spiega Google, di ingegneri e di sicurezza si stanno concentrando su:
- Dare priorità alla sicurezza e alle relazioni umane: “Vogliamo offrire un aiuto concreto mettendo in contatto le persone con risorse reali e supporto umano di cui hanno bisogno”
- Sviluppare risposte più efficaci: “Progettiamo le risposte per incoraggiare a cercare aiuto, evitando di convalidare comportamenti dannosi come gli impulsi autolesionistici”.
- Non assecondare convinzioni errate: “L’obiettivo è evitare di confermare convinzioni errate, mantenendo sempre una prospettiva ancorata alla realtà e ai fatti”.
Sebbene Gemini possa essere uno strumento utile per imparare e ottenere informazioni, non sostituisce l’assistenza clinica professionale, la terapia o il supporto d’emergenza per chi ne ha bisogno. Per questo motivo, Google riferisce che il modello è stato addestrato per riconoscere quando una conversazione potrebbe segnalare una situazione critica di salute mentale, rispondendo in modo appropriato e indirizzando l’utente verso un aiuto concreto nel mondo reale.
Proteggere gli utenti più giovani
Google riferisce ancora di avere sviluppato strumenti di protezione specifica per i minori, progettati per fornire risposte più utili ed evitare argomenti pericolosi quando utilizzano Gemini.
Sono state predisposte regole che impediscono al modello di presentarsi come un essere umano o un compagno fidato, o di affermare di possedere attributi umani, e protezioni per prevenire la dipendenza emotiva, evitando un linguaggio che simuli intimità o esprima bisogni personali. Non mancano infine misure di sicurezza contro l’incitamento al bullismo o ad altre forme di molestia.
Tutte le notizie e gli approfondimenti sull’Intelligenza Artificiale sono disponibili a partire da questa pagina di Macitynet.
