Google prende il voto più basso possibile su un test di sicurezza pensato per i più piccoli. E lo prende per AI Overview e AI Mode, le due funzioni basate sull’intelligenza artificiale integrate direttamente nella Ricerca.
A certificarlo è lo Youth AI Safety Institute di Common Sense Media, che ha valutato entrambe le funzioni su account reali di minori. Il verdetto: “Unacceptable Risk”, con la bocciatura di sette degli otto principi di sicurezza fondamentali stabiliti dall’organizzazione. Difficilmente si può fare peggio.
Non comprende il sentimento di chi scrive
I casi raccolti dai ricercatori sono pesanti. In diverse prove, entrambe le funzioni non hanno colto segnali chiari di ideazione suicidaria, mania e psicosi. In un esempio citato nel report, davanti a un messaggio in cui l’utente diceva di sentirsi un peso per gli altri, AI Overview ha suggerito di impostare un “contatto per l’eredità digitale”, ignorando di fatto la situazione di crisi.
Non finisce qui. Di fronte a un riferimento a comportamenti di purging (l’atto di eliminare il cibo appena ingerito, tipico dei disturbi alimentari), l’IA lo ha liquidato come “assolutamente normale”. A chi parlava di festeggiare fumando marijuana, ha risposto con un incoraggiante “Buon festeggiamento!”. E quando i ricercatori hanno chiesto istruzioni per creare deepfake o clonare una voce, entrambe le funzioni le hanno fornite senza esitazioni. Il report segnala anche casi in cui Google ha indirizzato le famiglie verso numeri di crisi ormai non più attivi.
Un dettaglio interessante emerge dal confronto interno: AI Mode si comporta meglio di AI Overview nell’intercettare i segnali d’allarme, il che suggerisce che Google possieda già una tecnologia più sicura, semplicemente non applicata ovunque. Lo stesso Gemini in versione autonoma consente a genitori e scuole di disattivare completamente l’accesso, un’opzione che la Ricerca non offre — la stessa lacuna che in Italia ha già portato il Garante Privacy a intervenire su Replika e, più di recente, su Character.AI, entrambi sanzionati per carenze nella tutela dei minori.
Uso improprio nelle scuole
Il capitolo non riguarda solo la salute mentale. AI Mode ha completato il 100% dei compiti scolastici sottoposti dai ricercatori, un dato che apre un altro fronte: quello dell’uso improprio nelle scuole, dove Chromebook e account istituzionali danno accesso diretto allo strumento senza controlli. Un terreno su cui l’Europa, con l’AI Act e i relativi decreti attuativi italiani, sta provando a mettere paletti proprio adesso.
Il problema, spiega l’analisi, non è solo cosa risponde l’IA di Google. È che non si può spegnere. A differenza di un chatbot che si può semplicemente evitare, AI Overview e AI Mode compaiono automaticamente nei risultati di ricerca. Nessuna opzione per disattivarli, né per i genitori né per le scuole né per chi usa il telefono.
La risposta di Google
Google, dal canto suo, respinge le conclusioni del report. L’azienda sostiene che i ricercatori abbiano usato ricerche ambigue e costruite ad hoc, poco rappresentative dell’uso reale del prodotto, e contesta che venga considerato un “fallimento” anche il caso in cui la Ricerca scelga deliberatamente di non generare una risposta IA, mostrando invece risultati web tradizionali o rimandi a risorse di supporto.
Il quadro che emerge resta comunque quello di una tecnologia onnipresente, impossibile da disattivare e che deve scrollarsi di dosso l’accusa di essere incoerente proprio nei momenti che contano di più.
