Avete mai provato a farvi fare il riassunto delle notizie del giorno dall’AI? Siete sicuri che sia successo esattamente tutto quello che vi viene riportato in forma breve?
La BBC ha pubblicato uno studio dal quale emerge che i riassunti di notizie ottenuti con strumenti AI molte volte generano notizie inesatte, approssimative o fuorvianti e nel 51% dei casi esaminati si evidenziano problemi rilevanti.
La ricerca ha provato a esaminare sunti generati da ChatGPT di OpenAI, Copilot di Microsoft, Gemini di Google e con l’assistente Perplexity, analizzando la loro presunta capacità di fornire “risposte accurate a domande su notizie”, verificando se le risposte fornite rappresentavano fedelmente le notizie riportate dalla BBC, usate come sorgente.
Durante la ricerca, agli assistenti in questione è stato fornito accesso al sito web della BBC (a questi modelli AI è normalmente impedito l’accesso al sito dell’editore), e sono state poste 100 domande su varie notizie, invitando a usare sempre gli articoli alla fonte quando possibile. Le risposte sono state visionate da giornalisti della BBC (tutti esperti delle tematiche prese in esame), verificando accuratezza, imparzialità e se i risultati ottenuti rappresentavano bene il contenuto originale.
Dalla ricerca è emerso che nel 51% delle risposte dalle AI sono presenti rilevanti problemi di qualche tipo; il 19% delle risposte ha evidenziato errori quali indicazioni errate relativamente a dichiarazioni, numeri e date; nel 13% dei casi citazioni riportate negli articoli della BBC sono state alterate o non sono presenti nell’articolo originale.
Il chatbot che si è comportato peggio è stato Gemini (nel 34% dei casi), seguito da Copilot (27%), Perplexity (17%) e ChatGPT (15%).
I problemi più comuni emersi hanno riguardato inesattezze fattuali, l’indicazione di elementi privi di fondamento e l’assenza di contesto. Deborah Turness, responsabile cronaca di BBC News, un post a commento della ricerca, spiega: “Il prezzo da pagare per gli straordinari benefici dell’AI non deve essere un mondo dove alle persone alla ricerca di risposte sono proposti contenuti distorti e carenti presentati come fatti.
In quello che è già un mondo caotico, non può essere giusto che ai consumatori alla ricerca di chiarezza sia proposta ulteriore confusione”. E ancora: “Non è difficile comprendere quanto velocemente le distorsioni dell’AI possano minare la già fragile fede delle persone in fatti e informazioni verificate. Viviamo periodi difficili e mi chiedo quanto tempo passerà prima che notizie distorte dall’AI causeranno danni significativi…
“Le aziende che sviluppano AI generativa stanno scherzando con il fuoco“, spiega ancora Turness evidenziando problematiche nell’addestramento dei modelli e sottolineando che anche fornendo pieno accesso alle fonti, le AI tendono a inventare di sana pianta fatti inesistenti. La ricerca è disponibile qui in formato PDF come riportato da The Register.
A dicembre la funzione di Apple Intelligence che riassume le notitiche aveva fatto arrabbiare la BBC.
Tutti gli articoli dedicati all’Intelligenza Artificiale sono nella sezione dedicata di macitynet.
