Quasi ogni accusa recente di testo scritto con l’intelligenza artificiale porta alla stessa firma: Pangram. Lo strumento è stato chiamato in causa quando una casa editrice ha ritirato un romanzo horror pochi giorni prima dell’uscita statunitense, dopo che l’analisi automatica aveva classificato il testo come generato artificialmente. Lo stesso software è stato usato per sostenere che chatbot avessero scritto articoli per testate come il New York Times e racconti premiati con riconoscimenti letterari, oltre ad ampi passaggi di Magnifica Humanitas, l’enciclica di papa Leone XIV dedicata ai rischi dell’intelligenza artificiale.
Università e associazioni scientifiche utilizzano lo stesso software per controllare elaborati di studenti e articoli scientifici. Pangram si integra con Canvas, una delle piattaforme didattiche più diffuse negli Stati Uniti, dove gli istituti superiori contano oltre dieci milioni di studenti e gli ateneI ne ospitano circa venti milioni: anche un margine di errore minimo, su una platea simile, produce un numero rilevante di accuse infondate.
Fino a pochi anni fa l’idea di distinguere in modo affidabile un testo umano da uno artificiale sembrava irrealizzabile. Gli errori erano notevoli. Un solo esempio: nel 2023 lo strumento ZeroGPT aveva dichiarato che la Costituzione degli Stati Uniti era stata scritta dall’intelligenza artificiale. OpenAI aveva abbandonato il proprio rilevatore per scarsa accuratezza. Da allora i sistemi sono migliorati molto, di pari passo con la qualità della scrittura prodotta dai chatbot.
Un’accuratezza che convince, finché non convince più
Secondo l’azienda che produce Pangram, il tasso di falsi positivi, cioè i testi umani etichettati come artificiali, sarebbe di circa uno su diecimila, cifra confermata da uno studio dell’università di Chicago su tremila campioni di cinquecento o mille parole. Il problema riguarda però il rovescio della medaglia: la capacità di garantire che un testo sia umano è meno solida, con un tasso di falsi negativi stimato attorno a uno su settanta.
Il caso più clamoroso degli ultimi mesi riguarda Magnifica Humanitas, pubblicata il 25 maggio dopo la firma datata 15 maggio, un documento di circa quarantaduemilatrecento parole sulla sfida sociale e morale dell’intelligenza artificiale. Diverse analisi basate su Pangram hanno indicato percentuali di contenuto AI-generated comprese tra il quaranta e il cento per cento in alcuni paragrafi, con una stima complessiva intorno al quarantasei per cento su un campione di duemila parole.
I discorsi pronunciati a voce dal pontefice, però, sono risultati interamente human written, così come le encicliche dei suoi quattro predecessori: una discrepanza che ha alimentato ipotesi su un uso dell’intelligenza artificiale nella sola fase di redazione scritta, senza commenti dalla Santa Sede.
Quando la macchina accusa il giornalista
Non è un caso isolato. La giornalista Taylor Lorenz è stata accusata su X di avere usato l’intelligenza artificiale per un articolo destinato a Vanity Fair, accusa che ha respinto con fermezza. Il fondatore di Pangram, Max Spero, ha verificato il caso e riconosciuto un errore del sistema, grazie alla cronologia delle modifiche che ha permesso di ricostruire la scrittura.
Sul fronte opposto, James Taranto, redattore del Wall Street Journal, ha definito Pangram una macchina diffamatoria, sostenendo che il sistema avesse etichettato come generati dall’intelligenza artificiale tre editoriali del quotidiano. Due autori coinvolti hanno ammesso di avere usato l’intelligenza artificiale per rivedere parte del testo, circostanza che secondo Taranto non equivale a dire che il testo fosse generato dall’intelligenza artificiale: la distinzione tra assistito e generato è il nodo che rende l’intero sistema scivoloso, soprattutto quando un verdetto può compromettere una reputazione costruita in decenni di lavoro.
L’arma, la corazza e l’addestramento
Il rilevamento procede in parallelo a una corsa agli armamenti contro gli strumenti che lo rendono inutile. I cosiddetti humanizer, programmi che riformulano un testo prodotto da un chatbot per farlo sembrare umano, sono ormai diffusi online. Uno di questi, Walter Writes AI, è stato testato facendo scrivere brevi articoli a ChatGPT e a Claude e passandoli poi attraverso la riformulazione.
Il risultato, sottoposto a Pangram, è stato classificato come scritto da un umano, nonostante l’origine restasse del tutto artificiale. La verità è che bastano delle sostituzioni lessicali minime per ribaltare il verdetto, segno che un testo può passare da generato a umano senza che una sola idea (della macchina) venga modificata dall’operatore umano.
Il funzionamento di Pangram resta peraltro molto opaco: i modelli vengono addestrati confrontando testi umani con le rispettive versioni riscritte da un chatbot, come un algoritmo di riconoscimento immagini impara a distinguere un gatto da un cane senza poter spiegare quali elementi determinano il verdetto.
Lo stesso Max Spero ha riconosciuto che il sistema è poco interpretabile, anche per categorie intermedie come AI-assisted, che comprendono situazioni molto diverse, dalla correzione grammaticale alla generazione integrale. Questo dipende anche da come vengono addestrati i modelli linguistici più recenti: tecniche come l’apprendimento per rinforzo tramite feedback umano o tramite ricompense verificabili spingono a privilegiare le forme linguistiche che più spesso hanno portato a risposte corrette, tra cui il parallelismo negativo, la struttura del tipo non è X, è Y, un dispositivo retorico antico il cui impiego massiccio da parte dei chatbot ha innescato un rigetto che colpisce anche chi lo usa per ragioni legittime (e che una volta veniva considerato un approccio logico e organizzato alla scrittura).
Il paradosso degli strumenti di correzione
L’ondata di sospetto ha trasformato anche strumenti come Grammarly in dispositivi di normalizzazione: un’analisi su un singolo testo ha individuato ventisette espressioni segnalate come potenzialmente artificiali, con suggerimenti che finiscono per uniformare la scrittura verso un modello considerato umano, ma definito da un altro algoritmo. Il risultato è quasi paradossale: per dimostrare di non avere usato una macchina, una persona finisce per usarne un’altra che riscrive il proprio testo, sostituendo la voce originale con una voce artificiale che cerca di sembrare umana. Sembra strano perché lo è.
Ma c’è un motivo se tutto questo sta succedendo. Nel mondo dell’istruzione la posta in gioco è altissima. Un insegnante di una scuola superiore pubblica di New York ha raccontato di avere sottoposto alcuni elaborati a Pangram, ottenendo risultati al cento per cento umani nonostante il sospetto, basato sulla conoscenza diretta degli studenti, che l’intelligenza artificiale fosse stata usata.
A complicare il quadro arriva il dato relativo a un sistema britannico di valutazione automatica dei saggi, testato su insegnanti umani, che premiava lunghezza del testo e complessità sintattica: criteri che hanno poco a che fare con il ragionamento ma molto con i parametri usati per misurare i modelli linguistici durante il loro addestramento.
L’eco delle guerre del plagio
La situazione richiama le guerre del plagio del 2023 e del 2024, quando attivisti di area conservatrice, tra cui Christopher Rufo, mobilitarono accuse contro accademici e dirigenti universitari, portando alle dimissioni dell’allora presidente di Harvard, Claudine Gay, sulla base di strumenti di rilevamento del plagio considerati poco attendibili. In entrambi i casi uno strumento tecnico, presentato come oggettivo, viene usato per costruire narrazioni pubbliche di colpevolezza prima che qualunque verifica sia possibile, e il confine tra uso legittimo e uso illegittimo dell’intelligenza artificiale resta privo di un consenso condiviso.
In pratica: non solo non si sa se effettivamente l’AI è in grado di capire se un testo è stato scritto da un’altra AI oppure da un umano, ma non si è nemmendo daccordo su cosa voglia dire “scritto da una AI” e se in effetti questo sia un bene o un male, dato che poi è comunque l’umano a firmarlo e quindi ad assumersi la responsabilità del contenuto del testo. Anche la tesi che “se chi lo scrive non si prende la briga di farlo realmente non vedo perché dovrei prendermi la briga di leggerlo” è una tesi sostenibile logicamente.
Max Spero ha sottolineato che Pangram non dovrebbe mai essere un giudice ultimo, ma il punto di partenza di un’indagine, paragonando il margine di errore del proprio sistema a quello, fisiologico, di tecnologie come i rilevatori di fumo o gli scanner aeroportuali. L’osservazione è corretta in linea di principio, ma trascura un dettaglio non secondario: a differenza di un rilevatore di fumo, il verdetto può diventare la notizia, alimentando titoli prima che qualunque verifica sia completata, mentre ogni valutazione indipendente sulla sua accuratezza rischia di essere già superata nel momento in cui viene pubblicata.
La posta in gioco reale
Dietro la cronaca delle singole accuse si muove una questione più ampia che è anche molto più interessante: non è tanto usare l’AI per scrivere quanto usare l’AI per giudicare. Insomma, che cosa succede quando una società comincia a delegare a un algoritmo il giudizio sull’autenticità del pensiero umano.
Se il timore di essere scambiati per una macchina spinge le persone a evitare strutture argomentative legittime solo perché somigliano a quelle prodotte da un modello linguistico, il rischio non è soltanto stilistico: gli strumenti retorici più utili per argomentare, contrapporre, dubitare, rischiano di essere abbandonati per timore di un verdetto automatico, lasciando sul campo non la scrittura artificiale, ma il pensiero critico che quella scrittura era chiamata a esprimere.
Tutte le notizie e gli approfondimenti sull’intelligenza artificiale sono disponibili nella sezione dedicata di macitynet.
