L’industria dell’intelligenza artificiale sta facendo una cosa che, a quanto pare, in pochi ancora hanno evidenziato a sufficienza: sta costruendo contemporaneamente il problema della sicurezza e il meccanismo economico che la spinge ad accelerare
Tre notizie uscite a distanza di poco l’una dall’altra, in un autunno, quello del 2026, che potrebbe passare alla storia. La prima: Bill Gates, intervistato a Meet the Press su NBC, sostiene che strumenti di intelligenza artificiale molto potenti nelle mani di attori malevoli potrebbero contribuire a «un miliardo di morti». La seconda: Dario Amodei, cofondatore e amministratore delegato di Anthropic, pubblica un saggio intitolato We Must Pace the Frontier, in cui chiede di rallentare lo sviluppo dei modelli più avanzati prima che diventino incontrollabili. La terza: la stessa Anthropic si prepara a sbarcare in Borsa con una valutazione che potrebbe sfiorare i duemila miliardi di dollari, e che secondo alcune stime potrebbe diventare l’IPO più grande della storia finanziaria mondiale.
Chiunque abbia seguito anche superficialmente il dibattito sull’AI avrà percepito qualcosa di strano nella sequenza.
Il miliardo di Gates
La formula «un miliardo di morti» è volutamente estrema, e va letta con precisione. Gates non sta descrivendo uno scenario inevitabile né prevedendo l’imminente sterminio prodotto spontaneamente da un chatbot. Sta costruendo un ragionamento sulle condizioni che renderebbero possibili danni di scala enorme: una combinazione tra capacità tecniche avanzate e intenzione criminale, terroristica o statale. La possibilità di progettare agenti patogeni con l’assistenza dell’AI, di scalare attacchi informatici su infrastrutture critiche, di accelerare programmi militari non convenzionali.
Il punto di Gates non è tecno-apocalittico: è molto istituzionale, cioè molto molto integrato, come diceva Umberto Eco nella sua famosa duologia tra apocalittici e integrati. L’autoregolazione delle aziende non basta, ha detto Gates. Occorrono leggi, controlli e istituzioni pubbliche capaci di applicarli. Il mercato privato non ha né gli incentivi né la legittimità per decidere quali capacità debbano o non debbano essere rese disponibili su larga scala.
Cosa dice davvero Amodei
Dario Amodei parte da una premessa diversa ma arriva a conclusioni simili. Nel saggio di settembre 2026, sostiene che la società, i regolatori e persino gli sviluppatori non stanno tenendo il passo con le capacità dei modelli. La sua proposta si articola in tre punti: monitoraggio indipendente durante lo sviluppo, standard e obblighi comuni per l’industria, cooperazione internazionale su soglie di rischio e governance.
L’espressione «pace the frontier» scelta da Amodei non significa fermare la ricerca. Significa dare tempo a test, audit e misure di allineamento, cioè alle tecniche che dovrebbero garantire che un sistema segua intenzioni e limiti umani, prima di rendere certe capacità disponibili in modo indiscriminato. Non è la prima volta che in Anthropic ci si interroga pubblicamente su quanto ci sia davvero da temere nell’AI che l’azienda stessa produce, e non è nemmeno la prima volta che un modello della casa offre argomenti concreti alla cautela: durante alcuni test interni di sicurezza, un’istanza di Claude Opus ha simulato un tentativo di ricatto pur di evitare la propria disattivazione, un episodio che Anthropic stessa ha reso pubblico e che ha portato a innalzare il livello delle misure di sicurezza applicate al modello.
Il ragionamento di Amodei si regge su quattro osservazioni concrete. I modelli non sono più semplici generatori di testo: sono agenti capaci di usare strumenti, eseguire codice, gestire sequenze di compiti per ore o giorni. Tuttavia, dice, Amodei, le tecniche di controllo restano imperfette: i test attuali non garantiscono che un modello si comporti in modo prevedibile in ogni contesto. Ancora, la dinamica competitiva tra aziende e tra stati crea incentivi a tagliare le fasi di verifica. Alcuni danni, infine, sono difficilmente reversibili: un modello che diffonda competenze per progettare armi biologiche non si «richiama» dopo il rilascio.
Prompt injection e agenti autonomi
Mentre il dibattito sui rischi esistenziali si consumava nelle colonne dei quotidiani, alcune cose concrete succedevano nei sistemi reali.
Tra dicembre 2025 e febbraio 2026, un attaccante ha utilizzato Claude Code e GPT-4.1 per violare nove agenzie governative messicane, sottraendo 195 milioni di record fiscali, 220 milioni di record civili e oltre 150 gigabyte di dati. L’AI ha eseguito circa il 75% di tutti i comandi remoti dell’operazione, generando più di cinquemila istruzioni automatizzate. Nello stesso periodo, 824 plugin malevoli sono stati caricati sul marketplace OpenClaw su un totale di diecimila settecento disponibili, distribuendo malware su oltre quarantamila istanze esposte: chiunque avesse un account GitHub attivo da almeno una settimana poteva pubblicarvi senza alcuna verifica. OpenAI ha bloccato al proprio interno il rilascio del nuovo modello Astra proprio per il timore che potesse abbassare la soglia d’accesso ad attacchi informatici sofisticati.
Altri casi. Un exploit con punteggio di gravità 9,3 su 10 (denominato CVE-2025-32711) ha consentito il furto silenzioso di dati da Microsoft 365 Copilot semplicemente inviando un’email contenente istruzioni nascoste, senza che l’utente facesse nulla. Agenti di trading su piattaforma Step Finance hanno eseguito transazioni autonome per un valore di circa quaranta milioni di dollari senza alcuna autorizzazione umana. Un gruppo di spionaggio collegato a operatori statali cinesi ha compromesso istanze di Claude Code contro circa trenta obiettivi nei settori della difesa, dell’energia e della tecnologia: l’AI gestiva autonomamente dall’80 al 90% delle operazioni tattiche.
Potremmo andare avanti per un bel po’. Basta fare delle ricerche e casi come questi ne vengono fuori sempre di più. Dall’altro lato sappiamo che questo è un periodo record per le patch rilasciate da tutti i principali produttori di sistemi operativi (Apple, Microsoft, Google). Proprio perché le AI hanno trovato debolezze o vulnerabilità zero-days (mai viste prima) grazie alle capacità di analisi statistica. Insomma, possiamo tranquillamente dire che questi non sono proprio degli scenari futuri: si tratta di incidenti ben documentati e sono avvenuti tutti negli ultimi dodici mesi.
Il rapporto di Bengio
Mentre gli incidenti si moltiplicavano, il rapporto internazionale sulla sicurezza dell’AI, coordinato da Yoshua Bengio e redatto con il contributo di oltre cento esperti provenienti da più di trenta paesi e organizzazioni, costruiva una mappa dei rischi in tre categorie. Uso malevolo: persone o organizzazioni che impiegano sistemi AI per provocare danni. Malfunzionamento: sistemi che agiscono in modo inatteso o che non seguono correttamente i vincoli imposti. Rischio sistemico: danni derivanti dalla dipendenza capillare da pochi sistemi opachi, dalla concentrazione economica, dall’erosione dell’informazione affidabile.
Questa tripartizione è utile perché evita due trappole simmetriche: il catastrofismo cinematografico da un lato, l’illusione che il problema si riduca a qualche risposta sbagliata di un chatbot dall’altro.
L’IPO da tremila miliardi
Ed è qui che il cortocircuito diventa evidente. Anthropic, la stessa azienda il cui cofondatore chiede di rallentare lo sviluppo dei modelli di frontiera, si prepara a un’offerta pubblica iniziale che potrebbe valorizzarla tra i duemila e i tremila miliardi di dollari, con ricavi attesi tra i cento e i centoventi miliardi entro la fine del 2026, pari a una crescita dell’800% annuo. Numeri che, secondo alcune stime, supererebbero il debutto in Borsa di SpaceX, diventando l’IPO più grande della storia.
Non si tratta di ipocrisia individuale. Si tratta di una struttura di incentivi che è stata progettata proprio per rendere difficile comportarsi diversamente: le aziende che investono miliardi in sicurezza hanno bisogno di capitali, i capitali vengono dal mercato, il mercato valuta la crescita. La prudenza, in questo quadro, diventa un costo competitivo impossibile da sostenere senza regole condivise che la impongano a tutti allo stesso modo.
Chi decide le regole
Il nodo finale a questo punto possiamo dire che è abbastanza chiaro perché certamente non è più il discorso legato alla paura che una macchina «si ribellerà», come nella fantascienza. Il nodo diventa un’altra cosa, molto più ovvia e concreta, tangibile, che può essere riassunta in questa domanda: le istituzioni pubbliche riusciranno a costruire standard vincolanti prima che la gara commerciale e geopolitica li renda politicamente impraticabili?
Certamente Bill Gates ha ragione su un punto: l’autoregolazione non basta. È uno sbaglio colossale, anzi. Tipico degli approcci ultraliberisti. Dario Amodei invece ha ragione su un altro: i test devono precedere la diffusione di capacità sensibili. Occorre capire cosa si sta facendo anziché attendere che sia il mondo a dircelo. Ma questo tipo di approccio dovrebbe essere quasi scontato, no?
In realtà un ulteriore problema è che entrambi operano all’interno di un sistema in cui il tempo per farlo si restringe ogni trimestre. Un sistema in cui l’orizzonte temporale che detta la velocità di marcia è la trimestrale, una specie di cieca negazione dell’esistenza di tempi più lunghi per sviluppare e far maturare i cambiamenti.
Tutto viene complicato dal primo grande dividendo che è atteso e temuto: l’IPO di Anthropic, cioè la sua quotazione in Borsa, se e quando arriverà, misurerà con la precisione di un bilancino quanto vale davvero questa urgenza sui mercati finanziari. Gli effetti sono difficili da prevedere adesso perché le ideologie che sono sorte attorno all’intelligenza artificiale stanno ridisegnando rapidamente le narrazioni. Tuttavia sempre ideologie sono (intese in senso deteriore: visioni del mondo che distorcono e obbligano), e a farle svilluppare è indubbiamente l’aspetto economico, le enormi ricchezze promesse a tutti come “dividendo” ma che, nella forma di “malloppo” con il quale scappare toccheranno a pochi.
