Cloudflare ha annunciato l’intenzione di bloccare automaticamente i web crawler a uso misto, in altre parole quelli che indicizzano i siti web per i motori di ricerca e che, allo stesso tempo, fungono da agenti e addestratori di intelligenza artificiale.
In precedenza, l’azienda offriva ai propri clienti la possibilità opzionale di impedire ai crawler di effettuare lo scraping dei siti per i chatbot IA, ma ora la posizione di Cloudflare è più difensiva per impostazione predefinita.
Il traffico dell’AI ha superato da tempo quello umano
“Ora che la maggior parte del traffico su Internet non è umano, dobbiamo fare un passo in più agire rapidamente affinché possa emergere un ecosistema sostenibile”, ha dichiarato Matthew Prince, CEO e co-fondatore di Cloudflare. “Nuovi strumenti e partnership offrono ai proprietari di siti web maggiore visibilità e opportunità commerciali, e avvantaggiano le aziende di intelligenza artificiale che utilizzano bot con intenti chiari e trasparenti. Auspichiamo che le modifiche predefinite proposte incoraggino i crawler a uso misto, separando l’attività di ricerca dall’uso come agenti e dall’addestramento”.
In passato il traffico web indicava che le persone stavano visualizzando gli annunci pubblicitari di un sito o pagando per i suoi abbonamenti, ma la popolarità dei modelli di intelligenza artificiale in grado di visitare i siti per conto di un utente ed estrarre informazioni aggiornate ha stravolto questo sistema. Il nuovo approccio di Cloudflare è un tentativo di riequilibrare il rapporto in un modo che sia equo sia per le aziende di IA sia per chiunque gestisca un sito web.
A partire dal 15 settembre 2026, per i nuovi clienti e per i nuovi siti web degli abbonati Cloudflare esistenti l’impostazione predefinita sarà quella di “consentire la ricerca ma bloccare l’addestramento e l’uso come agenti per le pagine con annunci pubblicitari”. Anche i crawler a uso misto che non offrono ai proprietari dei siti la possibilità di scegliere se il proprio sito possa essere utilizzato per l’IA verranno bloccati di default sulle pagine con annunci. Secondo quanto dichiarato dall’azienda, anche gli utenti con account gratuiti passeranno a queste impostazioni predefinite, a meno che non decidano di disattivarle prima della scadenza del 15 settembre.
Cosa cambia per Google, Microsoft e Apple
Fra i crawler che rientrano nella categoria “mixed-use”, e dunque potenzialmente soggetti al blocco di default, abbiamo anche Googlebot, Bingbot di Microsoft e Applebot. Queste aziende dispongono però canali di esclusione separati e specifici per l’uso AI, canali che potrebbero esentati dal blocco. Secondo Cloudflare, Google ha accesso a quasi il doppio delle informazioni rispetto agli altri fornitori AI, rendendo difficile per i siti restare indicizzati su Search senza alimentare allo stesso tempo i propri prodotti.
