Comparire nei motori di ricerca senza lasciare che i propri contenuti vengano usati per addestrare sistemi di intelligenza artificiale. Cloudflare vuole rendere più semplice questa scelta con nuovi controlli dedicati ai siti web.
La società ha introdotto la designazione Accountable per identificare gli operatori che rispettano determinati criteri nell’accesso ai contenuti e ha lanciato Disallow AI Training, un’impostazione che permette di rifiutare l’uso delle proprie pagine per l’addestramento dell’AI continuando a comparire nei risultati di ricerca.
Cloudflare gestisce infrastrutture per distribuzione dei contenuti, sicurezza e DNS e può quindi osservare e controllare anche il traffico dei crawler, i programmi automatici che analizzano le pagine web.
Apple, Google e Microsoft sono ora classificate da Cloudflare come Accountable: secondo la società rispettano già i requisiti richiesti oppure hanno indicato tempi precisi per adeguarsi.
Ricerca e addestramento AI diventano separati
Per anni il rapporto tra siti e motori di ricerca è stato semplice: i crawler analizzavano le pagine e i motori restituivano traffico ai siti indicizzati.
L’intelligenza artificiale ha complicato questo meccanismo. Alcuni crawler raccolgono infatti gli stessi contenuti sia per costruire gli indici di ricerca sia per addestrare sistemi AI.
Secondo Cloudflare, questi crawler a uso misto rappresentano il 36,6% del traffico verificato dei crawler sulla sua rete. Meno dell’1% dei siti blocca i crawler dei motori di ricerca, mentre circa il 17% limita l’uso dei contenuti per l’addestramento AI.
Finora, però, bloccare l’addestramento poteva significare anche perdere visibilità nei risultati di ricerca quando lo stesso crawler veniva utilizzato per entrambe le attività.
Il prossimo passaggio sono i riepiloghi AI
Cloudflare vuole estendere il controllo anche ai contenuti utilizzati per generare direttamente risposte e riepiloghi tramite intelligenza artificiale.
Gli operatori classificati come Accountable dovranno permettere ai siti di rifiutare anche questo utilizzo. Entro l’inizio del prossimo anno Cloudflare punta a riunire queste scelte in un unico pannello.
Tre controlli separati per ricerca, AI e agenti
Cloudflare sta sostituendo l’interruttore “Block AI Bots” con tre impostazioni indipendenti: una per i motori di ricerca, una per l’addestramento AI e una per gli agenti AI, cioè software in grado di consultare autonomamente siti e servizi.
Per i nuovi siti Cloudflare proporrà impostazioni predefinite diverse:
- Siti finanziati dalla pubblicità: ricerca consentita, addestramento AI disabilitato e agenti AI bloccati nelle pagine con pubblicità.
- Altri siti: ricerca, addestramento AI e agenti AI rimangono consentiti.
Cloudflare sostituirà inoltre “Managed Robots.txt” con “Bot Preference Sync”, che permette di definire una sola volta le preferenze sui crawler e applicarle automaticamente ai sistemi supportati.
Crawler Accountable, i requisiti
Cloudflare ha definito quattro requisiti per considerare responsabile e trasparente l’attività dei crawler:
- permettere ai siti di rifiutare l’uso dei contenuti per l’addestramento AI tramite robots.txt o standard equivalenti;
- consentire di rifiutare l’uso dei contenuti nei riepiloghi generati dall’AI;
- mostrare a livello di singolo indirizzo web come i contenuti vengono utilizzati;
- confermare che il rifiuto dell’addestramento AI non influisce sul posizionamento nella ricerca tradizionale.
Secondo Cloudflare, Apple, Google e Microsoft soddisfano questi requisiti oppure hanno già indicato come intendono adeguarsi.
Google, ad esempio, offre Google-Extended, che consente di limitare determinati utilizzi dei contenuti per l’intelligenza artificiale senza rinunciare all’indicizzazione nel motore di ricerca.
Altre aziende utilizzano invece crawler distinti per ricerca e addestramento: in questi casi Cloudflare può bloccare quelli destinati all’AI senza interferire con la ricerca. L’elenco degli operatori considerati Accountable viene pubblicato su Cloudflare Radar.
Verso uno standard comune
Cloudflare partecipa anche ai lavori dell’Internet Engineering Task Force (IETF) su “ai-prefs”, una specifica ancora in sviluppo che dovrebbe permettere ai siti di indicare in modo standardizzato come i propri contenuti possono essere utilizzati dai sistemi di intelligenza artificiale.
I nuovi controlli Cloudflare sono progettati anche per funzionare con questi standard quando saranno definiti.
