Cloudflare dichiara guerra ai crawler IA: cambiano le regole per Google e le altre aziende del settore

L’intelligenza artificiale sta cambiando profondamente il modo in cui vengono utilizzati i contenuti presenti sul web e, di conseguenza, anche gli equilibri tra editori, motori di ricerca e aziende che sviluppano modelli IA. In questo contesto si inserisce l’ultima iniziativa di Cloudflare, che ha annunciato una nuova politica destinata ad avere un impatto significativo sul funzionamento dei crawler utilizzati dalle piattaforme di intelligenza artificiale.

L’azienda, che protegge e gestisce milioni di siti web in tutto il mondo, introdurrà infatti nuove impostazioni predefinite che limiteranno l’accesso ai cosiddetti crawler a uso misto, ossia quei bot che utilizzano un’unica infrastruttura sia per indicizzare le pagine dei motori di ricerca sia per alimentare servizi e modelli di intelligenza artificiale.

L’obbiettivo dichiarato è offrire ai proprietari dei siti un controllo maggiore su come vengono utilizzati i propri contenuti, cercando al tempo stesso di costruire un ecosistema più sostenibile per tutte le parti coinvolte.

Segui TuttoTech.net su Google Discover

Dal 15 settembre cambiano le impostazioni predefinite

La novità entrerà in vigore il 15 settembre 2026 e riguarderà i nuovi clienti Coludflare, i nuovi siti configurati dagli utenti già esistenti e anche gli account gratuiti, salvo diversa scelta da parte degli amministratori.

Nello specifico, sulle pagine che ospitano pubblicità verrà consentita l’indicizzazione per la ricerca tradizionale, mentre saranno bloccati automaticamente i crawler che combinano ricerca, addestramento dei modelli di intelligenza artificiale e attività svolte dagli agenti IA.

Secondo Cloudflare, molti gestori di siti desiderano continuare a comparire nei risultati dei motori di ricerca ma non intendono concedere automaticamente l’utilizzo gratuito dei propri contenuti per l’addestramento dei modelli o per alimentare chatbot e assistenti basati sull’intelligenza artificiale.

L’azienda spera quindi che questa scelta spinga gli sviluppatori di IA a separare i propri crawler, distinguendo chiaramente quelli dedicati all’indicizzazione per i motori di ricerca da quelli impiegati per l’addestramento e per i servizi di intelligenza artificiale.

Nel mirino c’è anche Google

Pur senza citarla direttamente nella comunicazione ufficiale, Cloudflare punta chiaramente il dito contro Google. L’azienda sostiene infatti che il più grande motore di ricerca abbia accesso a circa il doppio delle informazioni rispetto ad altre aziende del settore IA, poiché rende difficile per gli editori rimanere visibili nei risultati di ricerca senza contribuire contemporaneamente alle funzionalità basate sull’intelligenza artificiale.

La questione nasce dal funzionamento di Googlebot, il crawler principale di Google, che viene utilizzato non soltanto per alimentare il motore di ricerca tradizionale ma anche per funzionalità come AI Overviews e AI Mode.

Google mette già a disposizione Google-Extended, un crawler separato che permette ai siti di impedire l’utilizzo dei propri contenuti per l’addestramento di modelli come Gemini senza compromettere la presenza nella Ricerca Google; tuttavia, questa separazione non copre tutti i servizi basati sull’intelligenza artificiale dell’azienda, motivo per cui Clodflare ritiene necessario un approccio più netto.

Pay Per Crawl evolve in Pay Per Use

Contestualmente, Cloudflare ha annunciato anche un’importante evoluzione della propria piattaforma economica dedicata agli editori. La funzione Pay Per Crawl, introdotta nel 2025 per consentire ai siti di richiedere un pagamento ai bot IA prima di effettuare lo scarping dei contenuti, cambia nome e filosofia diventando Pay Per Use.

Il nuovo modello non remunera più semplicemente l’accesso a una pagina web, ma punta a far sì che gli editori vengano compensati quando i loro contenuti generano effettivamente valore all’interno di un servizio basato sull’intelligenza artificiale. In pratica, il pagamento scatterà quando le informazioni di un sito verranno utilizzate nelle risposte di un chatbot o di un agente IA, anziché nel momento della semplice scansione della pagina.

Per il debutto della piattaforma Cloudflare collaborerà inizialmente con Ceramic.ai e You.com, ma l’obbiettivo è coinvolgere progressivamente un numero sempre maggiore di aziende attive nel settore dell’intelligenza artificiale.

Secondo Cloudflare, questo modello potrebbe portare benefici sia agli editori, che vedrebbero finalmente riconosciuto il valore economico dei propri contenuti, sia alle aziende IA, che eviterebbero di effettuare continue scansioni inutili del web. I dati raccolti dall’azienda mostrano infatti che oltre la metà del traffico generato dai crawler IA viene impiegata per recuperare nuovamente pagine che non hanno subito alcuna modifica, con un notevole consumo di banda e risorse computazionali.

La nuova strategia rappresenta quindi uno dei tentativi più concreti, almeno finora, di ridefinire il rapporto tra creatori di contenuti e intelligenza artificiale. Resta ora da vedere se le principali aziende del settore decideranno di adattare i propri sistemi di crawling per rispettare le nuove regole oppure se sceglieranno di percorrere strade alternative.