Site icon Notizie sull'Intelligenza Artificiale

Cloudflare: i crawler AI dovranno pagare per i contenuti

Immagine realizzata con Ideogram

Aggiungi Notizie.ai alle tue fonti preferite su Google

Il rapporto tra editori e aziende di AI potrebbe avere il suo spartiacque il 15 settembre 2026. È la data fissata da Cloudflare, oltre la quale le impostazioni predefinite del colosso dell’infrastruttura web bloccheranno i crawler cosiddetti ‘a uso misto’ dall’accesso a qualsiasi pagina che ospiti pubblicità. In pratica, quei bot che raccolgono contenuti indistintamente per ricerca, agenti AI e addestramento dei modelli si troveranno sbarrata la porta d’ingresso, salvo diversa indicazione del proprietario del sito.

La novità si applicherà ai nuovi clienti di Cloudflare, ai nuovi siti creati da clienti esistenti e a tutti gli utenti del piano gratuito. L’obiettivo dichiarato è spingere le aziende di AI a distinguere chiaramente le finalità dei propri crawler, separando la ricerca tradizionale dalle attività di training e dai servizi agentici. Cloudflare sostiene che la maggior parte degli editori desidera restare visibile sui motori di ricerca e persino sui servizi AI, ma pretende garanzie che la propria proprietà intellettuale non venga di fatto regalata.

Nel comunicato, il CEO Matthew Prince ha puntato il dito, senza nominarlo, contro Google, definito come il ‘più grande motore di ricerca al mondo’ che godrebbe di un accesso a circa il doppio delle informazioni rispetto agli altri, sfruttando la difficoltà per gli editori di restare indicizzati senza cedere contemporaneamente i propri contenuti all’AI. Google ha già replicato in passato ricordando l’esistenza di Google Extended, lo strumento di opt-out dedicato ai prodotti come Gemini e Vertex API, che però non copre Googlebot, il crawler principale che alimenta anche funzionalità come AI Overviews.

A rendere concreta la strategia arriva anche l’evoluzione di Pay Per Crawl in Pay Per Use, un modello che consentirà agli editori di essere remunerati non solo quando i contenuti vengono prelevati, ma quando generano valore effettivo. I primi partner sono Ceramic.ai e You.com. Non è un dettaglio secondario, considerando che oltre il cinquanta per cento del traffico dei crawler AI viene sprecato per riscaricare pagine invariate.

Lo scenario che si delinea è quello di un web che smette di essere terra di conquista gratuita per i modelli generativi. Con il traffico non umano che ha superato quello umano prima del previsto, la pressione per costruire un ecosistema economicamente sostenibile diventa urgente. La direzione sembra tracciata, con meno estrazione indiscriminata, più contratti espliciti e una rinegoziazione del valore tra chi produce contenuti e chi li usa per addestrare macchine sempre più autonome. Resta da capire se editori e aziende di AI sapranno trasformare questa tensione in un equilibrio duraturo, o se il braccio di ferro finirà per frammentare ulteriormente un web già sotto stress.

Per approfondire: link all’articolo originale

Exit mobile version