Strumento AI di web scraping: bloccarlo o lasciarlo entrare?

Una proprietaria di panificio controlla finalmente i log del server del proprio sito dopo che uno sviluppatore le segnala un forte traffico di bot durante la notte.

Trova decine di user agent sconosciuti che scansionano ogni pagina del sito, alcuni con decine di richieste in una sola ora.

Alcuni di questi nomi le sono vagamente familiari dalle notizie. Altri non le dicono nulla. Non ha modo di capire quali potrebbero portarle nuovi clienti e quali stanno solo copiando il suo menu e i suoi prezzi in un posto che lei non vedrà mai.

È questa la vera domanda dietro a uno strumento AI web scraping: non se i bot visitano il tuo sito, quasi certamente lo fanno, ma quali vale la pena far entrare e quali si limitano a prendere. Ecco come distinguerli e come decidere cosa consentire nel tuo file robots.txt.

Cosa fa davvero uno strumento AI web scraping

Uno strumento AI web scraping è un software progettato per estrarre testi, immagini, prezzi o altri dati dalle pagine web su larga scala, di solito in automatico e su migliaia di siti contemporaneamente. Il

La differenza tra uno scraper e qualsiasi altro tipo di crawler dipende dall'intento. L'obiettivo di uno scraper è copiare contenuti per riutilizzarli altrove, non indicizzarli per un risultato di ricerca né leggerli per poter rispondere a una domanda in seguito. Per uno strumento di scraping non importa se la tua pagina è ben posizionata o se un cliente la vedrà mai in una risposta dell'AI. Vuole solo il testo, il listino prezzi o le foto, e poi va oltre.

Crawler AI utili che possono consigliare la tua attività

Non tutti i bot che leggono il tuo sito rientrano in questa descrizione. Un gruppo separato di crawler esiste proprio per leggere le pagine in modo che un assistente AI possa rispondere a una domanda, a volte citando o nominando direttamente un'attività in quella risposta.

Quali bot AI di scraping rientrano in questa categoria

Diverse aziende pubblicano documentazione che indica i bot specifici che usano per questo scopo, che è il modo più chiaro per distinguerli da uno scraper non documentato. OpenAI documenta GPTBot e OAI-SearchBot come crawler usati per migliorare i suoi modelli e per supportare le funzioni di ricerca all'interno di ChatGPT. Anthropic documenta ClaudeBot come il crawler alla base dell'accesso al web di Claude. Perplexity documenta PerplexityBot come il crawler che usa per rispondere alle domande degli utenti con contenuti web aggiornati. Google documenta Google-Extended come un controllo separato che i proprietari dei siti possono usare per gestire se i loro contenuti vengono usati per le funzioni AI, separatamente dalla normale indicizzazione di Googlebot.

Cosa succede quando uno di questi bot visita il tuo sito

Quando uno di questi bot documentati legge una pagina, raccoglie lo stesso tipo di informazioni che raccoglierebbe una persona visitando la pagina: cosa fa l'attività, dove si trova, cosa offre. Se questo si traduca in una menzione in una risposta non è qualcosa che nessuna di queste aziende garantisce, e consentire a un crawler non assicura un risultato specifico. Significa però che il contenuto è disponibile per essere letto e potenzialmente utilizzato, mentre bloccarlo elimina del tutto questa possibilità. La nostra guida su come farsi menzionare in ChatGPT spiega cos'altro incide sul fatto che un'attività compaia in una risposta, oltre al semplice consentire l'accesso al crawler.

La vera differenza: lo scopo, non solo il comportamento

Qui il giudizio a occhio diventa più difficile. Un crawler assistente documentato e uno scraper non documentato possono sembrare quasi identici in un log del server.

Stesso schema di scansione, risultato diverso

Entrambi potrebbero visitare ogni pagina del sito. Entrambi potrebbero richiedere pagine a una velocità simile, nello stesso arco di tempo. Entrambi potrebbero comparire con una stringa user agent che, a prima vista, sembra solo un'altra riga di testo che nessuno riconosce. Lo schema di scansione da solo non dice quale dei due sta leggendo il tuo sito per potenzialmente consigliare la tua attività e quale lo sta leggendo per copiare la tua pagina dei prezzi su un sito di confronto di cui non hai mai sentito parlare.

Perché il volume di traffico non è il segnale da osservare

Viene spontaneo giudicare un bot in base a quanto traffico genera, considerando un alto numero di richieste come un segnale d'allarme di per sé. Non è un segnale affidabile. Un crawler documentato con uno scopo legittimo può comunque richiedere pagine di frequente, soprattutto su un sito con molte pagine o che viene aggiornato spesso. Anche uno strumento di scraping può funzionare lentamente e in silenzio, distribuendo le richieste proprio per evitare di dare nell'occhio. Il segnale da osservare è l'identità e lo scopo documentato, non il numero di richieste.

Come riconoscere uno strumento di scraping nei log del server

Dato che il volume da solo non chiarisce la questione, l'approccio più affidabile è osservare cosa fa davvero un bot una volta che sai chi dice di essere.

Controllare le analytics dell'hosting o i log di accesso

La maggior parte dei provider di hosting e delle piattaforme per siti web conserva una qualche forma di log di accesso o un pannello di analytics che mostra quali user agent hanno visitato il sito, con che frequenza e quali pagine hanno richiesto. Inizia da lì. Cerca alcuni schemi: un singolo user agent che richiede ripetutamente le pagine dei prezzi o dei prodotti, trascurando pagine come il blog o la pagina chi siamo; richieste prive di qualsiasi referrer; oppure un bot che continua a richiedere pagine con la stessa frequenza aggressiva anche dopo che il file robots.txt del sito chiede una scansione più lenta. Nessuno di questi elementi, preso da solo, è una prova di nulla. Insieme, meritano un'analisi più attenta.

User agent da verificare prima di bloccarli

Prima di bloccare qualsiasi cosa, cerca la stringa user agent esatta che compare nei tuoi log. Un crawler documentato di solito ha una pagina del suo operatore che spiega cosa fa e come controllarlo. Un bot non documentato, soprattutto se la stringa sembra generata a caso o storpia leggermente il nome di un bot noto, merita più sospetto. La nostra guida agli esempi di user agent elenca i bot comuni da riconoscere per nome, il che ti evita di cercare ogni volta da zero la stessa stringa quando ricompare.

Cosa succede se si bloccano del tutto i crawler AI

Alcuni titolari di attività decidono che la soluzione più semplice sia bloccare ogni bot con "AI" o "bot" nel nome, trattandoli tutti allo stesso modo come indesiderati. Questo risolve in un colpo solo il problema del carico sul server, ma chiude anche ogni possibilità di comparire nella risposta di un assistente AI, perché un crawler che non riesce a leggere la pagina non può consigliare ciò che c'è scritto.

Cosa succede se si lascia entrare ogni bot

L'approccio opposto, lasciare robots.txt completamente aperto a tutti, ha un costo tutto suo.

Uno strumento di scraping puro, una volta ammesso, può copiare le descrizioni dei tuoi prodotti, i tuoi prezzi e le tue foto, e ripubblicarli altrove senza alcuna indicazione su dove siano nati davvero. Non c'è alcun riconoscimento, nessun link di ritorno, e spesso nessun modo per accorgersene, a meno che non vai a cercare il tuo testo su un sito di cui non hai mai sentito parlare.

Per un sito con molte pagine, le ripetute sessioni di scraping possono anche aggiungere un carico reale e misurabile a un piccolo server. Non è un'ipotesi, è il costo pratico di lasciare che un bot non identificato scarichi ogni pagina del sito più e più volte, e può rallentare il sito per i clienti veri che cercano di caricare una pagina durante la pausa pranzo più affollata o in un periodo di ordini per le festività.

Lasciare entrare tutto significa anche trattare allo stesso modo un crawler documentato e ben comportato e uno scraper aggressivo senza alcuno scopo dichiarato. Non è un'impostazione predefinita più sicura. È solo un altro tipo di supposizione, che presuppone che ogni bot meriti lo stesso accesso a prescindere da chi lo gestisce o dal perché.

Decidere cosa consentire in robots.txt

Tra bloccare tutto e consentire tutto c'è il lavoro vero: decidere, bot per bot, cosa debba stare da una parte e cosa dall'altra.

Le tre domande da porsi prima di bloccare un bot

Tre domande coprono gran parte di ciò che conta. Il bot è documentato da un gestore con nome e cognome, con una pagina che spiega a cosa serve? Consentirlo porta un vantaggio realistico all'attività, come la possibilità di essere letti per una funzione di ricerca o per una risposta AI? E il volume di richieste è ragionevole per ciò che il bot dichiara di fare, invece di essere abbastanza aggressivo da mettere sotto pressione il sito?

Un bot che risponde sì alle prime due domande e mostra un comportamento ragionevole sulla terza di solito vale la pena di essere consentito. Un bot che non supera la prima domanda, senza documentazione, senza un gestore identificabile, senza nulla da verificare, di solito vale la pena di bloccarlo a prescindere dal resto del comportamento. Non esiste un modo affidabile per concedere fiducia a un bot che non riesci a identificare.

Robots.txt è una richiesta, non un lucchetto

Vale la pena essere chiari su ciò che fa davvero una regola di robots.txt. La documentazione di Google Search Central descrive robots.txt come un insieme di regole che i crawler ben comportati dovrebbero rispettare, non come una barriera tecnica che impedisce fisicamente a una richiesta di arrivare. I crawler documentati di aziende come OpenAI, Anthropic, Perplexity e Google di solito lo rispettano, perché ignorarlo andrebbe contro il loro stesso comportamento pubblicato. Uno scraper non documentato non ha una reputazione da proteggere, e niente gli impedisce di ignorare del tutto il file. Questo non rende il file inutile. Resta il posto giusto per dichiarare le tue intenzioni, ed è comunque ciò che i crawler degni di fiducia controllano davvero.

Un esempio pratico: analizzare il traffico dei bot di una panetteria

Questo esempio è illustrativo, non è la registrazione dei log reali di un sito.

Immagina che la titolare della panetteria di cui si parlava prima si sieda con i log di accesso di una settimana e trovi cinque user agent distinti su cui occorre prendere una decisione. Passa ciascuno di essi attraverso le tre domande di cui sopra prima di toccare il file robots.txt.

Questi dati sono illustrativi.

Tre dei cinque bot vale la pena consentirli, due vale la pena bloccarli, e la decisione ha richiesto pochi minuti una volta che aveva davanti i nomi. Nulla di tutto ciò ha richiesto di bloccare ogni bot o di consentire ogni bot. Ha richiesto solo di verificare ciascuno con le stesse tre domande.

Errori comuni nel bloccare i bot AI

La maggior parte dei problemi nella gestione dell'accesso dei bot deriva da alcune abitudini ricorrenti, non dal fatto che robots.txt sia di per sé complicato.

Checklist di 30 minuti per verificare l'accesso dei bot AI

Controllare l'accesso dei bot non richiede un intero pomeriggio. Ecco più o meno come si distribuisce il tempo per il sito di una piccola attività.

• Minuti da 0 a 5: apri il tuo file robots.txt attuale e leggi le regole già presenti, annotando eventuali regole generali che consentono o bloccano tutto in una volta.

• Minuti da 5 a 15: apri le statistiche del tuo hosting o i log di accesso delle ultime una o due settimane ed elenca ogni user agent distinto che compare più di qualche volta.

• Minuti da 15 a 22: cerca ogni nome che non conosci, verificando se il suo operatore pubblica documentazione che spiega cos'è e a cosa serve.

• Minuti da 22 a 27: suddividi la lista tra bot da consentire, bot da bloccare e casi ancora poco chiari da lasciare in sospeso, usando le tre domande viste in precedenza in questa guida.

• Minuti da 27 a 30: aggiorna robots.txt con regole specifiche per ogni user agent dei bot che hai esaminato, invece di un'unica riga generale che copre tutti i nomi simili.

Se un nome nella tua lista non corrisponde a nessuno degli esempi di questa guida, è normale. Nuovi bot compaiono regolarmente, e il passaggio di ricerca va ripetuto ogni pochi mesi, non è un'attività da fare una sola volta e poi dimenticare.

Dove si colloca RepGet

RepGet non decide al posto tuo quali bot bloccare, e non mantiene un elenco privato di crawler buoni e cattivi da copiare. Quella decisione, bot per bot, resta una tua responsabilità, usando le domande trattate in precedenza in questa guida.

Ciò che RepGet può fare è confermare che le impostazioni attuali di robots.txt corrispondano davvero a ciò che intendi. Lo AI Crawler Checker gratuito di RepGet verifica se bot specifici, tra cui GPTBot, ClaudeBot e PerplexityBot, sono effettivamente consentiti o bloccati sul tuo sito in questo momento, un modo più rapido per individuare un errore di battitura o una regola troppo ampia rispetto a leggere il file riga per riga. Si tratta di un controllo singolo e reale, non di un audit generale dell'intero sito.

Per una visione più ampia, il audit del sito web gratuito di RepGet analizza il sito e gli assegna un punteggio SEO da 0 a 100, con l'elenco dei problemi tecnici e di contenuto da approfondire, inclusi i problemi di robots.txt che potrebbero bloccare più del previsto. Non serve un account né una carta di credito. RepGet riunisce in un unico flusso di lavoro l'audit dei siti web, la ricerca delle parole chiave, la pianificazione dei contenuti, la scrittura di articoli, la pubblicazione sul tuo sito e i report sulle prestazioni di ricerca da Google Search Console, ma non sostituisce il tuo giudizio su quali bot meritano l'accesso e non garantisce una citazione nelle risposte di nessun assistente AI.

In sintesi

Uno strumento AI di web scraping e un crawler AI utile non sono la stessa cosa, anche quando nei tuoi log compaiono quasi identici. Uno copia i tuoi contenuti senza dare nulla in cambio. L'altro li legge con uno scopo documentato, a volte uno che può portare alla citazione della tua attività in una risposta.

Bloccare tutto chiude la porta a entrambe le possibilità. Consentire tutto consegna prezzi, foto e descrizioni a chiunque li chieda. La risposta onesta sta nel mezzo: verifica ogni bot per nome, chiediti se è documentato, se porta un vantaggio reale e se il volume di richieste è ragionevole, poi scrivi regole specifiche in robots.txt invece di un'unica regola ampia che copre tutto ciò che per caso condivide una parola nel nome.

Scopri prima di tutto cosa serve al tuo sito

Esegui un audit gratuito del sito web con RepGet per verificare che il tuo file robots.txt sia impostato davvero come intendi. Non serve un account né una carta di credito.