Vedere il sito come Googlebot: come vedere ciò che vede Google

Un imprenditore rinnova la home page del suo sito, e appare benissimo in ogni browser che prova.

Qualche settimana dopo, il sito scompare silenziosamente dai risultati di Google.

Apre la pagina nello strumento URL Inspection di Search Console e ottiene uno screenshot con spazi vuoti al posto di testi e foto.

In un browser la pagina non ha nulla che non va. Il problema sta in ciò che Google ha visto quando ha cercato di leggerla.

Questa differenza tra ciò che vedi tu e ciò che vede un motore di ricerca è comune, e di solito resta invisibile finché non la cerchi. Ecco come vedere il tuo sito come Googlebot, con strumenti che non richiedono alcuna conoscenza di programmazione, e cosa controllare una volta fatto.

Perché Googlebot non vede il tuo sito come lo vedi tu

Il tuo browser e Googlebot partono dallo stesso URL, ma non sempre arrivano alla stessa pagina.

Due fasi distinte: scansione e rendering

La documentazione ufficiale di Google su JavaScript e SEO descrive questo processo come due fasi distinte. Prima, Googlebot esegue la scansione di una pagina, cioè richiede l'URL e scarica l'HTML grezzo che viene restituito. Poi, se la pagina ne ha bisogno, Google esegue il rendering della pagina in un passaggio separato, eseguendo il JavaScript come farebbe un browser per vedere il contenuto finale.

Queste due fasi non sempre avvengono insieme. Il rendering può avvenire più tardi e utilizza risorse separate, quindi una pagina che dipende molto da JavaScript può restare in coda prima che Google ne veda lo stato finale.

Perché la stessa pagina può apparire diversa a ciascuno

Un browser esegue il JavaScript subito, ogni volta, per ogni visitatore. Google non tratta ogni pagina allo stesso modo. Se una pagina costruisce il suo contenuto principale con JavaScript, c'è una possibilità concreta che l'HTML grezzo recuperato per primo da Googlebot appaia quasi vuoto, con il testo e le immagini effettivi che compaiono solo dopo la fine del rendering.

Nella maggior parte dei casi non si tratta di un'emergenza. Moltissimi siti usano JavaScript senza alcun problema. Però significa che una pagina che sembra completa nel tuo browser non ti dice nulla su come appaia il recupero di Googlebot, o nemmeno la sua versione renderizzata.

Come vedere il tuo sito come Googlebot con lo strumento URL Inspection

Lo strumento URL Inspection di Google Search Console è il modo più diretto per verificarlo da solo, ed è gratuito una volta verificato il tuo sito.

Eseguire un test live o controllare la versione indicizzata

Apri Search Console, incolla l'URL completo della pagina nella barra di ispezione in alto e premi invio. Vedrai prima la registrazione di Google dell'ultima volta in cui ha scansionato quella pagina, se ne esiste una.

Quella registrazione può essere datata. Per vedere cosa troverebbe Google in questo momento, clicca su Test Live URL. Secondo la documentazione di Google nella Guida di Search Console, questo esegue un controllo aggiornato sulla pagina attiva, separato da qualunque versione sia stata indicizzata per ultima.

Il test live richiede un po' di tempo per completarsi. Quando è terminato, clicca su View Tested Page per vedere il risultato.

Aprire lo screenshot del rendering

All'interno della visualizzazione della pagina testata trovi una scheda con uno screenshot di come Google ha renderizzato la pagina, insieme all'HTML che ha recuperato e all'HTML dopo il rendering. Questo screenshot è la cosa più vicina a vedere la tua pagina con gli occhi di Googlebot.

Confrontalo con la stessa pagina aperta nel tuo browser. Se testi, immagini o intere sezioni mancano nella versione di Google ma sono presenti nella tua, quella è la differenza da approfondire.

Leggere il report di URL Inspection campo per campo

Il report è composto da diverse sezioni, e le etichette non sempre sono chiare se non lo hai mai usato.

Un report pulito in ogni campo non garantisce che una pagina si posizioni bene. Esclude però il motivo più elementare per cui una pagina potrebbe mancare del tutto dai risultati di ricerca: Google non è riuscito a recuperarla o a leggerla correttamente.

Confrontare la visione di Googlebot con quella del browser

Lo strumento URL Inspection è il controllo più affidabile, ma alcune tecniche più semplici nel tuo browser possono darti una prima impressione rapida senza lasciare la pagina che stai guardando.

Controllare il codice sorgente per l'HTML grezzo

La maggior parte dei browser ti permette di vedere l'HTML originale di una pagina, prima che venga eseguito qualsiasi JavaScript, scrivendo view-source: davanti all'URL della pagina. Questo è più o meno l'aspetto del primo recupero di Googlebot, prima che avvenga qualsiasi rendering.

Se le parole che leggi nella pagina, il tuo titolo, i tuoi paragrafi principali, la tua offerta chiave, non compaiono da nessuna parte in quell'HTML grezzo, è molto probabile che vengano aggiunte da JavaScript dopo il caricamento iniziale.

Disattivare JavaScript per una stima approssimativa

Gli strumenti per sviluppatori del browser includono di solito un'opzione per disattivare JavaScript e ricaricare la pagina. Con JavaScript disattivato, stai guardando qualcosa di più vicino alla versione peggiore di ciò che un crawler potrebbe vedere se il rendering non avvenisse o fallisse.

Non è una corrispondenza esatta con ciò che fa Googlebot, perché Google esegue il rendering del JavaScript in molti casi. È un controllo grossolano ma utile, non un sostituto del test vero in Search Console.

Problemi di contenuto che Googlebot trova e tu non vedi

Alcuni problemi emergono solo quando confronti la vista del tuo browser con quella di Googlebot, perché una normale visita non li rivela mai.

Testo che dipende da JavaScript per comparire

Una descrizione di prodotto, una tabella dei prezzi o perfino un'intera sezione della homepage possono essere scritti in modo da comparire solo quando uno script viene eseguito. Il tuo browser esegue quello script all'istante, quindi non noti mai un ritardo.

Se il passaggio di rendering di Google viene ritardato, saltato o incontra un errore, quello stesso testo può mancare da ciò che viene indicizzato. Lo screenshot renderizzato dello strumento URL Inspection è il punto in cui questo diventa visibile: uno spazio vuoto dove sai che dovrebbe esserci un paragrafo o un prezzo.

Contenuto nascosto dietro un clic o una scheda

Fisarmoniche, schede e sezioni "leggi di più" sono comuni nelle pagine dei servizi e nelle FAQ. Un visitatore clicca per espanderle senza pensarci due volte.

Google a volte riesce a leggere i contenuti nascosti in questo modo, ma dipende da come è costruita la pagina. Se il contenuto viene caricato nella pagina solo dopo un clic, invece di essere presente nell'HTML e semplicemente nascosto visivamente, c'è una concreta possibilità che non venga mai letto. Un rapido controllo dell'HTML renderizzato in Search Console mostrerà se quel testo nascosto è effettivamente presente.

Immagini e scorrimento infinito che si caricano in ritardo

Una pagina che carica le immagini solo mentre scorri verso il basso, o che aggiunge automaticamente nuove righe di contenuto quando arrivi in fondo, funziona bene per un visitatore umano paziente. Googlebot non scorre e non aspetta come fa una persona.

Il contenuto che compare solo dopo diversi passaggi di scorrimento può finire di fatto invisibile a una scansione, anche se ogni visitatore che scorre verso il basso lo vede chiaramente.

Problemi di blocco che tengono fuori Googlebot del tutto

Il contenuto che non viene renderizzato è un tipo di problema. Una pagina che Googlebot non riesce nemmeno a raggiungere è un problema diverso, e più grave.

Regole robots.txt che bloccano una pagina

La documentazione di Google su robots.txt spiega che una regola Disallow dice a un crawler di non richiedere affatto un determinato percorso. Se una pagina, o un'intera cartella in cui si trova, è esclusa, Googlebot non la scaricherà, e il suo contenuto non conta nulla se non viene mai letto.

Questo file si trova alla radice di un sito, qualcosa del tipo example.com/robots.txt, ed è utile controllarlo direttamente, perché una regola aggiunta durante un restyling o una migrazione del sito può bloccare più di quanto previsto. Il Robots.txt Checker gratuito di RepGet fornisce un esito per un URL specifico rispetto alle tue regole attuali, e la nostra guida al generatore di robots.txt spiega come creare un file che non blocchi più di quanto tu voglia.

Tag noindex e intestazioni

Una pagina può essere pienamente raggiungibile e comunque ricevere l'indicazione di restare fuori dai risultati di ricerca, tramite un meta tag noindex nell'HTML della pagina o un'intestazione HTTP equivalente. Viene spesso aggiunto di proposito su un sito di staging o su una pagina di ringraziamento, poi lasciato al suo posto per errore dopo il lancio.

Il campo Copertura dello strumento URL Inspection indicherà chiaramente se questo è il motivo per cui una pagina non è indicizzata, quindi è una delle prime cose da verificare quando una pagina sembra sparita.

File CSS o JavaScript bloccati

L'HTML di una pagina può essere a posto mentre i file da cui dipende per essere visualizzata e funzionare correttamente sono bloccati. Se una regola di robots.txt blocca per errore una cartella di fogli di stile o script, Google può recuperare la pagina ma non riuscire a renderizzarla come fa il browser del visitatore.

La sezione Risorse della pagina nel report URL Inspection elenca esattamente quali file sono stati caricati e quali no, il che rende questo tipo di problema facile da individuare una volta che sai dove guardare.

Un esempio pratico: perché una homepage riprogettata è scomparsa

Immagina un negozio di mobili che rilancia la homepage con un nuovo design costruito in gran parte su animazioni JavaScript. Questo esempio è illustrativo.

Tutto sembra corretto in ogni browser che il titolare testa. Alcune settimane dopo, il traffico di ricerca verso la homepage crolla, e cercando il nome dell'attività la homepage non compare più.

Il design in sé non era rotto. Una sola regola trascurata in robots.txt aveva silenziosamente tagliato fuori i file di cui la pagina aveva bisogno per essere renderizzata, e nessun controllo del sito in un browser avrebbe mai potuto mostrarlo.

Indicizzazione mobile-first: controllare la versione che conta di più

Gran parte di quanto trattato finora vale sia che si guardi la versione desktop sia quella mobile di una pagina. Per Google, in particolare, una delle due versioni conta più dell'altra.

Cosa significa in pratica l'indicizzazione mobile-first

La documentazione di Google sull'indicizzazione mobile-first spiega che Google utilizza principalmente la versione mobile del contenuto di una pagina per l'indicizzazione e il ranking. Questo non significa che la versione desktop venga ignorata del tutto, ma vuol dire che la versione mobile è quella che conta di più quando Google decide cosa contiene una pagina.

Questo è importante perché una pagina può essere visualizzata perfettamente su desktop e avere comunque contenuti mancanti su mobile, se un template mobile nasconde una sezione, la carica in modo diverso o la omette del tutto per risparmiare spazio. Uno screenshot desktop pulito nello strumento URL Inspection dice meno di quanto ci si aspetti se il rendering mobile appare diverso.

Controllare il rendering mobile

Per impostazione predefinita, il test live dello strumento URL Inspection visualizza la pagina come la vedrebbe Googlebot Smartphone, dato che è la versione che Google indicizza per la maggior parte dei siti. Lo screenshot e l'HTML che ottieni dopo un test live riflettono già questo.

Se il tuo sito propone a chi naviga da mobile un layout davvero diverso, un menu di navigazione che si chiude, una barra laterale che scompare, un blocco di testo nascosto dietro un pulsante di espansione, verifica che tutto ciò che conta sulla pagina sia ancora presente in quella visualizzazione mobile. Un controllo solo su desktop può non rilevare affatto un problema che esiste solo su mobile.

Altri modi gratuiti per verificare cosa vedono i crawler

Lo strumento URL Inspection di Search Console è l'opzione più completa, ma non è l'unico modo per farsi un'idea di ciò che incontra un crawler.

Cambiare lo user agent del browser

La maggior parte degli strumenti per sviluppatori dei browser permette di modificare lo user agent che il browser invia, cioè la breve stringa di testo che identifica chi sta facendo la richiesta. Passare allo user agent di Googlebot e ricaricare la pagina può mostrare differenze in ciò che viene servito, se il tuo sito tratta diversi user agent in modo diverso.

Questo è un controllo più limitato rispetto allo strumento URL Inspection, perché cambia solo il modo in cui il tuo browser si identifica. Continua comunque a eseguire JavaScript come farebbe normalmente, quindi non rileva un ritardo nel rendering come farebbe il vero passaggio di rendering di Google. È utile come verifica rapida, non come sostituto dello strumento reale.

Strumenti gratuiti per un controllo rapido

Alcuni strumenti gratuiti rispondono a domande più specifiche senza richiedere una proprietà verificata in Search Console. Il AI Crawler Checker di RepGet verifica se specifici crawler, inclusi i crawler AI come GPTBot, possono accedere a una determinata pagina, che è una questione collegata ma diversa da come Googlebot esegue il rendering del contenuto di una pagina. La nostra guida al crawler AI spiega in generale come questi crawler richiedono e leggono una pagina.

Il Meta Tag Checker di RepGet analizza i tag nell'HTML di una pagina, incluso un eventuale noindex, ed è utile per un controllo veloce prima ancora di aprire Search Console.

Una checklist di 20 minuti per controllare le pagine chiave

Non serve un audit completo del sito per essere utili. Controllare alcune pagine importanti in un'unica sessione intercetta gran parte di ciò che conta.

Ripetere questo controllo una volta al mese, o subito dopo un restyling, permette di intercettare una pagina bloccata o un problema di rendering molto prima che abbia il tempo di influire silenziosamente sulle prestazioni della pagina nei risultati di ricerca.

Errori comuni nel controllare la vista di Googlebot

Alcune abitudini rendono questo tipo di controllo meno utile di quanto dovrebbe, anche quando chi lo fa segue i passaggi giusti.

Testare solo la versione desktop, oppure dare un'occhiata veloce a come appare la pagina in un browser normale, fa perdere proprio il divario di cui parla tutto questo articolo. Lo scopo dell'esercizio è vedere la versione con cui Google lavora davvero, non quella più facile da guardare.

Dare per scontato che il test live dello strumento Ispezione URL e la versione indicizzata siano la stessa cosa è un altro errore frequente. La versione indicizzata riflette l'ultima scansione effettuata da Google, che può risalire a settimane o mesi fa. Un test live è l'unico modo per vedere la pagina così com'è in questo momento.

Controllare una pagina una sola volta dopo il lancio e non farlo mai più lascia che nuovi problemi si accumulino in silenzio. Una regola del robots.txt può essere aggiunta durante un aggiornamento successivo, uno script può iniziare a non funzionare dopo un cambio di hosting, e nulla di tutto questo emerge se il controllo non viene ripetuto.

Interpretare una singola schermata vuota come prova di un disastro, senza verificare quale campo spieghi davvero il problema, fa perdere tempo a inseguire la soluzione sbagliata. Una risorsa bloccata, un tag noindex e un vero errore di rendering sembrano simili a prima vista, ma richiedono correzioni completamente diverse.

Dove si inserisce RepGet

RepGet non sostituisce lo strumento Ispezione URL e non esegue un test di rendering live di Googlebot come fa Search Console. Quel controllo specifico, che confronta uno screenshot del rendering con il tuo browser, resta un'operazione manuale da fare direttamente in Search Console.

La verifica gratuita del sito di RepGet scansiona il tuo sito e gli assegna un punteggio SEO da 0 a 100, segnalando problemi tecnici e di contenuto da approfondire, inclusi alcuni elementi di base che portano a uno screenshot vuoto di Googlebot, come contenuti scarsi o problemi strutturali. Non serve un account né una carta di credito.

I suoi strumenti gratuiti coprono controlli correlati e più mirati: il Robots.txt Checker indica se un determinato URL è bloccato, il Meta Tag Checker mostra se è presente un tag noindex, e l'AI Crawler Checker verifica l'accesso per altri crawler oltre a Googlebot. Nessuno di questi sostituisce una verifica diretta della vista renderizzata di Googlebot, ma sono un modo rapido per escludere o confermare alcune cause prima di aprire Search Console.

In sintesi

Una pagina può sembrare completa in ogni browser che provi e risultare comunque assente da ciò che Google indicizza davvero. Per averne la certezza, bisogna guardare la pagina come la vede Googlebot, non come la vedi tu.

Lo strumento Ispezione URL di Google Search Console rende possibile questo confronto senza alcuna conoscenza di programmazione: un recupero live, uno screenshot del rendering e un resoconto semplice di eventuali blocchi lungo il percorso. Gran parte di ciò che emerge riconduce a una breve lista di cause: JavaScript che non ha terminato il rendering, una regola del robots.txt più estesa del previsto, o un tag noindex rimasto dai test.

Controllare alcune pagine chiave in questo modo, con una pianificazione regolare, permette di individuare questi problemi quando sono ancora facili da risolvere, invece di scoprirli settimane dopo, quando l'unico segnale è un calo silenzioso del traffico.

Scopri subito di cosa ha bisogno il tuo sito

Prima di testare una pagina alla volta in Search Console, scopri di cosa ha bisogno l'intero sito in un unico passaggio. Esegui una verifica gratuita del sito con RepGet per controllare la configurazione tecnica del tuo sito insieme ai suoi contenuti. Non serve un account né una carta di credito.