Corri il rischio di perdere il tuo posizionamento sui motori di ricerca? Non sarai più presente su Google, anche se tutto sembra a posto?

Negli ultimi giorni ho notato qualcosa di preoccupante: i miei ultimi articoli non venivano più indicizzati su Google News e il traffico proveniente da Google Discover era in costante calo. Naturalmente, sviluppi del genere non lasciano indifferenti. Diverse ipotesi azzardate mi hanno attraversato la mente, ma ho deciso di accantonarle e affrontare il problema razionalmente.

Quando ho inviato manualmente le mie pagine a Google, sono state indicizzate e visualizzate immediatamente. Tuttavia, se ho aspettato, non è successo nulla. Ho osservato questo fenomeno per due giorni. Era quindi giunto il momento di un'indagine approfondita per scoprirne la causa.

Fase 1: revisione delle modifiche recenti

Per prima cosa, mi sono chiesto: qual è stata l'ultima modifica apportata al sito web? Identificare le modifiche recenti è essenziale per restringere le potenziali fonti di errore. Nel mio caso, avevo recentemente rivisto il sistema di caching.

Fase 2: identificare errori nascosti o ragionamenti errati

La revisione della cache potrebbe avere effetti collaterali indesiderati. Ci sono bug o difetti nascosti nel ragionamento? Ho iniziato a esaminare le nuove impostazioni e a cercare potenziali conflitti.

Fase 3: Trova la causa

Dopo un'analisi approfondita, ho scoperto il colpevole: una nuova definizione di bot nella mia configurazione di sicurezza aveva fatto il suo lavoro, purtroppo anche troppo bene. Oggigiorno, innumerevoli bot vagano per Internet e, per ridurre il carico del server, i bot non necessari vengono spesso bloccati. Tuttavia, il Googlebot era stato erroneamente classificato come "bot non necessario". Una piccola svista dalle conseguenze gravi.

Note dagli Strumenti per i webmaster di Microsoft Bing

Il mio sospetto è stato confermato dai report di Bing Webmaster Tools:

• "Alcune delle tue pagine importanti pubblicate di recente non sono state inviate tramite IndexNow. Scopri perché è importante inviarle tramite IndexNow."
• Alcune delle tue nuove pagine importanti non sono incluse nelle mappe dei siti.**

Google Search Console mi ha anche avvisato che venivano indicizzate pagine prive di contenuti. Questi indicatori mostravano chiaramente che i motori di ricerca avevano difficoltà ad accedere ai miei contenuti.

conclusione

La consapevolezza è stata sconvolgente: vedo pagine che Google non vede. Affinché i motori di ricerca possano indicizzare le mie pagine, i loro bot hanno bisogno di un accesso illimitato. Se il Googlebot viene bloccato, i miei contenuti rimangono invisibili.

Come si fa a controllare cosa vede Googlebot?

Per garantire che Googlebot potesse scansionare correttamente il mio sito web, volevo visualizzare le pagine dalla sua prospettiva. Esistono diversi metodi per visitare un sito web come fa Googlebot.

1. Utilizzo degli strumenti per sviluppatori di Google Chrome

Un metodo semplice è quello di utilizzare gli strumenti per sviluppatori di Google Chrome:

• Per aprire gli strumenti di sviluppo: premere `Ctrl + Maiusc + I` (Windows) o `Cmd + Maiusc + I` (Mac).
• Passa alla scheda Rete: qui vedrai tutta l'attività di rete.
• Per modificare lo user agent: fai clic sui tre puntini nell'angolo in alto a destra, seleziona "Altri strumenti" e poi "Condizioni di rete". Disattiva l'opzione "Seleziona automaticamente lo user agent" e seleziona "Googlebot" dall'elenco.
• Ricarica pagina: ricaricando la pagina, questa viene visualizzata così come la vede Googlebot.

Questo metodo consente di identificare potenziali problemi di rendering o risorse bloccate.

2. Utilizzo di uno User-Agent Switcher

In alternativa, è possibile utilizzare un'estensione del browser come "User-Agent Switcher":

• Per installare l'estensione: cerca "User-Agent Switcher" nel Chrome Web Store e installalo.
• Selezione di Googlebot come user agent: dopo l'installazione, puoi selezionare l'user agent desiderato.
• Visitando il sito web: la pagina viene ora visualizzata dal punto di vista di Googlebot.

Ciò è particolarmente utile per test rapidi e quando si desidera passare frequentemente da un agente utente all'altro.

3. Utilizzo dello spider SEO Screaming Frog

Per analisi più approfondite, è adatto lo “Screaming Frog SEO Spider”:

• Regolazione User-Agent: vai su “Configurazione > User-Agent” e seleziona Googlebot.
• Avvio del processo di scansione: lo strumento cerca il sito web e mostra come lo vede Googlebot.
• Analisi dei risultati: identificare potenziali problemi di scansione o risorse bloccate.

Questo strumento è ideale per siti web di grandi dimensioni e audit SEO dettagliati.

4. Utilizzo di Google Search Console

Google Search Console offre anche spunti preziosi:

• Controllo URL: inserisci l'URL desiderato e avvia il test live.
• Analizza i risultati: puoi vedere se la pagina è indicizzata e se ci sono problemi durante la scansione.
• Recupera come fa Google: questa funzione ti consente di vedere come Googlebot visualizza la pagina.

Ciò aiuta a identificare problemi specifici che potrebbero impedire al bot di analizzare correttamente la pagina.

Soluzione al problema

Utilizzando questi strumenti, ho potuto verificare che Googlebot fosse effettivamente bloccato. Per risolvere il problema, ho seguito i seguenti passaggi:

1. Adattamento delle definizioni dei bot

Ho aggiornato la configurazione di sicurezza in modo che Googlebot e altri importanti bot dei motori di ricerca non vengano più bloccati.

2. Controllare il file robots.txt

Mi sono assicurato che il file non contenesse istruzioni che potessero limitarne l'accesso.

3. Aggiornamento delle mappe dei siti

Le mappe dei siti sono state aggiornate e inviate a Strumenti per i webmaster.

4. Monitoraggio

Nei giorni successivi ho monitorato l'indicizzazione e il traffico per assicurarmi che tutto funzionasse di nuovo senza intoppi.

Misure preventive per il futuro

Per evitare che in futuro si verifichino simili problemi, ho preso alcune decisioni:

• Revisione regolare delle configurazioni di sicurezza: dopo ogni modifica, è necessario verificarne l'impatto sulla funzionalità del sito web.
• Monitoraggio continuo: l'utilizzo di strumenti come Google Search Console aiuta a individuare tempestivamente i problemi.
• Documentazione chiara delle modifiche: tutte le modifiche al sito web devono essere documentate per poter reagire più rapidamente in caso di errori.
• Formazione: una migliore comprensione del funzionamento dei motori di ricerca e dei loro bot aiuta a evitare configurazioni errate.

L'intuizione da questo

Avrei dovuto saperlo meglio ed essere più attento nell'elaborazione della cache. Ma la mia visione a tunnel ha preso il sopravvento. Problema identificato, risolto, risolto e continuerò con maggiore attenzione.

Gli errori tecnici possono avere un impatto significativo sulla visibilità di un sito web. Nel mio caso, una definizione di bot non configurata correttamente ha causato il blocco di Googlebot, impedendo l'indicizzazione dei miei contenuti.

La consapevolezza: anche piccoli cambiamenti possono avere conseguenze importanti.

Grazie a una risoluzione sistematica dei problemi e all'utilizzo di strumenti appropriati, sono riuscito a identificare e risolvere il problema. È fondamentale controllare regolarmente come i motori di ricerca percepiscono il proprio sito web.

Spero che la mia esperienza possa aiutare altri webmaster a evitare o risolvere problemi simili più rapidamente. La visibilità sui motori di ricerca è fondamentale per il successo di un sito web, quindi è fondamentale monitorarne sempre le condizioni tecniche.

Correlato a questo:

• Blog per la ricerca di intelligenza artificiale AIS / KIS – Ricerca AI / NEO SEO = NSEO (ottimizzazione per i motori di ricerca di nuova generazione)
• AIS (Ricerca con Intelligenza Artificiale) e SEO di Nuova Generazione – In tedesco diciamo CKKK: “Il contenuto è il re, ma il contesto è l’imperatore”