Pubblicato il: 11 novembre 2024 / Aggiornamento del: 11 novembre 2024 - Autore: Konrad Wolfenstein
C'è il rischio di perdere il posizionamento nei motori di ricerca? Niente più classifiche di Google anche se sembra tutto a posto? – Immagine: Xpert.Digital
Risolvi razionalmente il problema dell'indicizzazione dei motori di ricerca: cosa c'è dietro questa volta?
Negli ultimi giorni ho notato qualcosa di preoccupante: i miei articoli più recenti non venivano più indicizzati in Google News e il traffico proveniente da Google Discover diminuiva costantemente. Naturalmente, tali sviluppi non lasciano indifferenti. Nella mia mente passavano varie ipotesi assurde, ma ho deciso di metterle da parte e affrontare il problema in modo razionale.
Quando ho inviato manualmente le mie pagine a Google, sono state immediatamente indicizzate e visualizzate. Tuttavia, se aspettavo, non succedeva nulla. Ho osservato questo fenomeno per due giorni. Quindi era giunto il momento di ricercare approfonditamente la causa.
Passaggio 1: esamina le modifiche recenti
Per prima cosa mi sono chiesto: qual è stata l'ultima cosa che è stata modificata sul sito? È essenziale identificare i cambiamenti recenti per restringere le possibili fonti di errore. Nel mio caso, avevo recentemente rielaborato il sistema di memorizzazione nella cache.
Passaggio 2: identificare gli errori nascosti o gli errori nel pensiero
La revisione della memorizzazione nella cache potrebbe avere effetti collaterali indesiderati. Ci sono errori nascosti o errori nel pensiero? Ho iniziato a controllare le nuove impostazioni e a cercare possibili conflitti.
Passaggio 3: trovare la causa
Dopo un'analisi approfondita ho scoperto il colpevole: una nuova definizione di bot nella mia configurazione di sicurezza aveva fatto un ottimo lavoro, purtroppo troppo bene. Al giorno d'oggi, in Internet circolano innumerevoli bot e, per ridurre il carico del server, spesso i bot non necessari vengono bloccati. Tuttavia, Googlebot è stato erroneamente inserito nella categoria dei “bot inutili”. Una piccola svista dalle grandi conseguenze.
Note dagli Strumenti per i Webmaster di Microsoft Bing
I miei sospetti sono stati confermati dai rapporti di Bing Webmaster Tools:
- "Alcune delle tue pagine importanti pubblicate di recente non sono state inviate tramite IndexNow. Scopri perché è importante inviare tramite IndexNow."
- Alcune delle tue nuove pagine importanti non sono incluse nelle tue Sitemap."**
Google Search Console mi segnalava anche che venivano indicizzate pagine prive di contenuto. Questi indizi mostravano chiaramente che i motori di ricerca avevano difficoltà ad accedere ai miei contenuti.
conclusione
La realizzazione è stata deludente: vedo pagine che Google non vede. Affinché i motori di ricerca possano catturare le mie pagine, i loro bot devono avere accesso senza ostacoli. Se Googlebot viene bloccato, i miei contenuti rimarranno invisibili.
Come controlli cosa vede Googlebot?
Per garantire che Googlebot potesse eseguire correttamente la scansione del mio sito web, volevo visualizzare le pagine dalla sua prospettiva. Esistono diversi metodi per visitare un sito Web come fa Googlebot.
1. Come utilizzare gli strumenti per sviluppatori di Google Chrome
Un metodo semplice consiste nell'utilizzare gli strumenti per sviluppatori di Google Chrome:
- Apri gli strumenti per sviluppatori: premi "Ctrl + Maiusc + I" (Windows) o "Cmd + Maiusc + I" (Mac).
- Passa alla scheda Rete: tutta l'attività di rete viene visualizzata qui.
- Personalizzazione dello user agent: fai clic sui tre punti in alto a destra, seleziona "Altri strumenti" e poi "Condizioni di rete". Deseleziona l'opzione "Seleziona automaticamente agente utente" e seleziona "Googlebot" dall'elenco.
- Ricarica pagina: il ricaricamento visualizza la pagina come la vede Googlebot.
Questo metodo consente di identificare potenziali problemi di rendering o risorse bloccate.
2. Utilizzo di un commutatore di agente utente
In alternativa è possibile utilizzare un'estensione del browser come “User-Agent Switcher”:
- Installazione dell'estensione: cerca User-Agent Switcher nel Chrome Web Store e installalo.
- Selezione di Googlebot come agente utente: dopo l'installazione è possibile selezionare l'agente utente desiderato.
- Visita del sito web: la pagina viene ora visualizzata dal punto di vista di Googlebot.
Ciò è particolarmente utile per test rapidi e se si desidera passare frequentemente da un agente utente all'altro.
3. Utilizzo di Screaming Frog SEO Spider
Lo “Screaming Frog SEO Spider” è adatto per analisi più approfondite:
- Personalizzazione dell'agente utente: vai su Configurazione > Agente utente e seleziona Googlebot.
- Avvio del processo di scansione: lo strumento esegue la scansione del sito web e mostra come lo vede Googlebot.
- Analizza i risultati: identifica possibili problemi di scansione o risorse bloccate.
Questo strumento è ideale per siti Web di grandi dimensioni e audit SEO dettagliati.
4. Utilizzo di Google Search Console
Google Search Console fornisce anche informazioni preziose:
- Controllo URL: inserisci l'URL desiderato e avvia il test dal vivo.
- Analizza i risultati: puoi vedere se la pagina è indicizzata e se ci sono problemi con la scansione.
- Visualizza come Google: questa funzione ti consente di vedere come Googlebot esegue il rendering della pagina.
Ciò aiuta a identificare problemi specifici che potrebbero impedire al bot di acquisire correttamente la pagina.
soluzione al problema
Utilizzando questi strumenti ho potuto verificare che Googlebot era effettivamente bloccato. Per risolvere il problema ho seguito i seguenti passaggi:
1. Adeguamento delle definizioni dei bot
Ho aggiornato la configurazione di sicurezza per non bloccare più Googlebot e altri importanti bot dei motori di ricerca.
2. Controllo robots.txt
Mi sono assicurato che il file non contenesse istruzioni che limitassero l'accesso.
3. Aggiornamenti della mappa del sito
Le mappe del sito sono state rinnovate e inviate a Strumenti per i Webmaster.
4. Monitoraggio
Nei giorni successivi ho monitorato l'indicizzazione e il traffico per assicurarmi che tutto funzionasse di nuovo senza intoppi.
Misure preventive per il futuro
Per evitare tali problemi in futuro, ho preso alcune soluzioni:
- Esamina regolarmente le configurazioni di sicurezza: dopo ogni modifica, è necessario verificare l'impatto sulla funzionalità del sito web.
- Monitoraggio continuo: l'utilizzo di strumenti come Google Search Console aiuta a identificare tempestivamente i problemi.
- Documentazione chiara delle modifiche: tutte le modifiche al sito web dovrebbero essere documentate per poter reagire più rapidamente in caso di errore.
- Formazione: una migliore comprensione di come funzionano i motori di ricerca e i relativi bot aiuta a evitare configurazioni errate.
La conoscenza da esso
Avrei dovuto saperlo meglio e ricordarmi di fare attenzione durante la modifica della cache. Ma qui la cecità operativa ha colpito duramente. Problema identificato, risolto, risolto e portato avanti in modo più consapevole.
Gli errori tecnici possono avere un impatto significativo sulla visibilità di un sito web. Nel mio caso, una definizione di bot configurata in modo errato ha causato il blocco di Googlebot, che ha interrotto l'indicizzazione dei miei contenuti.
La consapevolezza: anche i piccoli cambiamenti possono avere grandi conseguenze.
Attraverso una risoluzione sistematica dei problemi e l'utilizzo di strumenti adeguati, sono riuscito a identificare e risolvere il problema. È essenziale verificare regolarmente come i motori di ricerca percepiscono il tuo sito web.
Spero che le mie esperienze aiutino altri webmaster a evitare problemi simili o a risolverli più rapidamente. La visibilità nei motori di ricerca è fondamentale per il successo di un sito web, quindi le condizioni tecniche vanno sempre tenute presenti.
Adatto a: