Hrozí ztráta hodnocení ve vyhledávačích? Žádné další hodnocení Google, i když vše vypadá v pořádku? – Obrázek: Xpert.Digital
Racionálně vyřešte problém indexování vyhledávačů – co je za tím tentokrát?
Během posledních několika dní jsem si všiml něčeho znepokojivého: moje nejnovější články již nebyly indexovány ve Zprávách Google a návštěvnost z Google Discover neustále klesala. Takový vývoj vás samozřejmě nenechá lhostejnými. Hlavou mi běhaly různé divoké domněnky, ale rozhodl jsem se je odložit a přistoupit k problému racionálně.
Když jsem ručně odeslal své stránky do Googlu, byly okamžitě indexovány a zobrazeny. Pokud jsem však čekal, nic se nestalo. Pozoroval jsem tento jev dva dny. Nastal tedy čas na důkladné pátrání po příčině.
Krok 1: Zkontrolujte poslední změny
Nejprve jsem si položil otázku: Jaká byla poslední věc, která byla na webu upravena? Je nezbytné identifikovat nedávné změny, aby se zúžily možné zdroje chyb. V mém případě jsem nedávno přepracoval systém ukládání do mezipaměti.
Krok 2: Identifikujte skryté chyby nebo chyby v myšlení
Přepracování mezipaměti by mohlo mít nezamýšlené vedlejší účinky. Existují skryté chyby nebo chyby v myšlení? Začal jsem kontrolovat nové nastavení a hledat možné konflikty.
Krok 3: Najděte příčinu
Po podrobné analýze jsem objevil viníka: nová definice bota v mé bezpečnostní konfiguraci odvedla skvělou práci - bohužel až příliš dobře. V dnešní době se po internetu potuluje nespočet botů, a aby se snížilo zatížení serveru, jsou nepotřební boti často blokováni. Googlebot byl však ze všeho omylem zařazen do kategorie „zbytečných robotů“. Malé nedopatření s velkými následky.
Poznámky z Microsoft Bing Webmaster Tools
Moje podezření potvrdily zprávy z Bing Webmaster Tools:
- „Některé z vašich nedávno publikovaných důležitých stránek nebyly odeslány prostřednictvím IndexNow. Zjistěte, proč je důležité odesílat prostřednictvím IndexNow.“
- Některé z vašich důležitých nových stránek nejsou zahrnuty ve vašich souborech Sitemap.“**
Google Search Console mě také upozornil na to, že byly indexovány stránky bez obsahu. Tyto stopy jasně ukázaly, že vyhledávače mají potíže s přístupem k mému obsahu.
závěr
Uvědomění bylo vystřízlivění: Vidím stránky, které Google nevidí. Aby vyhledávače mohly zachytit mé stránky, jejich roboti musí mít neomezený přístup. Pokud je Googlebot zablokován, můj obsah zůstane neviditelný.
Jak zkontrolujete, co Googlebot vidí?
Abych zajistil, že Googlebot může správně procházet můj web, chtěl jsem si stránky prohlédnout z jeho perspektivy. Existuje několik způsobů, jak navštívit webové stránky stejným způsobem jako Googlebot.
1. Jak používat Google Chrome Developer Tools
Jednoduchým způsobem je použití vývojářských nástrojů Google Chrome:
- Otevřete vývojářské nástroje: Stiskněte `Ctrl + Shift + I` (Windows) nebo `Cmd + Shift + I` (Mac).
- Přepněte se na kartu Síť: Zde se zobrazuje veškerá síťová aktivita.
- Přizpůsobení uživatelského agenta: Klikněte na tři tečky vpravo nahoře, vyberte „Další nástroje“ a poté „Podmínky sítě“. Zrušte zaškrtnutí možnosti „Automaticky vybrat uživatelského agenta“ a ze seznamu vyberte „Googlebot“.
- Znovu načíst stránku: Při opětovném načtení se stránka zobrazí tak, jak ji vidí Googlebot.
Tato metoda umožňuje identifikovat potenciální problémy s vykreslováním nebo zablokované zdroje.
2. Použití přepínače uživatelského agenta
Alternativně lze použít rozšíření prohlížeče, jako je „User-Agent Switcher“:
- Instalace rozšíření: Vyhledejte User-Agent Switcher v Internetovém obchodě Chrome a nainstalujte jej.
- Výběr Googlebota jako uživatelského agenta: Po instalaci můžete vybrat požadovaného uživatelského agenta.
- Návštěva webu: Stránka se nyní zobrazuje z pohledu Googlebota.
To je užitečné zejména pro rychlé testování a pokud chcete často přepínat mezi různými uživatelskými agenty.
3. Použití Screaming Frog SEO Spider
„Screaming Frog SEO Spider“ je vhodný pro hlubší analýzu:
- Přizpůsobení uživatelského agenta: Přejděte do Konfigurace > Uživatelský agent a vyberte Googlebot.
- Spuštění procesu procházení: Nástroj prochází web a zobrazuje, jak jej vidí Googlebot.
- Analyzujte výsledky: Identifikujte možné problémy s procházením nebo blokované zdroje.
Tento nástroj je ideální pro velké webové stránky a podrobné SEO audity.
4. Pomocí Google Search Console
Google Search Console také poskytuje cenné informace:
- Kontrola adresy URL: Zadejte požadovanou adresu URL a spusťte živý test.
- Analyzujte výsledky: Můžete zjistit, zda je stránka indexována a zda jsou problémy s procházením.
- Načíst jako Google: Tato funkce vám umožňuje vidět, jak Googlebot stránku vykresluje.
To pomáhá identifikovat konkrétní problémy, které by mohly robotovi bránit ve správném zachycení stránky.
řešení problému
Pomocí těchto nástrojů se mi podařilo potvrdit, že Googlebot byl skutečně zablokován. K vyřešení problému jsem provedl následující kroky:
1. Úprava definic botů
Aktualizoval jsem konfiguraci zabezpečení, aby již neblokoval Googlebota a další velké roboty vyhledávačů.
2. Kontrola souboru robots.txt
Ujistil jsem se, že soubor neobsahuje žádné pokyny omezující přístup.
3. Aktualizace souborů Sitemap
Soubory Sitemap byly obnoveny a odeslány do Nástrojů pro webmastery.
4. Monitorování
Během následujících dní jsem sledoval indexování a provoz, abych se ujistil, že vše opět běží hladce.
Preventivní opatření do budoucna
Abych se podobným problémům v budoucnu vyhnul, učinil jsem několik předsevzetí:
- Pravidelně kontrolujte konfigurace zabezpečení: Po každé změně by měl být zkontrolován dopad na funkčnost webu.
- Nepřetržité monitorování: Používání nástrojů, jako je Google Search Console, pomáhá včas identifikovat problémy.
- Přehledná dokumentace změn: Veškeré úpravy webu by měly být zdokumentovány, aby bylo možné rychleji reagovat v případě chyby.
- Školení: Lepší pochopení toho, jak fungují vyhledávače a jejich roboti, pomáhá vyhnout se chybné konfiguraci.
Poznatky z toho
Měl jsem to vědět lépe a pamatovat na to, abych byl při úpravách keše opatrný. Zde ale těžce zasáhla provozní slepota. Problém byl identifikován, vyřešen, narovnán a pokračoval s větší pozorností.
Technické chyby mohou mít významný dopad na viditelnost webu. V mém případě špatně nakonfigurovaná definice robota způsobila zablokování Googlebota, který přestal indexovat můj obsah.
Poznání: I malé změny mohou mít velké důsledky.
Systematickým odstraňováním problémů a použitím vhodných nástrojů se mi podařilo problém identifikovat a vyřešit. Je nezbytné pravidelně kontrolovat, jak vyhledávače vnímají váš web.
Doufám, že mé zkušenosti pomohou dalším webmasterům vyhnout se podobným problémům nebo je vyřešit rychleji. Viditelnost ve vyhledávačích je pro úspěch webu klíčová, a proto je třeba mít vždy na paměti technický stav.
Vhodné pro: