Riskerar du att förlora din sökmotorranking? Inga fler Google-rankningar, trots att allt verkar vara i sin ordning?

Under de senaste dagarna har jag märkt något oroande: mina senaste artiklar indexerades inte längre i Google Nyheter, och trafiken från Google Discover minskade stadigt. Naturligtvis lämnar sådan utveckling en inte oberörd. Diverse vilda gissningar for genom mitt huvud, men jag bestämde mig för att lägga dem åt sidan och närma mig problemet rationellt.

När jag manuellt skickade in mina sidor till Google indexerades och visades de omedelbart. Men om jag väntade hände ingenting. Jag observerade detta fenomen i två dagar. Så det var dags för en grundlig undersökning av orsaken.

Steg 1: Granskning av de senaste ändringarna

Först frågade jag mig själv: Vad var det senaste som ändrades på webbplatsen? Att identifiera de senaste ändringarna är viktigt för att begränsa potentiella felkällor. I mitt fall hade jag nyligen reviderat cachningssystemet.

Steg 2: Identifiera dolda fel eller bristfälliga resonemang

Översynen av cachningen kan ha oavsiktliga biverkningar. Finns det några dolda buggar eller brister i resonemanget? Jag började granska de nya inställningarna och leta efter potentiella konflikter.

Steg 3: Hitta orsaken

Efter en grundlig analys upptäckte jag boven i dramat: En ny botdefinition i min säkerhetskonfiguration hade gjort sitt – tyvärr alltför väl. Numera strövar otaliga bottar omkring på internet, och för att minska serverbelastningen blockeras ofta onödiga bottar. Googleboten hade dock felaktigt kategoriserats som en "onödig bot". Ett litet misstag med stora konsekvenser.

Anteckningar från Microsoft Bing Webmaster Tools

Min misstanke bekräftades av rapporter från Bing Webmaster Tools:

• ”Några av dina nyligen publicerade viktiga sidor skickades inte in via IndexNow. Ta reda på varför det är viktigt att skicka in dem via IndexNow.”
• Några av dina viktiga nya sidor finns inte med i dina webbplatskartor.

Googles sökkonsol påpekade också att sidorna indexerades utan innehåll. Denna information visade tydligt att sökmotorer hade problem med att få åtkomst till mitt innehåll.

slutsats

Insikten var allvarlig: Jag ser sidor som Google inte ser. För att sökmotorer ska kunna indexera mina sidor behöver deras bottar obegränsad åtkomst. Om Googlebotten är blockerad förblir mitt innehåll osynligt.

Hur kontrollerar man vad Googleboten ser?

För att säkerställa att Googlebot kan genomsöka min webbplats korrekt ville jag se sidorna ur dess perspektiv. Det finns flera metoder för att besöka en webbplats på samma sätt som Googlebot gör.

1. Använda Google Chromes utvecklarverktyg

En enkel metod är att använda Google Chromes utvecklarverktyg:

• För att öppna utvecklarverktygen: Tryck på `Ctrl + Shift + I` (Windows) eller `Cmd + Shift + I` (Mac).
• Växla till fliken Nätverk: Här ser du all nätverksaktivitet.
• Så här justerar du användaragenten: Klicka på de tre punkterna i det övre högra hörnet, välj "Fler verktyg" och sedan "Nätverksförhållanden". Inaktivera alternativet "Välj användaragent automatiskt" och välj "Googlebot" från listan.
• Ladda om sidan: När sidan laddas om visas den som Googleboten ser den.

Den här metoden gör det möjligt att identifiera potentiella renderingsproblem eller blockerade resurser.

2. Användning av en användaragentväxlare

Alternativt kan ett webbläsartillägg som "User-Agent Switcher" användas:

• Så här installerar du tillägget: Sök efter "User-Agent Switcher" i Chrome Web Store och installera det.
• Välja Googlebot som användaragent: Efter installationen kan du välja önskad användaragent.
• Besöker webbplatsen: Sidan visas nu ur Googlebots perspektiv.

Detta är särskilt användbart för snabba tester och när du ofta vill växla mellan olika användaragenter.

3. Använda Screaming Frog SEO Spider

För mer djupgående analyser är "Screaming Frog SEO Spider" lämplig:

• Justering av användaragent: Gå till ”Konfiguration > Användaragent” och välj Googlebot.
• Början av genomsökningsprocessen: Verktyget söker igenom webbplatsen och visar hur Googlebot ser den.
• Analys av resultaten: Identifiera potentiella crawlningsproblem eller blockerade resurser.

Det här verktyget är idealiskt för stora webbplatser och detaljerade SEO-granskningar.

4. Använda Google Search Console

Google Search Console erbjuder också värdefulla insikter:

• URL-kontroll: Ange önskad URL och starta livetestet.
• Analysera resultat: Du kan se om sidan är indexerad och om det finns några problem med att genomsöka den.
• Hämta som Google gör: Den här funktionen låter dig se hur Googlebot renderar sidan.

Detta hjälper till att identifiera specifika problem som kan hindra boten från att genomsöka sidan korrekt.

Lösning på problemet

Med hjälp av dessa verktyg kunde jag bekräfta att Googleboten verkligen var blockerad. För att lösa problemet vidtog jag följande steg:

1. Justera botdefinitionerna

Jag uppdaterade säkerhetskonfigurationen så att Googlebot och andra viktiga sökmotorrobotar inte längre blockeras.

2. Kontrollera robots.txt-filen

Jag försäkrade mig om att filen inte innehöll några instruktioner som skulle begränsa åtkomsten.

3. Uppdatera webbplatskartorna

Webbplatskartorna har uppdaterats och skickats till Webmaster Tools.

4. Övervakning

Under de följande dagarna övervakade jag indexeringen och trafiken för att säkerställa att allt fungerade smidigt igen.

Förebyggande åtgärder för framtiden

För att undvika sådana problem i framtiden har jag gjort några beslut:

• Regelbunden granskning av säkerhetskonfigurationer: Efter varje ändring bör effekten på webbplatsens funktionalitet kontrolleras.
• Kontinuerlig övervakning: Att använda verktyg som Google Search Console hjälper till att identifiera problem tidigt.
• Tydlig dokumentation av ändringar: Alla ändringar på webbplatsen bör dokumenteras för att kunna reagera snabbare vid fel.
• Utbildning: En bättre förståelse för hur sökmotorer och deras bottar fungerar hjälper till att undvika felkonfigurationer.

Insikten från detta

Jag borde ha vetat bättre och varit mer försiktig när jag bearbetade cachen. Men min tunnelseende tog verkligen överhanden. Problemet identifierades, löstes, återställdes och kommer att fortsätta mer uppmärksamt.

Tekniska fel kan påverka en webbplats synlighet avsevärt. I mitt fall orsakade en felkonfigurerad botdefinition att Googlebot blockerades, vilket förhindrade att mitt innehåll indexerades.

Insikten: Även små förändringar kan få stora konsekvenser.

Genom systematisk felsökning och användning av lämpliga verktyg kunde jag identifiera och lösa problemet. Det är viktigt att regelbundet kontrollera hur sökmotorer uppfattar din webbplats.

Jag hoppas att mina erfarenheter kommer att hjälpa andra webbansvariga att undvika eller lösa liknande problem snabbare. Synlighet i sökmotorer är avgörande för en webbplats framgång, så dess tekniska skick bör alltid övervakas.

Lämplig för detta:

• Blogg för AIS Artificiell Intelligens Search / KIS – AI Search / NEO SEO = NSEO (Nästa generationens sökmotoroptimering)
• AIS (Artificial Intelligence Search) och nästa generations SEO – På tyska säger vi CKKK: ”Innehåll är kung, men kontext är kejsare”