Sökmotor ranking förlust hotar? Inga fler Google -ranking trots att allt verkar okej? - Bild: xpert.digital
Lös sökmotorindexeringsproblem rationellt - Vad ligger bakom den här tiden?
Under de senaste dagarna märkte jag att något oroande: mina senaste artiklar har inte längre indexerats i Google News, och trafiken via Google Discover minskade stadigt. Naturligtvis lämnar en sådan utveckling dig inte kall. Olika vilda gissningar sköt genom mitt huvud, men jag bestämde mig för att skjuta dem åt sidan och ta itu med problemet rationellt.
Om mina sidor skickas till Google Manual indexerades de omedelbart. Men jag väntade, ingenting hände. Jag tittade på detta fenomen under två dagar. Så det var dags för en grundlig sökning efter orsaken.
Steg 1: Granskning av de senaste ändringarna
Först och främst ställde jag mig själv frågan: Vad redigerades senast på webbplatsen? Det är viktigt att identifiera de senaste ändringarna för att begränsa möjliga felkällor. I mitt fall reviderade jag nyligen cachningssystemet.
Steg 2: Identifiera dolda fel eller misstag
Översynen av cachningen kan ha oavsiktliga biverkningar. Finns det dolda misstag eller misstag? Jag började kontrollera de nya inställningarna och letade efter möjliga konflikter.
Steg 3: Hitta orsaken
Efter en djupgående analys upptäckte jag den skyldige: en ny BOT-definition i min säkerhetskonfiguration hade gjort ett bra jobb-tyvärr för bra. Idag vandrar otaliga bots på internet och för att minska serverbelastningen är onödiga bots ofta blockerade. Emellertid gled Googlebot felaktigt i kategorin "onödiga bots". En liten övervakning med stora effekter.
Anteckningar av Microsoft Bing Webmaster Tools
Min misstank bekräftades av rapporter från Bing Webmaster Tools:
- "Några av dina nyligen publicerade viktiga sidor har inte skickats in via IndexNow. Ta reda på varför det är viktigt att skicka in dem via IndexNow."
- Några av dina viktiga nya sidor ingår inte i dina webbplatskartor. ”**
Googles sökkonsol påpekade också att sidorna indexerades utan innehåll. Denna information visade tydligt att sökmotorer hade problem med att få åtkomst till mitt innehåll.
slutsats
Kunskapen var nykter: Jag ser sidor som Google inte ser. För att sökmotorer ska kunna fånga mina sidor måste deras bots ha obehindrad åtkomst. När GoogleBot är blockerad förblir mitt innehåll osynligt.
Hur kontrollerar du vad Googlebot ser?
För att säkerställa att GoogleBot korrekt kan genomsöka min webbplats ville jag titta på sidorna ur dess perspektiv. Det finns flera metoder för att besöka en webbplats som GoogleBot gör.
1. Användning av Google Chrome Developer Tools
En enkel metod är att använda Google Chrome Developer Tools:
- Öppna utvecklarverktygen: Tryck på 'Ctrl + Shift + I' (Windows) eller `CMD + Shift + I '(MAC).
- Ändra till fliken Nätverk: Alla nätverksaktiviteter visas här.
- Justering av användarbyrån: Klicka på de tre punkterna längst upp till höger, välj "Fler verktyg" och sedan "Nätverksförhållanden". Avaktivera alternativet "Välj användare automatiskt" och välj "GoogleBot" från listan.
- Ladda om sida: Den nya lastningen visar sidan när den ser GoogleBot.
Denna metod gör det möjligt att identifiera potentiella problem eller blockerade resurser.
2. Användning av en användaragentomkopplare
Alternativt kan en webbläsarförlängning som "användaragentomkopplaren" användas:
- Installation av utvidgningen: Sök i Chrome -webbbutiken efter användaragentomkopplaren och installera den.
- Val av GoogleBot som användaragent: Efter installationen kan du välja önskat användaragent.
- Besök på webbplatsen: Sidan visas nu ur Googlebotens perspektiv.
Detta är särskilt användbart för snabba tester och om du ofta vill växla mellan olika användaragenter.
3. Användning av den skrikande groda SEO -spindeln
"Screaming Frog SEO Spider" är lämplig för djupa analyser:
- Anpassning av användarbyrån: Gå till "Konfiguration> Användaragent" och välj GoogleBot.
- Start av genomsökningsprocessen: Verktyget söker på webbplatsen och visar hur GoogleBot ser det.
- Analys av resultaten: Identifiera möjliga krypningsproblem eller blockerade resurser.
Detta verktyg är idealiskt för stora webbplatser och detaljerade SEO -revisioner.
4. Användning av Google -sökkonsolen
Google -sökkonsolen erbjuder också värdefull insikt:
- URL -test: Ange önskad URL och starta live -testet.
- Analysera resultaten: Du kan se om sidan är indexerad och om det finns problem med Crawren.
- Överklagande som via Google: Med den här funktionen kan du se hur GoogleBot gör sidan.
Detta hjälper till att identifiera specifika problem som kan förhindra att botten korrigerar sidan.
Lösning av problemet
Med dessa verktyg kunde jag bekräfta att Googlebot faktiskt var blockerad. För att lösa problemet tog jag följande steg:
1. Anpassning av botdefinitionerna
Jag uppdaterade säkerhetskonfigurationen så att GoogleBot och andra viktiga sökmotorbots inte längre är blockerade.
2. Granskning av robotarna.txt
Jag såg till att filen inte innehåller några instruktioner som begränsar åtkomst.
3. Uppdatering av webbplatskartor
Sitemaps -kartorna förnyades och skickades in i Webmaster -verktygen.
4. Övervakning
De följande dagarna övervakade jag indexering och trafik för att säkerställa att allt går smidigt igen.
Förebyggande åtgärder för framtiden
För att undvika sådana problem i framtiden har jag fått några resolutioner:
- Regelbunden granskning av säkerhetskonfigurationerna: Efter varje förändring bör effekterna på webbplatsens funktionalitet kontrolleras.
- Kontinuerlig övervakning: Användningen av verktyg som Googles sökkonsol hjälper till att känna igen problem i ett tidigt skede.
- Klar dokumentation av ändringar: Alla justeringar av webbplatsen bör dokumenteras för att kunna reagera snabbare vid ett fel.
- Träning: En bättre förståelse för funktionen av sökmotorer och deras bots hjälper till att undvika felaktiga konfigurationer.
Erkännandet av det
Jag borde ha vetat bättre och var tvungen att tänka på att titta här när det gäller cache. Men blindheten slog här. Problemet igenkända, lossa, räta upp och fortsätta.
Tekniska fel kan ha en betydande inverkan på synligheten för en webbplats. I mitt fall orsakade en felaktig konfigurerad bot -definition att Googlebot blockerades, vilket innebär att mitt innehåll inte längre indexerades.
Förverkligandet: Även små förändringar kan få stora konsekvenser.
Genom systematisk felsökning och användning av lämpliga verktyg kunde jag identifiera och fixa problemet. Det är viktigt att regelbundet kontrollera hur sökmotorer uppfattar din egen webbplats.
Jag hoppas att mina erfarenheter kommer att hjälpa andra webbmästare att undvika liknande problem eller att lösa snabbare. Synligheten i sökmotorer är avgörande för framgången för en webbplats, och därför bör det tekniska tillståndet alltid hållas i åtanke.
Lämplig för detta: