Gepubliceerd op: 11 november 2024 / Update van: 11 november 2024 - Auteur: Konrad Wolfenstein
Verlies van zoekmachines bedreigt? Niet meer Google -rangorde, hoewel alles in orde lijkt? - Afbeelding: Xpert.Digital
Los rationeel op het gebied van zoekmachine -indexering op - wat zit er achter deze tijd?
In de afgelopen dagen merkte ik iets verontrustends: mijn nieuwste artikelen zijn niet langer geïndexeerd in Google News en het verkeer via Google Discover daalde gestaag. Natuurlijk laten dergelijke ontwikkelingen je niet koud. Verschillende wilde gissingen schoten door mijn hoofd, maar ik besloot ze opzij te duwen en het probleem rationeel aan te pakken.
Als mijn pagina's worden ingediend bij Google Manual, werden ze onmiddellijk geïndexeerd en weergegeven. Ik wachtte echter, er gebeurde niets. Ik heb dit fenomeen gedurende twee dagen bekeken. Het was dus tijd voor een grondige zoektocht naar de oorzaak.
Stap 1: Overzicht van de laatste wijzigingen
Allereerst stelde ik mezelf de vraag: wat werd voor het laatst bewerkt op de website? Het is essentieel om de recente wijzigingen te identificeren om mogelijke bronnen van fouten te beperken. In mijn geval heb ik onlangs het cache -systeem herzien.
Stap 2: Identificeer verborgen fouten of fouten
De herziening van de caching kan onbedoelde bijwerkingen hebben. Zijn er verborgen fouten of fouten? Ik begon de nieuwe instellingen te controleren en op zoek naar mogelijke conflicten.
Stap 3: Zoek de oorzaak
Na een diepgaande analyse ontdekte ik de dader: een nieuwe BOT-definitie in mijn beveiligingsconfiguratie had het veel te goed gedaan. Tegenwoordig zwerven talloze bots op internet en om de serverbelasting te verminderen, worden onnodige bots vaak geblokkeerd. De GoogleBot is echter ten onrechte in de categorie "onnodige bots" uitgegleden. Een klein toezicht met grote effecten.
Opmerkingen door Microsoft Bing Webmaster Tools
Mijn vermoeden werd bevestigd door rapporten van de Bing Webmaster Tools:
- "Sommige van uw recent gepubliceerde belangrijke pagina's zijn niet via IndexNow ingediend. Ontdek waarom het belangrijk is om ze via IndexNow in te dienen."
- Sommige van uw belangrijke nieuwe pagina's zijn niet opgenomen in uw sitemaps. ”**
De Google Search Console wees er ook op dat pagina's zonder inhoud werden geïndexeerd. Deze informatie toonde duidelijk aan dat zoekmachines problemen hadden met toegang tot mijn inhoud.
conclusie
De kennis was ontnuchterend: ik zie pagina's die Google niet ziet. Om zoekmachines om mijn pagina's te kunnen vangen, moeten hun bots ongehinderde toegang hebben. Wanneer de GoogleBot is geblokkeerd, blijft mijn inhoud onzichtbaar.
Hoe controleer je wat de GoogleBot ziet?
Om ervoor te zorgen dat de GoogleBot mijn website correct kan kruipen, wilde ik vanuit het perspectief naar de pagina's kijken. Er zijn verschillende methoden om een website te bezoeken zoals de GoogleBot doet.
1. Gebruik van de Google Chrome -ontwikkelaarstools
Een eenvoudige methode is om de Google Chrome -ontwikkelaarstools te gebruiken:
- Open de ontwikkelaarstools: druk op 'Ctrl + Shift + I` (Windows) of `CMD + Shift + I` (Mac).
- Wijzig naar het tabblad Netwerk: alle netwerkactiviteiten worden hier weergegeven.
- Aanpassing van het gebruikersbureau: klik op de drie punten rechtsboven, kies "Meer tools" en vervolgens "Netwerkcondities". Deactiveer de optie "Gebruiker automatisch selecteren" en selecteer "GoogleBot" uit de lijst.
- Herlaadpagina: de nieuwe laden toont de pagina zoals deze de GoogleBot ziet.
Deze methode maakt het mogelijk om potentiële renderproblemen of geblokkeerde bronnen te identificeren.
2. Gebruik van een Switcher van de gebruikersagent
Als alternatief kan een browserverlenging zoals de "User Agent Switcher" worden gebruikt:
- Installatie van de uitbreiding: zoek in de Chrome Web Store naar de Switcher van de User Agent en installeer deze.
- Selectie van de GoogleBot als gebruikersagent: na installatie kunt u de gewenste gebruikersagent selecteren.
- De website bezoeken: de pagina wordt nu weergegeven vanuit het perspectief van de GoogleBot.
Dit is met name handig voor snelle tests en als u vaak wilt schakelen tussen verschillende gebruikersagenten.
3. Gebruik van de schreeuwende kikker Seo Spider
De "Screaming Frog Seo Spider" is geschikt voor diepgaande analyses:
- Aanpassing van het gebruikersbureau: ga naar "Configuratie> User-Agent" en selecteer de GoogleBot.
- Start van het kruipproces: de tool zoekt de website en laat zien hoe de GoogleBot het ziet.
- Analyse van de resultaten: identificeer mogelijke kruipende problemen of geblokkeerde bronnen.
Deze tool is ideaal voor grote websites en gedetailleerde SEO -audits.
4. Gebruik van de Google -zoekconsole
De Google Search Console biedt ook waardevolle inzichten:
- URL -test: voer de gewenste URL in en start de live -test.
- Analyseer de resultaten: u kunt zien of de pagina wordt geïndexeerd en of er problemen zijn met Crawlen.
- Appeal Like via Google: met deze functie kunt u zien hoe de GoogleBot de pagina weergeeft.
Dit helpt bij het identificeren van specifieke problemen die kunnen voorkomen dat de BOT de pagina corrigeert.
Oplossing van het probleem
Met deze tools kon ik bevestigen dat de GoogleBot daadwerkelijk was geblokkeerd. Om het probleem op te lossen, nam ik de volgende stappen:
1. Aanpassing van de botdefinities
Ik heb de beveiligingsconfiguratie bijgewerkt zodat GoogleBot en andere belangrijke bots voor zoekmachines niet langer worden geblokkeerd.
2. Overzicht van de robots.txt
Ik zorgde ervoor dat het bestand geen instructies bevat die de toegang beperken.
3. Update van sitemaps
De sitemaps werden vernieuwd en ingediend in de Webmaster Tools.
4. Monitoring
In de volgende dagen heb ik indexering en verkeer gecontroleerd om ervoor te zorgen dat alles weer soepel verloopt.
Preventieve maatregelen voor de toekomst
Om dergelijke problemen in de toekomst te voorkomen, heb ik enkele resoluties gekregen:
- Regelmatige beoordeling van de beveiligingsconfiguraties: na elke wijziging moeten de effecten op de website -functionaliteit worden gecontroleerd.
- Continue monitoring: het gebruik van tools zoals de Google Search Console helpt om problemen in een vroeg stadium te herkennen.
- Documentatie van wijzigingen wissen: alle aanpassingen aan de website moeten worden gedocumenteerd om sneller te kunnen reageren in het geval van een fout.
- Training: een beter begrip van het functioneren van zoekmachines en hun bots helpt om onjuiste configuraties te voorkomen.
De erkenning ervan
Ik had beter moeten weten en moest nadenken over het kijken hier als het gaat om cache. Maar de blindheid sloeg hier toe. Probleem erkend, losmaken, rechtzetten en doorgaan.
Technische fouten kunnen een aanzienlijke impact hebben op de zichtbaarheid van een website. In mijn geval zorgde een onjuist geconfigureerde BOT -definitie ervoor dat de GoogleBot werd geblokkeerd, wat betekent dat mijn inhoud niet langer is geïndexeerd.
Het besef: zelfs kleine veranderingen kunnen grote gevolgen hebben.
Door systematische probleemoplossing en het gebruik van geschikte tools kon ik het probleem identificeren en oplossen. Het is essentieel om regelmatig te controleren hoe zoekmachines uw eigen website waarnemen.
Ik hoop dat mijn ervaringen andere webmasters zullen helpen om soortgelijke problemen te voorkomen of om sneller op te lossen. De zichtbaarheid in zoekmachines is cruciaal voor het succes van een website, en daarom moet de technische staat altijd in gedachten worden gehouden.
Geschikt hiervoor: