Is uw positie in de zoekresultaten in gevaar? Geen goede Google-resultaten meer, terwijl alles in orde lijkt? – Afbeelding: Xpert.Digital
Een rationele oplossing voor het indexeringsprobleem van zoekmachines - wat zit er dit keer achter?
De afgelopen dagen viel me iets verontrustends op: mijn meest recente artikelen werden niet langer geïndexeerd in Google News en het verkeer vanuit Google Discover nam gestaag af. Natuurlijk laat zo'n ontwikkeling je niet onberoerd. Allerlei wilde vermoedens schoten door mijn hoofd, maar ik besloot ze terzijde te schuiven en het probleem rationeel te benaderen.
Toen ik mijn pagina's handmatig bij Google aanmeldde, werden ze direct geïndexeerd en weergegeven. Maar als ik wachtte, gebeurde er niets. Ik heb dit fenomeen twee dagen lang waargenomen. Het was dus tijd voor een grondig onderzoek naar de oorzaak.
Stap 1: Overzicht van recente wijzigingen
Allereerst vroeg ik mezelf af: wat was de laatste wijziging aan de website? Het identificeren van recente wijzigingen is essentieel om mogelijke foutbronnen te beperken. In mijn geval had ik onlangs het cachesysteem herzien.
Stap 2: Verborgen fouten of gebrekkige redeneringen opsporen
De herziening van de caching kan onbedoelde neveneffecten hebben. Zijn er verborgen bugs of fouten in de onderliggende redenering? Ik ben begonnen met het bekijken van de nieuwe instellingen en het zoeken naar mogelijke conflicten.
Stap 3: Zoek de oorzaak
Na een grondige analyse ontdekte ik de boosdoener: een nieuwe botdefinitie in mijn beveiligingsconfiguratie had zijn werk gedaan – helaas té goed. Tegenwoordig zwerven talloze bots over het internet en om de serverbelasting te verminderen, worden onnodige bots vaak geblokkeerd. De Googlebot was echter ten onrechte als een 'onnodige bot' gecategoriseerd. Een kleine vergissing met grote gevolgen.
Opmerkingen van Microsoft Bing Webmaster Tools
Mijn vermoeden werd bevestigd door rapporten van Bing Webmaster Tools:
- “Sommige van uw recent gepubliceerde belangrijke pagina's zijn niet via IndexNow ingediend. Ontdek waarom het belangrijk is om ze via IndexNow in te dienen.”
- Sommige van uw belangrijke nieuwe pagina's zijn niet opgenomen in uw sitemaps.**
Google Search Console waarschuwde me ook dat pagina's zonder inhoud werden geïndexeerd. Deze indicatoren lieten duidelijk zien dat zoekmachines problemen hadden met het openen van mijn content.
conclusie
Het besef was ontnuchterend: ik zie pagina's die Google niet ziet. Om mijn pagina's te indexeren, hebben zoekmachines onbelemmerde toegang nodig. Als de Googlebot geblokkeerd is, blijft mijn content onzichtbaar.
Hoe kun je controleren wat de Googlebot ziet?
Om ervoor te zorgen dat Googlebot mijn website correct kan crawlen, wilde ik de pagina's vanuit zijn perspectief bekijken. Er zijn verschillende manieren om een website te bezoeken zoals Googlebot dat doet.
1. De ontwikkelaarstools van Google Chrome gebruiken
Een eenvoudige methode is om de ontwikkelaarstools van Google Chrome te gebruiken:
- Om de ontwikkelaarstools te openen: druk op `Ctrl + Shift + I` (Windows) of `Cmd + Shift + I` (Mac).
- Ga naar het tabblad Netwerk: hier ziet u alle netwerkactiviteit.
- Om de user agent aan te passen: Klik op de drie puntjes in de rechterbovenhoek, selecteer 'Meer tools' en vervolgens 'Netwerkcondities'. Schakel de optie 'Automatisch user agent selecteren' uit en selecteer 'Googlebot' uit de lijst.
- Pagina opnieuw laden: Door de pagina opnieuw te laden, wordt deze weergegeven zoals de Googlebot deze ziet.
Deze methode maakt het mogelijk om potentiële weergaveproblemen of geblokkeerde bronnen te identificeren.
2. Gebruik van een gebruikersagentschakelaar
Als alternatief kan een browserextensie zoals de "User-Agent Switcher" worden gebruikt:
- Om de extensie te installeren: zoek naar "User-Agent Switcher" in de Chrome Web Store en installeer deze.
- Googlebot selecteren als user agent: Na de installatie kunt u de gewenste user agent selecteren.
- De website bezoeken: De pagina wordt nu weergegeven vanuit het perspectief van de Googlebot.
Dit is met name handig voor snelle tests en wanneer je regelmatig wilt wisselen tussen verschillende user agents.
3. De SEO-spider van Screaming Frog gebruiken
Voor meer diepgaande analyses is de "Screaming Frog SEO Spider" geschikt:
- Aanpassing van de gebruikersagent: Ga naar "Configuratie > Gebruikersagent" en selecteer Googlebot.
- Begin van het crawlproces: De tool doorzoekt de website en laat zien hoe de Googlebot deze ziet.
- Analyse van de resultaten: Identificeer potentiële crawlproblemen of geblokkeerde bronnen.
Deze tool is ideaal voor grote websites en gedetailleerde SEO-audits.
4. Google Search Console gebruiken
De Google Zoekconsole biedt ook waardevolle inzichten:
- URL-controle: Voer de gewenste URL in en start de live test.
- Analyseer de resultaten: u kunt zien of de pagina is geïndexeerd en of er problemen zijn bij het crawlen ervan.
- Fetch zoals Google dat doet: Met deze functie kunt u zien hoe de Googlebot de pagina weergeeft.
Dit helpt bij het identificeren van specifieke problemen die de bot ervan kunnen weerhouden de pagina correct te crawlen.
Oplossing voor het probleem
Met behulp van deze tools kon ik bevestigen dat de Googlebot inderdaad geblokkeerd was. Om het probleem op te lossen, heb ik de volgende stappen ondernomen:
1. De botdefinities aanpassen
Ik heb de beveiligingsinstellingen aangepast, zodat Googlebot en andere belangrijke zoekmachinebots niet langer worden geblokkeerd.
2. Controleer het robots.txt-bestand
Ik heb ervoor gezorgd dat het bestand geen instructies bevatte die de toegang zouden beperken.
3. De sitemaps bijwerken
De sitemaps zijn bijgewerkt en ingediend bij Webmaster Tools.
4. Monitoring
De volgende dagen heb ik de indexering en het verkeer in de gaten gehouden om ervoor te zorgen dat alles weer naar behoren functioneerde.
Preventieve maatregelen voor de toekomst
Om dergelijke problemen in de toekomst te voorkomen, heb ik een aantal voornemens gemaakt:
- Regelmatige controle van de beveiligingsconfiguraties: Na elke wijziging moet de impact op de functionaliteit van de website worden gecontroleerd.
- Continue monitoring: Met tools zoals Google Search Console kunnen problemen vroegtijdig worden opgespoord.
- Duidelijke documentatie van wijzigingen: Alle wijzigingen aan de website moeten worden gedocumenteerd, zodat er sneller kan worden gereageerd in geval van fouten.
- Training: Een beter begrip van hoe zoekmachines en hun bots werken, helpt om configuratiefouten te voorkomen.
Het inzicht dat hieruit voortvloeit
Ik had beter moeten weten en voorzichtiger moeten zijn bij het verwerken van de cache. Maar ik was volledig gefocust op één ding. Het probleem is vastgesteld, opgelost, hersteld en ik zal er in de toekomst meer aandacht aan besteden.
Technische fouten kunnen de zichtbaarheid van een website aanzienlijk beïnvloeden. In mijn geval zorgde een verkeerd geconfigureerde botdefinitie ervoor dat de Googlebot werd geblokkeerd, waardoor mijn content niet geïndexeerd kon worden.
Het besef: zelfs kleine veranderingen kunnen grote gevolgen hebben.
Door systematische probleemoplossing en het gebruik van de juiste tools heb ik het probleem kunnen identificeren en oplossen. Het is essentieel om regelmatig te controleren hoe zoekmachines uw website beoordelen.
Ik hoop dat mijn ervaringen andere webmasters zullen helpen soortgelijke problemen sneller te voorkomen of op te lossen. Zoekmachineoptimalisatie is cruciaal voor het succes van een website, dus de technische staat ervan moet altijd in de gaten gehouden worden.
Geschikt hiervoor: