Veröffentlicht am: 11. November 2024 / Update vom: 11. November 2024 – Verfasser: Konrad Wolfenstein
Suchmaschinen-Ranking Verlust droht? Kein Google-Ranking mehr, obwohl alles in Ordnung scheint? – Bild: Xpert.Digital
Suchmaschinen-Indexierungsproblem rational lösen - Was steck diesmal dahinter?
In den letzten Tagen bemerkte ich etwas Besorgniserregendes: Meine neuesten Artikel wurden nicht mehr in Google News indexiert, und der Traffic über Google Discover nahm stetig ab. Solche Entwicklungen lassen einen natürlich nicht kalt. Verschiedene wilde Vermutungen schossen mir durch den Kopf, doch ich entschied mich, diese beiseite zu schieben und das Problem rational anzugehen.
Bei manueller Einreichung meiner Seiten bei Google wurden diese sofort indexiert und angezeigt. Wartete ich jedoch ab, geschah nichts. Dieses Phänomen beobachtete ich über zwei Tage hinweg. Es war also Zeit für eine gründliche Ursachensuche.
Schritt 1: Rückblick auf die letzten Änderungen
Zunächst stellte ich mir die Frage: Was wurde zuletzt an der Website bearbeitet? Es ist essentiell, die jüngsten Änderungen zu identifizieren, um mögliche Fehlerquellen einzugrenzen. In meinem Fall hatte ich kürzlich das Caching-System überarbeitet.
Schritt 2: Versteckte Fehler oder Denkfehler identifizieren
Die Überarbeitung des Cachings könnte unbeabsichtigte Nebenwirkungen haben. Gibt es versteckte Fehler oder Denkfehler? Ich begann, die neuen Einstellungen zu überprüfen und mögliche Konflikte zu suchen.
Schritt 3: Die Ursache finden
Nach eingehender Analyse entdeckte ich den Schuldigen: Eine neue Bot-Definition in meiner Sicherheitskonfiguration hatte ganze Arbeit geleistet – leider zu gut. In der heutigen Zeit durchstreifen unzählige Bots das Internet, und um die Serverlast zu reduzieren, werden oft unnötige Bots blockiert. Ausgerechnet der Googlebot war jedoch fälschlicherweise in die Kategorie der „unnötigen Bots“ gerutscht. Ein kleines Versehen mit großen Auswirkungen.
Hinweise von Microsoft Bing Webmaster-Tools
Bestätigt wurde mein Verdacht durch Meldungen der Bing Webmaster Tools:
- „Einige Ihrer kürzlich veröffentlichten wichtigen Seiten wurden nicht über IndexNow eingereicht. Finden Sie heraus, warum es wichtig ist, sie über IndexNow einzureichen.“
- Einige Ihrer wichtigen neuen Seiten sind nicht in Ihren Sitemaps enthalten.“**
Auch die Google Search Console wies mich darauf hin, dass Seiten ohne Inhalt indexiert wurden. Diese Hinweise zeigten klar, dass Suchmaschinen Probleme hatten, auf meine Inhalte zuzugreifen.
Schlussfolgerung
Die Erkenntnis war ernüchternd: Ich sehe Seiten, die Google nicht sieht. Damit Suchmaschinen meine Seiten erfassen können, müssen ihre Bots ungehinderten Zugriff haben. Wenn der Googlebot blockiert wird, bleiben meine Inhalte unsichtbar.
Wie überprüft man, was der Googlebot sieht?
Um sicherzustellen, dass der Googlebot meine Website korrekt crawlen kann, wollte ich die Seiten aus seiner Perspektive betrachten. Es gibt mehrere Methoden, um eine Website so zu besuchen, wie es der Googlebot tut.
1. Verwendung der Google Chrome Developer Tools
Eine einfache Methode besteht darin, die Entwicklerwerkzeuge von Google Chrome zu nutzen:
- Öffnen der Entwicklerwerkzeuge: Drücke `Strg + Umschalt + I` (Windows) oder `Cmd + Umschalt + I` (Mac).
- Wechsel zum Netzwerk-Tab: Hier werden alle Netzwerkaktivitäten angezeigt.
- Anpassung des User-Agents: Klicke auf die drei Punkte oben rechts, wähle „Weitere Tools“ und dann „Netzwerkbedingungen“. Deaktiviere die Option „User-Agent automatisch auswählen“ und wähle „Googlebot“ aus der Liste.
- Seite neu laden: Durch das Neuladen wird die Seite so angezeigt, wie sie der Googlebot sieht.
Diese Methode ermöglicht es, potenzielle Render-Probleme oder blockierte Ressourcen zu identifizieren.
2. Einsatz eines User-Agent Switchers
Alternativ kann eine Browser-Erweiterung wie der „User-Agent Switcher“ verwendet werden:
- Installation der Erweiterung: Suche im Chrome Web Store nach dem User-Agent Switcher und installiere ihn.
- Auswahl des Googlebot als User-Agent: Nach der Installation kannst du den gewünschten User-Agent auswählen.
- Besuch der Website: Die Seite wird nun aus der Perspektive des Googlebots angezeigt.
Dies ist besonders nützlich für schnelle Tests und wenn man häufig zwischen verschiedenen User-Agents wechseln möchte.
3. Nutzung des Screaming Frog SEO Spider
Für tiefgreifendere Analysen eignet sich der „Screaming Frog SEO Spider“:
- Anpassung des User-Agents: Gehe zu „Konfiguration > User-Agent“ und wähle den Googlebot aus.
- Start des Crawl-Prozesses: Das Tool durchsucht die Website und zeigt an, wie der Googlebot sie sieht.
- Analyse der Ergebnisse: Identifiziere mögliche Crawling-Probleme oder blockierte Ressourcen.
Dieses Tool ist ideal für große Websites und detaillierte SEO-Audits.
4. Verwendung der Google Search Console
Die Google Search Console bietet ebenfalls wertvolle Einblicke:
- URL-Prüfung: Gib die gewünschte URL ein und starte den Live-Test.
- Ergebnisse analysieren: Du siehst, ob die Seite indexiert ist und ob es Probleme beim Crawlen gibt.
- Abruf wie durch Google: Mit dieser Funktion kannst du sehen, wie der Googlebot die Seite rendert.
Dies hilft, spezifische Probleme zu identifizieren, die den Bot daran hindern könnten, die Seite korrekt zu erfassen.
Lösung des Problems
Mit diesen Tools konnte ich bestätigen, dass der Googlebot tatsächlich blockiert wurde. Um das Problem zu beheben, unternahm ich folgende Schritte:
1. Anpassung der Bot-Definitionen
Ich aktualisierte die Sicherheitskonfiguration, sodass der Googlebot und andere wichtige Suchmaschinen-Bots nicht mehr blockiert werden.
2. Überprüfung der robots.txt
Ich stellte sicher, dass die Datei keine Anweisungen enthält, die den Zugriff einschränken.
3. Aktualisierung der Sitemaps
Die Sitemaps wurden erneuert und in den Webmaster-Tools eingereicht.
4. Monitoring
In den folgenden Tagen überwachte ich die Indexierung und den Traffic, um sicherzustellen, dass alles wieder reibungslos läuft.
Präventive Maßnahmen für die Zukunft
Um solche Probleme künftig zu vermeiden, habe ich mir einige Vorsätze gefasst:
- Regelmäßige Überprüfung der Sicherheitskonfigurationen: Nach jeder Änderung sollten die Auswirkungen auf die Website-Funktionalität geprüft werden.
- Kontinuierliches Monitoring: Die Nutzung von Tools wie der Google Search Console hilft, Probleme frühzeitig zu erkennen.
- Klare Dokumentation von Änderungen: Alle Anpassungen an der Website sollten dokumentiert werden, um im Fehlerfall schneller reagieren zu können.
- Schulung: Ein besseres Verständnis für die Funktionsweise von Suchmaschinen und deren Bots hilft, Fehlkonfigurationen zu vermeiden.
Die Erkenntis draus
Ich hätte es besser wissen müssen und bei der Cache-Bearbeitung bereits daran denken müssen, hier aufzupassen. Aber die Betriebsblindheit schlug hier megamäßig zu. Problem erkannt, lösen, aufrichten und achtsamer weitermachen.
Technische Fehler können erhebliche Auswirkungen auf die Sichtbarkeit einer Website haben. In meinem Fall führte eine falsch konfigurierte Bot-Definition dazu, dass der Googlebot blockiert wurde, wodurch meine Inhalte nicht mehr indexiert wurden.
Die Erkenntnis: Selbst kleine Änderungen können große Folgen haben.
Durch systematische Fehlersuche und den Einsatz geeigneter Tools konnte ich das Problem identifizieren und beheben. Es ist unerlässlich, regelmäßig zu überprüfen, wie Suchmaschinen die eigene Website wahrnehmen.
Ich hoffe, dass meine Erfahrungen anderen Webmastern helfen, ähnliche Probleme zu vermeiden oder schneller zu lösen. Die Sichtbarkeit in Suchmaschinen ist entscheidend für den Erfolg einer Website, und daher sollte der technische Zustand stets im Auge behalten werden.
Passend dazu: