Publié le : 11 novembre 2024 / Mise à jour à partir du : 11 novembre 2024 - Auteur : Konrad Wolfenstein
Y a-t-il un risque de perdre le classement des moteurs de recherche ? Plus de classement Google même si tout semble bien ? – Image : Xpert.Digital
Résoudre rationnellement le problème d’indexation des moteurs de recherche – qu’est-ce qui se cache derrière cette fois ?
Ces derniers jours, j'ai remarqué quelque chose d'inquiétant : mes articles les plus récents n'étaient plus indexés dans Google News et le trafic de Google Discover diminuait régulièrement. Bien entendu, de telles évolutions ne laissent pas indifférent. Diverses hypothèses farfelues me traversaient l’esprit, mais j’ai décidé de les mettre de côté et d’aborder le problème de manière rationnelle.
Lorsque je soumettais manuellement mes pages à Google, elles étaient immédiatement indexées et affichées. Cependant, si j'attendais, rien ne se passait. J'ai observé ce phénomène pendant deux jours. Il était donc temps de procéder à une recherche approfondie de la cause.
Étape 1 : Examiner les modifications récentes
Tout d’abord, je me suis demandé : quelle a été la dernière chose qui a été modifiée sur le site Web ? Il est essentiel d’identifier les changements récents afin de réduire les sources possibles d’erreur. Dans mon cas, j'avais récemment retravaillé le système de mise en cache.
Étape 2 : Identifier les erreurs cachées ou les erreurs de réflexion
La refonte de la mise en cache pourrait avoir des effets secondaires involontaires. Y a-t-il des erreurs cachées ou des erreurs de réflexion ? J'ai commencé à vérifier les nouveaux paramètres et à rechercher d'éventuels conflits.
Étape 3 : Trouver la cause
Après une analyse détaillée, j'ai découvert le coupable : une nouvelle définition de bot dans ma configuration de sécurité avait fait un excellent travail – malheureusement trop bien. De nos jours, d’innombrables robots parcourent Internet et, afin de réduire la charge des serveurs, les robots inutiles sont souvent bloqués. Cependant, Googlebot, entre autres choses, a été placé par erreur dans la catégorie des « robots inutiles ». Un petit oubli aux grandes conséquences.
Notes des outils pour les webmasters Microsoft Bing
Mes soupçons ont été confirmés par les rapports de Bing Webmaster Tools :
- « Certaines de vos pages importantes récemment publiées n'ont pas été soumises via IndexNow. Découvrez pourquoi il est important de soumettre via IndexNow.
- Certaines de vos nouvelles pages importantes ne sont pas incluses dans vos plans de site. »**
Google Search Console m'a également fait remarquer que les pages sans contenu étaient en cours d'indexation. Ces indices montraient clairement que les moteurs de recherche avaient du mal à accéder à mon contenu.
conclusion
La prise de conscience a donné à réfléchir : je vois des pages que Google ne voit pas. Pour que les moteurs de recherche capturent mes pages, leurs robots doivent avoir un accès sans entrave. Si Googlebot est bloqué, mon contenu restera invisible.
Comment vérifier ce que Googlebot voit ?
Pour m'assurer que Googlebot puisse explorer correctement mon site Web, je souhaitais afficher les pages de son point de vue. Il existe plusieurs méthodes pour visiter un site Web comme le fait Googlebot.
1. Comment utiliser les outils de développement Google Chrome
Une méthode simple consiste à utiliser les outils de développement de Google Chrome :
- Ouvrez les outils de développement : Appuyez sur « Ctrl + Shift + I » (Windows) ou « Cmd + Shift + I » (Mac).
- Passez à l'onglet Réseau : toute l'activité réseau est affichée ici.
- Personnalisation de l'agent utilisateur : Cliquez sur les trois points en haut à droite, sélectionnez « Plus d'outils » puis « Conditions du réseau ». Décochez l'option « Sélectionner automatiquement l'agent utilisateur » et sélectionnez « Googlebot » dans la liste.
- Recharger la page : le rechargement affiche la page telle que Googlebot la voit.
Cette méthode permet d'identifier d'éventuels problèmes de rendu ou des ressources bloquées.
2. Utilisation d'un commutateur d'agent utilisateur
Alternativement, une extension de navigateur telle que « User-Agent Switcher » peut être utilisée :
- Installation de l'extension : recherchez User-Agent Switcher dans le Chrome Web Store et installez-le.
- Sélection de Googlebot comme agent utilisateur : Après l'installation, vous pouvez sélectionner l'agent utilisateur souhaité.
- Visiter le site Web : la page est désormais affichée du point de vue de Googlebot.
Ceci est particulièrement utile pour les tests rapides et si vous souhaitez basculer fréquemment entre différents agents utilisateurs.
3. Utilisation de Screaming Frog SEO Spider
Le « Screaming Frog SEO Spider » convient à une analyse plus approfondie :
- Personnalisation de l'agent utilisateur : accédez à Configuration > Agent utilisateur et sélectionnez Googlebot.
- Démarrage du processus d'exploration : l'outil explore le site Web et affiche comment Googlebot le voit.
- Analyser les résultats : identifiez les problèmes d'exploration possibles ou les ressources bloquées.
Cet outil est idéal pour les grands sites Web et les audits SEO détaillés.
4. Utiliser la console de recherche Google
Google Search Console fournit également des informations précieuses :
- Vérification de l'URL : saisissez l'URL souhaitée et démarrez le test en direct.
- Analyser les résultats : vous pouvez voir si la page est indexée et s'il y a des problèmes d'exploration.
- Récupérer comme Google : cette fonctionnalité vous permet de voir comment Googlebot affiche la page.
Cela permet d'identifier les problèmes spécifiques qui pourraient empêcher le bot de capturer correctement la page.
solution au problème
Grâce à ces outils, j’ai pu confirmer que Googlebot était bien bloqué. Pour résoudre le problème, j'ai suivi les étapes suivantes :
1. Ajustement des définitions de bots
J'ai mis à jour la configuration de sécurité pour ne plus bloquer Googlebot et les autres principaux robots des moteurs de recherche.
2. Vérification du fichier robots.txt
Je me suis assuré que le fichier ne contient aucune instruction restreignant l'accès.
3. Mises à jour du plan du site
Les plans de site ont été renouvelés et soumis à Webmaster Tools.
4. Surveillance
Au cours des jours suivants, j'ai surveillé l'indexation et le trafic pour m'assurer que tout fonctionnait à nouveau correctement.
Mesures préventives pour l’avenir
Pour éviter de tels problèmes à l'avenir, j'ai pris quelques résolutions :
- Examinez régulièrement les configurations de sécurité : après chaque modification, l'impact sur la fonctionnalité du site Web doit être vérifié.
- Surveillance continue : l'utilisation d'outils tels que Google Search Console permet d'identifier les problèmes à un stade précoce.
- Documentation claire des modifications : toutes les modifications apportées au site Web doivent être documentées afin de pouvoir réagir plus rapidement en cas d'erreur.
- Formation : Une meilleure compréhension du fonctionnement des moteurs de recherche et de leurs robots permet d'éviter les erreurs de configuration.
La connaissance qui en découle
J'aurais dû le savoir et me rappeler d'être prudent lors de la modification du cache. Mais la cécité opérationnelle a frappé ici durement. Problème identifié, résolu, redressé et poursuivi avec plus de conscience.
Les erreurs techniques peuvent avoir un impact important sur la visibilité d’un site internet. Dans mon cas, une définition de bot mal configurée a provoqué le blocage de Googlebot, ce qui a arrêté l'indexation de mon contenu.
La prise de conscience : Même de petits changements peuvent avoir de grandes conséquences.
Grâce à un dépannage systématique et à l'utilisation d'outils appropriés, j'ai pu identifier et résoudre le problème. Il est essentiel de vérifier régulièrement comment les moteurs de recherche perçoivent votre site internet.
J'espère que mes expériences aideront d'autres webmasters à éviter des problèmes similaires ou à les résoudre plus rapidement. La visibilité dans les moteurs de recherche est cruciale pour le succès d'un site Web et c'est pourquoi l'état technique doit toujours être gardé à l'esprit.
Convient à: