Risquez-vous de perdre votre positionnement dans les moteurs de recherche ? Plus aucun classement sur Google, même si tout semble en ordre ?

Ces derniers jours, j'ai constaté un problème inquiétant : mes derniers articles n'étaient plus indexés par Google Actualités et le trafic provenant de Google Discover était en baisse constante. Forcément, de tels événements ne laissent personne indifférent. J'ai imaginé diverses hypothèses, mais j'ai décidé de les mettre de côté et d'aborder le problème de manière rationnelle.

Lorsque j'ai soumis manuellement mes pages à Google, elles ont été indexées et affichées immédiatement. Cependant, si j'attendais, rien ne se passait. J'ai observé ce phénomène pendant deux jours. Il était donc temps d'enquêter sérieusement sur la cause.

Étape 1 : Examen des changements récents

J'ai d'abord cherché à savoir quelle était la dernière modification apportée au site web. Identifier les changements récents est essentiel pour cerner les sources d'erreur potentielles. Dans mon cas, j'avais récemment revu le système de cache.

Étape 2 : Identifier les erreurs cachées ou les raisonnements erronés

La refonte du système de cache pourrait avoir des effets secondaires imprévus. Y a-t-il des bugs ou des failles cachées dans le raisonnement ? J'ai commencé à examiner les nouveaux paramètres et à rechercher d'éventuels conflits.

Étape 3 : Trouver la cause

Après une analyse approfondie, j'ai découvert le coupable : une nouvelle définition de bot dans ma configuration de sécurité avait fait son travail, trop bien malheureusement. De nos jours, d'innombrables bots sillonnent Internet et, pour réduire la charge des serveurs, les bots inutiles sont souvent bloqués. Or, Googlebot avait été classé par erreur comme « bot inutile ». Une petite négligence aux conséquences importantes.

Notes de Microsoft Bing Webmaster Tools

Mes soupçons ont été confirmés par les rapports de Bing Webmaster Tools :

• « Certaines de vos pages importantes récemment publiées n’ont pas été soumises via IndexNow. Découvrez pourquoi il est important de les soumettre via IndexNow. »
• Certaines de vos nouvelles pages importantes ne sont pas incluses dans vos sitemaps.**

Google Search Console m'a également alerté que des pages sans contenu étaient indexées. Ces indicateurs montraient clairement que les moteurs de recherche avaient des difficultés à accéder à mon contenu.

conclusion

La prise de conscience fut troublante : je vois des pages que Google ne voit pas. Pour que les moteurs de recherche indexent mes pages, leurs robots doivent y avoir un accès illimité. Si le Googlebot est bloqué, mon contenu reste invisible.

Comment vérifier ce que voit Googlebot ?

Pour m'assurer que Googlebot puisse explorer correctement mon site web, je souhaitais visualiser les pages de son point de vue. Il existe plusieurs méthodes pour visiter un site web comme le fait Googlebot.

1. Utilisation des outils de développement Google Chrome

Une méthode simple consiste à utiliser les outils de développement de Google Chrome :

• Pour ouvrir les outils de développement : appuyez sur `Ctrl + Shift + I` (Windows) ou `Cmd + Shift + I` (Mac).
• Passez à l'onglet Réseau : vous y verrez toute l'activité réseau.
• Pour modifier l'agent utilisateur : cliquez sur les trois points en haut à droite, sélectionnez « Plus d'outils », puis « Paramètres réseau ». Désactivez l'option « Sélection automatique de l'agent utilisateur » et sélectionnez « Googlebot » dans la liste.
• Recharger la page : le rechargement de la page l’affiche telle que Googlebot la voit.

Cette méthode permet d'identifier les problèmes de rendu potentiels ou les ressources bloquées.

2. Utilisation d'un sélecteur d'agent utilisateur

Il est également possible d'utiliser une extension de navigateur telle que « User-Agent Switcher » :

• Pour installer l'extension : recherchez « User-Agent Switcher » dans le Chrome Web Store et installez-la.
• Sélection de Googlebot comme agent utilisateur : après l’installation, vous pouvez sélectionner l’agent utilisateur souhaité.
• Visite du site web : La page est maintenant affichée du point de vue du Googlebot.

Ceci est particulièrement utile pour les tests rapides et lorsque vous souhaitez fréquemment basculer entre différents agents utilisateurs.

3. Utilisation de l'outil d'exploration SEO Screaming Frog

Pour des analyses plus approfondies, l'outil « Screaming Frog SEO Spider » est adapté :

• Réglage de l'agent utilisateur : Accédez à « Configuration > Agent utilisateur » et sélectionnez Googlebot.
• Début du processus d'exploration : l'outil parcourt le site web et affiche la manière dont le Googlebot le perçoit.
• Analyse des résultats : identifier les problèmes potentiels d’exploration ou les ressources bloquées.

Cet outil est idéal pour les grands sites web et les audits SEO détaillés.

4. Utilisation de Google Search Console

La Google Search Console offre également des informations précieuses :

• Vérification d'URL : Saisissez l'URL souhaitée et lancez le test en direct.
• Analyse des résultats : vous pouvez voir si la page est indexée et s’il y a des problèmes lors de son exploration.
• Explorer comme Google : cette fonctionnalité vous permet de voir comment le Googlebot interprète la page.

Cela permet d'identifier les problèmes spécifiques qui pourraient empêcher le robot d'explorer correctement la page.

Solution au problème

Grâce à ces outils, j'ai pu confirmer que Googlebot était bien bloqué. Pour résoudre le problème, j'ai procédé comme suit :

1. Ajustement des définitions du bot

J'ai mis à jour la configuration de sécurité afin que Googlebot et les autres robots des moteurs de recherche importants ne soient plus bloqués.

2. Vérifiez le fichier robots.txt

Je me suis assuré que le fichier ne contenait aucune instruction susceptible de restreindre l'accès.

3. Mise à jour des plans de site

Les plans de site ont été mis à jour et soumis à Webmaster Tools.

4. Surveillance

Dans les jours qui suivirent, j'ai surveillé l'indexation et le trafic pour m'assurer que tout fonctionnait à nouveau correctement.

Mesures préventives pour l'avenir

Pour éviter de tels problèmes à l'avenir, j'ai pris certaines résolutions :

• Examen régulier des configurations de sécurité : après chaque modification, l’impact sur les fonctionnalités du site web doit être vérifié.
• Surveillance continue : l’utilisation d’outils comme Google Search Console permet d’identifier les problèmes au plus tôt.
• Documentation claire des modifications : Toutes les modifications apportées au site web doivent être documentées afin de pouvoir réagir plus rapidement en cas d'erreur.
• Formation : Une meilleure compréhension du fonctionnement des moteurs de recherche et de leurs robots permet d’éviter les erreurs de configuration.

L'enseignement tiré de ceci

J'aurais dû être plus vigilant et faire plus attention lors du traitement du cache. Mais j'étais tellement absorbé par le problème que j'ai fini par le résoudre. Le problème est identifié, résolu et le système est opérationnel. Je vais maintenant être plus attentif.

Les erreurs techniques peuvent avoir un impact considérable sur la visibilité d'un site web. Dans mon cas, une configuration incorrecte du robot d'exploration a entraîné le blocage de Googlebot, empêchant ainsi l'indexation de mon contenu.

Constat : même de petits changements peuvent avoir des conséquences majeures.

Grâce à un dépannage systématique et à l'utilisation d'outils appropriés, j'ai pu identifier et résoudre le problème. Il est essentiel de vérifier régulièrement comment les moteurs de recherche perçoivent votre site web.

J'espère que mon expérience aidera d'autres webmasters à éviter ou à résoudre plus rapidement des problèmes similaires. La visibilité sur les moteurs de recherche est essentielle au succès d'un site web ; il est donc important de surveiller en permanence son état technique.

En lien avec ceci :

• Blog pour la recherche en intelligence artificielle AIS / KIS – Recherche IA / NEO SEO = NSEO (Optimisation pour les moteurs de recherche de nouvelle génération)
• Recherche par intelligence artificielle (AIS) et référencement de nouvelle génération – En allemand, on dit CKKK : « Le contenu est roi, mais le contexte est empereur »