تاريخ النشر: ١١ نوفمبر ٢٠٢٤ / تاريخ التحديث: ١١ نوفمبر ٢٠٢٤ - المؤلف: Konrad Wolfenstein
هل ترتيب موقعك في محركات البحث مُعرّض للخطر؟ هل اختفى ترتيبك في جوجل رغم أن كل شيء يبدو على ما يرام؟ – الصورة: Xpert.Digital
حل منطقي لمشكلة فهرسة محركات البحث - ما الذي يقف وراءه هذه المرة؟
خلال الأيام القليلة الماضية، لاحظتُ أمراً مُقلقاً: لم تعد مقالاتي الأخيرة تُفهرس في أخبار جوجل، كما أن الزيارات من جوجل ديسكفر تتناقص باستمرار. بطبيعة الحال، لا يُمكن تجاهل مثل هذه التطورات. راودتني تخميناتٌ مُختلفة، لكنني قررتُ تجاهلها والتعامل مع المشكلة بعقلانية.
عندما أرسلت صفحاتي يدويًا إلى جوجل، تمت فهرستها وعرضها فورًا. لكن عند الانتظار، لم يحدث شيء. لاحظت هذه الظاهرة على مدار يومين، لذا كان لا بد من إجراء تحقيق شامل في السبب.
الخطوة الأولى: مراجعة التغييرات الأخيرة
في البداية، سألت نفسي: ما هو آخر تغيير طرأ على الموقع الإلكتروني؟ يُعدّ تحديد التغييرات الحديثة أمرًا بالغ الأهمية لتضييق نطاق مصادر الخطأ المحتملة. في حالتي، كنت قد عدّلت نظام التخزين المؤقت مؤخرًا.
الخطوة الثانية: تحديد الأخطاء الخفية أو الاستدلال المعيب
قد يكون لتحديث نظام التخزين المؤقت آثار جانبية غير مقصودة. هل توجد أي أخطاء أو ثغرات خفية في منطق التحديث؟ بدأتُ بمراجعة الإعدادات الجديدة والبحث عن أي تعارضات محتملة.
الخطوة الثالثة: تحديد السبب
بعد تحليل دقيق، اكتشفتُ السبب: تعريف جديد للبرامج الآلية في إعدادات الأمان الخاصة بي قد أدى وظيفته على أكمل وجه، للأسف. في هذه الأيام، تنتشر برامج آلية لا حصر لها على الإنترنت، ولتخفيف الضغط على الخادم، غالبًا ما يتم حظر البرامج الآلية غير الضرورية. مع ذلك، تم تصنيف برنامج Googlebot خطأً على أنه "برنامج آلي غير ضروري". سهو بسيط ذو عواقب وخيمة.
ملاحظات من أدوات مشرفي المواقع من مايكروسوفت بينغ
وقد تأكدت شكوكي من خلال التقارير الواردة من أدوات مشرفي المواقع من Bing:
- "بعض صفحاتك المهمة التي نشرتها مؤخراً لم يتم إرسالها عبر IndexNow. تعرف على سبب أهمية إرسالها عبر IndexNow."
- بعض صفحاتك الجديدة المهمة غير مدرجة في خرائط موقعك
كما نبهني Google Search Console إلى فهرسة صفحات لا تحتوي على محتوى. وأظهرت هذه المؤشرات بوضوح أن محركات البحث تواجه صعوبة في الوصول إلى محتواي.
خاتمة
كان الإدراك صادماً: أرى صفحات لا يراها جوجل. لكي تتمكن محركات البحث من فهرسة صفحاتي، تحتاج برامجها الآلية إلى وصول غير مقيد. إذا تم حظر برنامج جوجل الآلي، فسيظل محتواي غير مرئي.
كيف يمكنك التحقق مما يراه برنامج Googlebot؟
لضمان قدرة برنامج Googlebot على فهرسة موقعي الإلكتروني بشكل صحيح، أردتُ معاينة الصفحات من منظوره. توجد عدة طرق لزيارة موقع إلكتروني بالطريقة التي يتصفح بها Googlebot الموقع.
1. استخدام أدوات مطوري جوجل كروم
إحدى الطرق البسيطة هي استخدام أدوات مطوري جوجل كروم:
- لفتح أدوات المطور: اضغط على `Ctrl + Shift + I` (ويندوز) أو `Cmd + Shift + I` (ماك).
- انتقل إلى علامة تبويب الشبكة: هنا سترى جميع أنشطة الشبكة.
- لتعديل وكيل المستخدم: انقر على النقاط الثلاث في الزاوية العلوية اليمنى، ثم اختر "المزيد من الأدوات" ثم "ظروف الشبكة". عطّل خيار "تحديد وكيل المستخدم تلقائيًا" واختر "Googlebot" من القائمة.
- إعادة تحميل الصفحة: إعادة تحميل الصفحة تعرضها كما يراها برنامج Googlebot.
تتيح هذه الطريقة تحديد مشاكل العرض المحتملة أو الموارد المحظورة.
2. استخدام مُبدِّل وكيل المستخدم
أو بدلاً من ذلك، يمكن استخدام إضافة للمتصفح مثل "User-Agent Switcher":
- لتثبيت الإضافة: ابحث عن "User-Agent Switcher" في متجر Chrome الإلكتروني وقم بتثبيتها.
- اختيار Googlebot كوكيل المستخدم: بعد التثبيت، يمكنك تحديد وكيل المستخدم المطلوب.
- زيارة الموقع الإلكتروني: يتم الآن عرض الصفحة من منظور برنامج Googlebot.
يُعد هذا مفيدًا بشكل خاص للاختبارات السريعة وعندما ترغب بشكل متكرر في التبديل بين وكلاء المستخدم المختلفين.
3. استخدام برنامج Screaming Frog SEO Spider
لإجراء تحليلات أكثر تعمقاً، يُعد برنامج "Screaming Frog SEO Spider" مناسباً:
- تعديل وكيل المستخدم: انتقل إلى "التكوين > وكيل المستخدم" وحدد Googlebot.
- بداية عملية الزحف: تقوم الأداة بالبحث في الموقع الإلكتروني وتُظهر كيف يراه برنامج Googlebot.
- تحليل النتائج: تحديد مشاكل الزحف المحتملة أو الموارد المحظورة.
تُعد هذه الأداة مثالية للمواقع الإلكترونية الكبيرة وعمليات تدقيق تحسين محركات البحث التفصيلية.
4. استخدام Google Search Console
كما توفر أداة Google Search Console رؤى قيّمة:
- التحقق من عنوان URL: أدخل عنوان URL المطلوب وابدأ الاختبار المباشر.
- تحليل النتائج: يمكنك معرفة ما إذا كانت الصفحة مفهرسة وما إذا كانت هناك أي مشاكل في الزحف إليها.
- جلب البيانات كما تفعل جوجل: تتيح لك هذه الميزة رؤية كيفية عرض Googlebot للصفحة.
يساعد هذا في تحديد المشاكل المحددة التي قد تمنع الروبوت من الزحف إلى الصفحة بشكل صحيح.
حل المشكلة
باستخدام هذه الأدوات، تمكنت من التأكد من حظر برنامج Googlebot بالفعل. ولحل المشكلة، اتبعت الخطوات التالية:
1. تعديل تعريفات الروبوت
قمت بتحديث إعدادات الأمان بحيث لم يعد يتم حظر Googlebot وبرامج الزحف الأخرى المهمة لمحركات البحث.
2. تحقق من ملف robots.txt
لقد تأكدت من أن الملف لا يحتوي على أي تعليمات من شأنها تقييد الوصول.
3. تحديث خرائط الموقع
تم تحديث خرائط الموقع وإرسالها إلى أدوات مشرفي المواقع.
4. المراقبة
في الأيام التالية، قمت بمراقبة الفهرسة وحركة المرور للتأكد من أن كل شيء يعمل بسلاسة مرة أخرى.
تدابير وقائية للمستقبل
ولتجنب مثل هذه المشاكل في المستقبل، اتخذت بعض القرارات:
- مراجعة منتظمة لإعدادات الأمان: بعد كل تغيير، يجب التحقق من تأثيره على وظائف الموقع الإلكتروني.
- المراقبة المستمرة: يساعد استخدام أدوات مثل Google Search Console في تحديد المشاكل مبكراً.
- توثيق التغييرات بشكل واضح: يجب توثيق جميع التغييرات التي تطرأ على الموقع الإلكتروني من أجل القدرة على الاستجابة بشكل أسرع في حالة حدوث أخطاء.
- التدريب: يساعد الفهم الأفضل لكيفية عمل محركات البحث وبرامج الروبوت الخاصة بها على تجنب الأخطاء في التكوين.
الفكرة المستخلصة من هذا
كان ينبغي عليّ أن أكون أكثر حذرًا وأكثر درايةً عند معالجة ذاكرة التخزين المؤقت. لكنّ تركيزي المفرط كان واضحًا جدًا. تمّ تحديد المشكلة وحلّها واستعادة البيانات، وسأواصل العمل بانتباه أكبر.
قد تؤثر الأخطاء التقنية بشكل كبير على ظهور موقع الويب في نتائج البحث. في حالتي، تسبب خطأ في إعدادات تعريف البوت في حظر برنامج Googlebot، مما حال دون فهرسة محتواي.
الإدراك: حتى التغييرات الصغيرة يمكن أن يكون لها عواقب وخيمة.
من خلال استكشاف الأخطاء وإصلاحها بشكل منهجي واستخدام الأدوات المناسبة، تمكنت من تحديد المشكلة وحلها. من الضروري التحقق بانتظام من كيفية تقييم محركات البحث لموقعك الإلكتروني.
آمل أن تساعد تجاربي مشرفي المواقع الآخرين على تجنب أو حل مشاكل مماثلة بسرعة أكبر. يُعدّ ظهور الموقع في محركات البحث أمرًا بالغ الأهمية لنجاحه، لذا يجب مراقبة حالته التقنية باستمرار.
ذو صلة بهذا الموضوع: