نُشر بتاريخ: 11 نوفمبر 2024 / تحديث من: 11 نوفمبر 2024 - المؤلف: كونراد ولفنشتاين
هل هناك خطر فقدان تصنيفات محرك البحث؟ لا مزيد من تصنيفات جوجل على الرغم من أن كل شيء يبدو على ما يرام؟ – الصورة: إكسبيرت ديجيتال
حل مشكلة فهرسة محرك البحث بطريقة عقلانية - ما الذي يكمن وراءها هذه المرة؟
على مدى الأيام القليلة الماضية، لاحظت شيئًا مثيرًا للقلق: لم تعد مقالاتي الأخيرة مفهرسة في أخبار Google، وكانت حركة المرور من Google Discover تتناقص بشكل مطرد. وبطبيعة الحال، مثل هذه التطورات لا تتركك غير مبال. دارت في ذهني العديد من الافتراضات الجامحة، لكنني قررت أن أضعها جانبًا وأتعامل مع المشكلة بعقلانية.
عندما أرسلت صفحاتي يدويًا إلى Google، تمت فهرستها وعرضها على الفور. ومع ذلك، إذا انتظرت، لم يحدث شيء. لقد لاحظت هذه الظاهرة على مدى يومين. لذلك حان الوقت لإجراء بحث شامل عن السبب.
الخطوة 1: مراجعة التغييرات الأخيرة
في البداية سألت نفسي: ما هو آخر شيء تم تعديله في الموقع؟ ومن الضروري تحديد التغييرات الأخيرة لتضييق نطاق مصادر الخطأ المحتملة. في حالتي، قمت مؤخرًا بإعادة صياغة نظام التخزين المؤقت.
الخطوة الثانية: تحديد الأخطاء الخفية أو الأخطاء في التفكير
قد يكون لإصلاح التخزين المؤقت آثار جانبية غير مقصودة. هل هناك أخطاء أو أخطاء خفية في التفكير؟ لقد بدأت في التحقق من الإعدادات الجديدة والبحث عن التعارضات المحتملة.
الخطوة 3: ابحث عن السبب
وبعد تحليل مفصل، اكتشفت السبب: لقد أدى تعريف الروبوت الجديد في تكوين الأمان الخاص بي عملاً رائعًا - وللأسف كان جيدًا جدًا. في الوقت الحاضر، يتجول عدد لا يحصى من الروبوتات على الإنترنت، ومن أجل تقليل تحميل الخادم، غالبًا ما يتم حظر الروبوتات غير الضرورية. ومع ذلك، من بين كل الأشياء الأخرى، تم وضع Googlebot عن طريق الخطأ ضمن فئة "الروبوتات غير الضرورية". سهو صغير له عواقب كبيرة.
ملاحظات من أدوات مشرفي المواقع لـ Microsoft Bing
تم تأكيد شكوكي من خلال التقارير الواردة من أدوات مشرفي المواقع Bing:
- "لم يتم إرسال بعض صفحاتك المهمة المنشورة مؤخرًا من خلال IndexNow. اكتشف سبب أهمية التقديم من خلال IndexNow.
- بعض صفحاتك الجديدة المهمة لم يتم تضمينها في خرائط موقعك."**
أوضحت لي Google Search Console أيضًا أنه تتم فهرسة الصفحات التي لا تحتوي على محتوى. أظهرت هذه القرائن بوضوح أن محركات البحث كانت تواجه مشكلة في الوصول إلى المحتوى الخاص بي.
خاتمة
كان الإدراك مثيرًا للقلق: أرى صفحات لا يراها محرك البحث Google. لكي تتمكن محركات البحث من التقاط صفحاتي، يجب أن تتمتع برامج الروبوت الخاصة بها بإمكانية الوصول دون عوائق. إذا تم حظر Googlebot، فسيظل المحتوى الخاص بي غير مرئي.
كيف يمكنك التحقق مما يراه Googlebot؟
للتأكد من قدرة Googlebot على الزحف إلى موقع الويب الخاص بي بشكل صحيح، أردت عرض الصفحات من منظورها. هناك عدة طرق لزيارة موقع ويب بالطريقة التي يفعلها Googlebot.
1. كيفية استخدام أدوات مطوري Google Chrome
إحدى الطرق البسيطة هي استخدام أدوات مطور Google Chrome:
- افتح أدوات المطور: اضغط على "Ctrl + Shift + I" (في Windows) أو "Cmd + Shift + I" (في Mac).
- قم بالتبديل إلى علامة التبويب "الشبكة": يتم عرض جميع أنشطة الشبكة هنا.
- تخصيص وكيل المستخدم: انقر على النقاط الثلاث في الجزء العلوي الأيمن، وحدد "المزيد من الأدوات" ثم "شروط الشبكة". قم بإلغاء تحديد خيار "تحديد وكيل المستخدم تلقائيًا" وحدد "Googlebot" من القائمة.
- إعادة تحميل الصفحة: تؤدي عملية إعادة التحميل إلى عرض الصفحة كما يراها Googlebot.
تتيح هذه الطريقة تحديد مشكلات العرض المحتملة أو الموارد المحظورة.
2. استخدام مبدل وكيل المستخدم
وبدلاً من ذلك، يمكن استخدام ملحق المتصفح مثل "User-Agent Switcher":
- تثبيت الامتداد: ابحث عن User-Agent Switcher في سوق Chrome الإلكتروني وقم بتثبيته.
- تحديد Googlebot كوكيل مستخدم: بعد التثبيت، يمكنك تحديد وكيل المستخدم المطلوب.
- زيارة موقع الويب: يتم الآن عرض الصفحة من منظور Googlebot.
يعد هذا مفيدًا بشكل خاص للاختبار السريع وإذا كنت تريد التبديل بين وكلاء المستخدم المختلفين بشكل متكرر.
3. استخدام Screaming Frog SEO Spider
يعد "Screaming Frog SEO Spider" مناسبًا لمزيد من التحليل المتعمق:
- تخصيص وكيل المستخدم: انتقل إلى التكوين > وكيل المستخدم وحدد Googlebot.
- بدء عملية الزحف: تقوم الأداة بالزحف إلى موقع الويب وتعرض كيفية رؤية Googlebot له.
- تحليل النتائج: تحديد مشكلات الزحف المحتملة أو الموارد المحظورة.
هذه الأداة مثالية لمواقع الويب الكبيرة وعمليات تدقيق SEO التفصيلية.
4. استخدام Google Search Console
توفر Google Search Console أيضًا رؤى قيمة:
- التحقق من عنوان URL: أدخل عنوان URL المطلوب وابدأ الاختبار المباشر.
- تحليل النتائج: يمكنك معرفة ما إذا كانت الصفحة مفهرسة وما إذا كانت هناك مشاكل في الزحف.
- جلب مثل Google: تتيح لك هذه الميزة معرفة كيفية عرض Googlebot للصفحة.
يساعد هذا في تحديد المشكلات المحددة التي قد تمنع الروبوت من التقاط الصفحة بشكل صحيح.
حل للمشكلة
وباستخدام هذه الأدوات، تمكنت من التأكد من حظر Googlebot بالفعل. لإصلاح المشكلة قمت بالخطوات التالية:
1. تعديل تعريفات البوت
لقد قمت بتحديث تكوين الأمان حتى لا يحظر Googlebot وغيره من برامج الروبوت الرئيسية لمحركات البحث.
2. التحقق من ملف robots.txt
لقد تأكدت من أن الملف لا يحتوي على أي تعليمات تقيد الوصول.
3. تحديثات خريطة الموقع
تم تجديد خرائط الموقع وإرسالها إلى أدوات مشرفي المواقع.
4. المراقبة
خلال الأيام القليلة التالية، قمت بمراقبة الفهرسة وحركة المرور للتأكد من أن كل شيء يسير بسلاسة مرة أخرى.
التدابير الوقائية للمستقبل
لتجنب مثل هذه المشاكل في المستقبل، اتخذت بعض القرارات:
- مراجعة تكوينات الأمان بانتظام: بعد كل تغيير، يجب التحقق من التأثير على وظائف موقع الويب.
- المراقبة المستمرة: يساعد استخدام أدوات مثل Google Search Console في تحديد المشكلات مبكرًا.
- توثيق واضح للتغييرات: يجب توثيق جميع التعديلات التي يتم إجراؤها على موقع الويب حتى نتمكن من الاستجابة بسرعة أكبر في حالة حدوث خطأ.
- التدريب: يساعد الفهم الأفضل لكيفية عمل محركات البحث وبرامج الروبوت الخاصة بها على تجنب التكوينات الخاطئة.
العلم منها
كان يجب أن أعرف بشكل أفضل وأتذكر أن أكون حذراً عند تحرير ذاكرة التخزين المؤقت. لكن العمى التشغيلي ضرب بشدة هنا. تم تحديد المشكلة وحلها وتصحيحها والاستمرار فيها بوعي أكبر.
يمكن أن يكون للأخطاء الفنية تأثير كبير على ظهور موقع الويب. في حالتي، تسبب تعريف برنامج الروبوت الذي تمت تهيئته بشكل خاطئ في حظر Googlebot، مما أدى إلى توقف فهرسة المحتوى الخاص بي.
الإدراك: حتى التغييرات الصغيرة يمكن أن يكون لها عواقب كبيرة.
ومن خلال استكشاف الأخطاء وإصلاحها بشكل منهجي واستخدام الأدوات المناسبة، تمكنت من تحديد المشكلة وحلها. من الضروري التحقق بانتظام من كيفية رؤية محركات البحث لموقعك على الويب.
آمل أن تساعد تجربتي مشرفي المواقع الآخرين في تجنب المشكلات المماثلة أو حلها بسرعة أكبر. تعد الرؤية في محركات البحث أمرًا بالغ الأهمية لنجاح موقع الويب، وبالتالي يجب مراعاة الحالة الفنية دائمًا.
مناسب ل: