פורסם בתאריך: 11 בנובמבר 2024 / עודכן בתאריך: 11 בנובמבר 2024 – מחבר: Konrad Wolfenstein
האם הדירוג שלך במנועי החיפוש בסיכון? אין יותר דירוגים בגוגל, למרות שהכל נראה בסדר? – תמונה: Xpert.Digital
פתרון רציונלי לבעיית אינדוקס מנועי החיפוש - מה עומד מאחוריו הפעם?
בימים האחרונים שמתי לב למשהו מדאיג: המאמרים האחרונים שלי כבר לא אונדקסו בגוגל ניוז, והתנועה מגוגל דיסקבר ירדה בהתמדה. באופן טבעי, התפתחויות כאלה לא משאירות אותך אדיש. ניחושים פרועים שונים רצו במוחי, אבל החלטתי להניח אותם בצד ולגשת לבעיה בצורה רציונלית.
כאשר הגשתי ידנית את הדפים שלי לגוגל, הם אונדקסו והוצגו באופן מיידי. עם זאת, אם חיכיתי, שום דבר לא קרה. צפיתי בתופעה הזו במשך יומיים. אז הגיע הזמן לחקירה יסודית של הסיבה.
שלב 1: סקירת השינויים האחרונים
ראשית, שאלתי את עצמי: מה היה הדבר האחרון ששונה באתר? זיהוי שינויים אחרונים חיוני כדי לצמצם מקורות פוטנציאליים לטעויות. במקרה שלי, לאחרונה תיקנתי את מערכת המטמון.
שלב 2: זיהוי שגיאות נסתרות או חשיבה פגומה
לשיפוץ המטמון עלולות להיות תופעות לוואי לא מכוונות. האם ישנם באגים או פגמים נסתרים בנימוק? התחלתי לבדוק את ההגדרות החדשות ולחפש סתירות אפשריות.
שלב 3: מציאת הסיבה
לאחר ניתוח מעמיק, גיליתי את האשם: הגדרת בוט חדשה בתצורת האבטחה שלי עשתה את שלה - טוב מדי, למרבה הצער. בימים אלה, אינספור בוטים משוטטים באינטרנט, וכדי להפחית את העומס על השרת, בוטים מיותרים נחסמים לעתים קרובות. עם זאת, הגוגלבוט סווג בטעות כ"בוט מיותר". טעות קטנה עם השלכות חמורות.
הערות מכלי מנהלי האתרים של מיקרוסופט בינג
החשד שלי אושר על ידי דיווחים מכלי מנהלי האתרים של בינג:
- "חלק מהדפים החשובים שפרסמת לאחרונה לא נשלחו דרך IndexNow. גלה מדוע חשוב לשלוח אותם דרך IndexNow."
- חלק מהדפים החדשים והחשובים שלך אינם כלולים בקובצי האתר שלך.**
גוגל סרק קונסול גם התריע בפניי שדפים ללא תוכן אנדוקסים. אינדיקטורים אלה הראו בבירור שמנועי החיפוש מתקשים לגשת לתוכן שלי.
מַסְקָנָה
ההבנה הייתה מפכחת: אני רואה דפים שגוגל לא רואה. כדי שמנועי חיפוש יוכלו לאנדקס את הדפים שלי, הבוטים שלהם צריכים גישה בלתי מוגבלת. אם הגוגלבוט חסום, התוכן שלי נשאר בלתי נראה.
איך בודקים מה גוגלבוט רואה?
כדי להבטיח שגוגלבוט יוכל לסרוק את האתר שלי בצורה נכונה, רציתי לראות את הדפים מנקודת המבט שלו. ישנן מספר שיטות לבקר באתר אינטרנט כמו שגוגלבוט עושה.
1. שימוש בכלי המפתחים של גוגל כרום
שיטה פשוטה אחת היא להשתמש בכלי המפתחים של גוגל כרום:
- כדי לפתוח את כלי המפתחים: לחצו על `Ctrl + Shift + I` (Windows) או `Cmd + Shift + I` (Mac).
- עבור ללשונית רשת: כאן תראה את כל פעילות הרשת.
- כדי להתאים את סוכן המשתמש: לחצו על שלוש הנקודות בפינה הימנית העליונה, בחרו "כלים נוספים" ולאחר מכן "תנאי רשת". השבתו את האפשרות "בחר סוכן משתמש באופן אוטומטי" ובחרו "גוגלבוט" מהרשימה.
- טעינה מחדש של הדף: טעינה מחדש של הדף מציגה אותו כפי שגוגלבוט רואה אותו.
שיטה זו מאפשרת לזהות בעיות רינדור פוטנציאליות או משאבים חסומים.
2. שימוש במחליף משתמש-סוכן
לחלופין, ניתן להשתמש בתוסף דפדפן כגון "User-Agent Switcher":
- כדי להתקין את התוסף: חפשו את "User-Agent Switcher" בחנות האינטרנט של Chrome והתקינו אותו.
- בחירת Googlebot כסוכן המשתמש: לאחר ההתקנה, ניתן לבחור את סוכן המשתמש הרצוי.
- ביקור באתר: הדף מוצג כעת מנקודת מבטו של גוגלבוט.
זה שימושי במיוחד עבור בדיקות מהירות וכאשר אתה רוצה לעבור לעתים קרובות בין סוכני משתמש שונים.
3. שימוש בעכביש ה-SEO של Screaming Frog
לניתוחים מעמיקים יותר, "עכביש ה-Screaming Frog SEO Spider" מתאים:
- התאמת סוכן משתמש: עבור אל "תצורה > סוכן משתמש" ובחר Googlebot.
- תחילת תהליך הסריקה: הכלי מחפש באתר ומראה כיצד גוגלבוט רואה אותו.
- ניתוח התוצאות: זיהוי בעיות סריקה פוטנציאליות או משאבים חסומים.
כלי זה אידיאלי לאתרים גדולים ולביקורות SEO מפורטות.
4. שימוש בקונסולת החיפוש של גוגל
גוגל סקור קונסול מציע גם תובנות חשובות:
- בדיקת כתובת URL: הזן את כתובת ה-URL הרצויה והתחל את הבדיקה החיה.
- ניתוח תוצאות: ניתן לראות אם הדף מאונדקס ואם יש בעיות בסריקתו.
- אחזור כמו שגוגל עושה: תכונה זו מאפשרת לך לראות כיצד גוגלבוט מציג את הדף.
זה עוזר לזהות בעיות ספציפיות שעשויות למנוע מהבוט לסרוק את הדף כראוי.
פתרון לבעיה
בעזרת כלים אלה, הצלחתי לאשר שגוגלבוט אכן נחסם. כדי לפתור את הבעיה, נקטתי בצעדים הבאים:
1. התאמת הגדרות הבוט
עדכנתי את תצורת האבטחה כך שגוגלבוט ובוטים חשובים אחרים של מנועי חיפוש אינם חסומים עוד.
2. בדוק את קובץ robots.txt
וידאתי שהקובץ לא מכיל הוראות שיגבילו את הגישה.
3. עדכון מפות האתר
מפות האתר עודכנו ונשלחו לכלי מנהלי האתרים.
4. ניטור
בימים שלאחר מכן, עקבתי אחר האינדוקס והתנועה כדי לוודא שהכל שוב פועל בצורה חלקה.
אמצעי מניעה לעתיד
כדי להימנע מבעיות כאלה בעתיד, קיבלתי כמה החלטות:
- סקירה שוטפת של תצורות האבטחה: לאחר כל שינוי, יש לבדוק את ההשפעה על פונקציונליות האתר.
- ניטור מתמשך: שימוש בכלים כמו Google Search Console מסייע בזיהוי בעיות מוקדם.
- תיעוד ברור של שינויים: יש לתעד את כל השינויים באתר על מנת שניתן יהיה להגיב מהר יותר במקרה של שגיאות.
- הדרכה: הבנה טובה יותר של אופן פעולתם של מנועי חיפוש והבוטים שלהם עוזרת למנוע תצורות שגויות.
התובנה מזה
הייתי צריך לדעת יותר טוב ולהיות זהיר יותר בעת עיבוד המטמון. אבל ראיית המנהרה שלי באמת השתלטה. הבעיה זוהתה, נפתרה, שוחזרה, ואמשיך ביתר תשומת לב.
שגיאות טכניות יכולות להשפיע באופן משמעותי על הנראות של אתר אינטרנט. במקרה שלי, הגדרת בוט שגויה גרמה לחסימת ה-Googlebot, מה שמנע את האינדוקס של התוכן שלי.
ההבנה: אפילו שינויים קטנים יכולים להיות בעלי השלכות גדולות.
באמצעות פתרון בעיות שיטתי ושימוש בכלים מתאימים, הצלחתי לזהות ולפתור את הבעיה. חיוני לבדוק באופן קבוע כיצד מנועי החיפוש תופסים את האתר שלך.
אני מקווה שהניסיון שלי יעזור למנהלי אתרים אחרים להימנע מבעיות דומות או לפתור אותן מהר יותר. נראות במנועי חיפוש היא קריטית להצלחת אתר אינטרנט, ולכן יש לנטר תמיד את מצבו הטכני.
מתאים לכך: