פורסם ב: 11 בנובמבר 2024 / עדכון מ: 11 בנובמבר 2024 - מחבר: קונראד וולפנשטיין
לפתור את הבעיית אינדקס מנועי חיפוש באופן רציונלי - מה עומד מאחורי הפעם?
בימים האחרונים שמתי לב למשהו מדאיג: המאמרים האחרונים שלי כבר לא אמצעו אינדקס בחדשות Google, והתנועה באמצעות גוגל גילוי פחתה בהתמדה. כמובן שהתפתחויות כאלה לא משאירות אותך קר. ניחושים פראיים שונים ירו בראשי, אבל החלטתי לדחוף אותם הצידה ולהתמודד עם הבעיה באופן רציונלי.
אם הדפים שלי מוגשים למדריך Google, הם היו מיד לאינדקס והוצגו. עם זאת, חיכיתי, שום דבר לא קרה. צפיתי בתופעה זו במשך יומיים. אז הגיע הזמן לחיפוש יסודי אחר המטרה.
שלב 1: סקירת השינויים האחרונים
ראשית, שאלתי את עצמי את השאלה: מה נערך לאחרונה באתר? חיוני לזהות את השינויים האחרונים כדי לצמצם מקורות שגיאה אפשריים. במקרה שלי, תיקנתי לאחרונה את מערכת המטמון.
שלב 2: זהה שגיאות או טעויות נסתרות
עדכון המטמון יכול להיות בעל תופעות לוואי לא מכוונות. האם יש טעויות או טעויות נסתרות? התחלתי לבדוק את ההגדרות החדשות ולחפש קונפליקטים אפשריים.
שלב 3: מצא את הסיבה
לאחר ניתוח מעמיק, גיליתי את האשם: הגדרת בוט חדשה בתצורת האבטחה שלי עשתה עבודה נהדרת-למרבה הצער טוב מדי. כיום אינספור בוטים משוטטים באינטרנט וכדי להפחית את עומס השרת, לעתים קרובות חסומים בוטים מיותרים. עם זאת, ה- GoogleBot הוחלף בטעות לקטגוריה של "בוטים מיותרים". פיקוח קטן עם השפעות נהדרות.
הערות על ידי כלים למנהל אתרים של מיקרוסופט בינג
החשד שלי אושר על ידי דיווחים מכלי מנהל האתר של בינג:
- "חלק מהדפים החשובים שפורסמו לאחרונה לא הוגשו באמצעות IndexNow. גלה מדוע חשוב להגיש אותם באמצעות IndexNow."
- חלק מהדפים החדשים החשובים שלך אינם נכללים ב- SiteMaps שלך. ”**
מסוף החיפוש של גוגל גם ציין כי דפים היו באינדקס ללא תוכן. מידע זה הראה בבירור כי למנועי חיפוש היו בעיות בגישה לתוכן שלי.
מַסְקָנָה
הידע היה מפוכח: אני רואה דפים שגוגל לא רואה. על מנת שמנועי חיפוש יוכלו לתפוס את הדפים שלי, הבוטים שלהם חייבים להיות בעלי גישה ללא הפרעה. כאשר ה- GoogleBot חסום, התוכן שלי נשאר בלתי נראה.
איך אתה בודק מה GoogleBot רואה?
כדי להבטיח ש- GoogleBot יכול לזחול נכון את האתר שלי, רציתי להסתכל על הדפים מנקודת המבט שלו. ישנן מספר שיטות לביקור באתר כפי שעושה GoogleBot.
1. שימוש בכלי המפתחים של Google Chrome
שיטה פשוטה היא להשתמש בכלי המפתחים של Google Chrome:
- פתח את כלי המפתח: לחץ על 'Ctrl + Shift + I' (Windows) או 'CMD + Shift + I' (Mac).
- שנה לכרטיסיית הרשת: כל פעילויות הרשת מוצגות כאן.
- התאמת סוכנות המשתמש: לחץ על שלוש הנקודות בפינה השמאלית העליונה, בחר "יותר כלים" ואז "תנאי רשת". השבת את האפשרות "בחר משתמש באופן אוטומטי" ובחר "GoogleBot" מהרשימה.
- דף טעינה מחדש: הטעינה החדשה מציגה את הדף כפי שהוא רואה את GoogleBot.
שיטה זו מאפשרת לזהות בעיות פוטנציאליות לעיבוד או משאבים חסומים.
2. שימוש במתג סוכן משתמש
לחלופין, ניתן להשתמש בתוסף דפדפן כגון "מתג סוכן משתמש":
- התקנת ההרחבה: חפש בחנות האינטרנט של Chrome את מתג סוכן המשתמש והתקין אותו.
- בחירת ה- GoogleBot כסוכן משתמש: לאחר ההתקנה, באפשרותך לבחור את סוכן המשתמש הרצוי.
- ביקור באתר: הדף מוצג כעת מנקודת המבט של GoogleBot.
זה שימושי במיוחד לבדיקות מהירות ואם לעתים קרובות אתה רוצה לעבור בין סוכני משתמש שונים.
3. שימוש בעכביש SEO צפרדע צורחת
"עכביש Seo Sereming Frog Seo" מתאים לניתוחים עמוקים:
- התאמת סוכנות המשתמש: עבור אל "תצורה> סוכן משתמש" ובחר ב- GoogleBot.
- התחלת תהליך הסריקה: הכלי מחפש באתר ומראה כיצד ה- GoogleBot רואה אותו.
- ניתוח התוצאות: זהה בעיות זחילה אפשריות או משאבים חסומים.
כלי זה אידיאלי לאתרים גדולים וביקורת SEO מפורטת.
4. שימוש במסוף החיפוש של גוגל
קונסולת החיפוש של גוגל מציעה גם תובנות יקרות ערך:
- מבחן כתובת אתר: הזן את כתובת האתר הרצויה והתחל במבחן החי.
- נתח את התוצאות: אתה יכול לראות אם הדף צמוד לאינדקס והאם יש בעיות ב- Crawlen.
- ערעור כמו דרך גוגל: עם פונקציה זו אתה יכול לראות כיצד GoogleBot הופך את הדף.
זה עוזר לזהות בעיות ספציפיות שיכולות למנוע את BOT לתקן את הדף.
פתרון הבעיה
עם הכלים האלה הצלחתי לאשר שה- GoogleBot נחסם למעשה. כדי לתקן את הבעיה, עשיתי את הצעדים הבאים:
1. התאמת הגדרות הבוט
עדכנתי את תצורת האבטחה כך שגוגל בוט ובוטים חשובים אחרים של מנועי חיפוש כבר לא ייחסמו.
2. סקירת Robots.txt
הבטחתי שהקובץ אינו מכיל הוראות המגבילות את הגישה.
3. עדכון ה- SiteMaps
ה- Sitemaps התחדשו והוגשו בכלי מנהל האתר.
4. ניטור
בימים שלאחר מכן פיקחתי על אינדקס ותנועה כדי להבטיח שהכל יפעל שוב בצורה חלקה.
אמצעי מניעה לעתיד
כדי להימנע מבעיות כאלה בעתיד, קיבלתי כמה החלטות:
- סקירה קבועה של תצורות האבטחה: לאחר כל שינוי, יש לבדוק את ההשפעות על פונקציונליות האתר.
- ניטור רציף: השימוש בכלים כמו קונסולת החיפוש של גוגל עוזר להכיר בעיות בשלב מוקדם.
- נקה תיעוד של שינויים: יש לתעד את כל ההתאמות לאתר על מנת להיות מסוגל להגיב מהר יותר במקרה של שגיאה.
- הכשרה: הבנה טובה יותר של תפקוד מנועי החיפוש והבוטים שלהם עוזרת להימנע מתצורות שגויות.
ההכרה בזה
הייתי צריך לדעת טוב יותר והייתי צריך לחשוב על צפייה כאן בכל מה שקשור למטמון. אבל העיוורון פגע כאן. הבעיה מוכרת, משחררת, מיישבת וממשיכה.
שגיאות טכניות יכולות להשפיע באופן משמעותי על הנראות של אתר. במקרה שלי, הגדרת BOT שהוגדרה באופן שגוי גרמה לחסימת GoogleBot, מה שאומר שהתוכן שלי כבר לא היה קשור לאינדקס.
ההבנה: אפילו לשינויים קטנים יכולות להיות השלכות גדולות.
באמצעות פתרון בעיות שיטתיות ושימוש בכלים מתאימים, הצלחתי לזהות ולתקן את הבעיה. חיוני לבדוק באופן קבוע כיצד מנועי חיפוש תופסים את האתר שלך.
אני מקווה שהחוויות שלי יעזרו למאסטרים אחרים באינטרנט להימנע מבעיות דומות או לפתור מהר יותר. הראות במנועי חיפוש היא מכריעה להצלחת אתר, ולכן תמיד יש לזכור את המצב הטכני.
מתאים לכך: