Рискувате ли да загубите позициите си в търсачките? Нямате повече позиции в Google, въпреки че всичко изглежда наред?

През последните няколко дни забелязах нещо обезпокоително: последните ми статии вече не се индексираха в Google News, а трафикът от Google Discover непрекъснато намаляваше. Естествено, подобни развития не те оставят безразличен. Различни необмислени предположения ми се въртяха в главата, но реших да ги оставя настрана и да подходя към проблема рационално.

Когато ръчно изпратих страниците си в Google, те бяха индексирани и показани веднага. Ако обаче изчаках, нищо не се случи. Наблюдавах това явление в продължение на два дни. Така че беше време за задълбочено разследване на причината.

Стъпка 1: Преглед на последните промени

Първо се запитах: Какво беше последното нещо, променено на уебсайта? Идентифицирането на последните промени е от съществено значение за стесняване на потенциалните източници на грешки. В моя случай наскоро бях ревизирал системата за кеширане.

Стъпка 2: Идентифицирайте скрити грешки или погрешни разсъждения

Ремонтът на кеширането може да има нежелани странични ефекти. Има ли някакви скрити грешки или недостатъци в разсъжденията? Започнах да преглеждам новите настройки и да търся потенциални конфликти.

Стъпка 3: Открийте причината

След задълбочен анализ открих виновника: Нова дефиниция на бот в конфигурацията ми за сигурност си беше свършила работата - твърде добре, за съжаление. В днешно време безброй ботове бродят из интернет и за да се намали натоварването на сървъра, ненужните ботове често се блокират. Googlebot-ът обаче погрешно беше категоризиран като „ненужен бот“. Малък пропуск с големи последици.

Бележки от инструментите за уеб администратори на Microsoft Bing

Подозрението ми беше потвърдено от доклади от Bing Webmaster Tools:

• „Някои от наскоро публикуваните от вас важни страници не бяха изпратени чрез IndexNow. Разберете защо е важно да ги изпратите чрез IndexNow.“
• Някои от важните ви нови страници не са включени във вашите Sitemap файлове.**

Google Search Console също ме предупреди, че се индексират страници без съдържание. Тези индикатори ясно показваха, че търсачките имат проблеми с достъпа до моето съдържание.

заключение

Осъзнаването беше отрезвяващо: виждам страници, които Google не вижда. За да индексират търсачките страниците ми, техните ботове се нуждаят от неограничен достъп. Ако Googlebot е блокиран, съдържанието ми остава невидимо.

Как проверявате какво вижда Googlebot?

За да се уверя, че Googlebot може да обхожда уебсайта ми правилно, исках да видя страниците от негова гледна точка. Има няколко метода за посещение на уебсайт по начина, по който го прави Googlebot.

1. Използване на инструментите за разработчици на Google Chrome

Един лесен метод е да използвате инструментите за разработчици на Google Chrome:

• За да отворите инструментите за разработчици: Натиснете `Ctrl + Shift + I` (Windows) или `Cmd + Shift + I` (Mac).
• Преминете към раздела Мрежа: Тук ще видите цялата мрежова активност.
• За да настроите потребителския агент: Кликнете върху трите точки в горния десен ъгъл, изберете „Още инструменти“ и след това „Мрежови условия“. Деактивирайте опцията „Автоматичен избор на потребителски агент“ и изберете „Googlebot“ от списъка.
• Презареждане на страницата: Презареждането на страницата я показва така, както я вижда Googlebot.

Този метод позволява идентифицирането на потенциални проблеми с рендирането или блокирани ресурси.

2. Използване на превключвател на потребителски агент

Като алтернатива може да се използва разширение за браузър, като например „User-Agent Switcher“:

• За да инсталирате разширението: Потърсете „User-Agent Switcher“ в уеб магазина на Chrome и го инсталирайте.
• Избиране на Googlebot като потребителски агент: След инсталирането можете да изберете желания потребителски агент.
• Посещение на уебсайта: Страницата вече се показва от гледна точка на Googlebot.

Това е особено полезно за бързи тестове и когато често искате да превключвате между различни потребителски агенти.

3. Използване на SEO паяка Screaming Frog

За по-задълбочени анализи е подходящ „Screaming Frog SEO Spider“:

• Корекция на потребителския агент: Отидете на „Конфигурация > Потребителски агент“ и изберете Googlebot.
• Стартиране на процеса на обхождане: Инструментът претърсва уебсайта и показва как го вижда Googlebot.
• Анализ на резултатите: Идентифицирайте потенциални проблеми с обхождането или блокирани ресурси.

Този инструмент е идеален за големи уебсайтове и подробни SEO одити.

4. Използване на Google Search Console

Конзолата за търсене на Google също предлага ценна информация:

• Проверка на URL адрес: Въведете желания URL адрес и стартирайте теста на живо.
• Анализирайте резултатите: Можете да видите дали страницата е индексирана и дали има проблеми с нейното обхождане.
• Извличане както прави Google: Тази функция ви позволява да видите как Googlebot рендира страницата.

Това помага да се идентифицират специфични проблеми, които биха могли да попречат на бота да обходи правилно страницата.

Решение на проблема

С помощта на тези инструменти успях да потвърдя, че Googlebot наистина е блокиран. За да разреша проблема, предприех следните стъпки:

1. Настройване на дефинициите на ботовете

Актуализирах конфигурацията за сигурност, така че Googlebot и други важни ботове за търсачки вече да не са блокирани.

2. Проверете файла robots.txt

Уверих се, че файлът не съдържа инструкции, които биха ограничили достъпа.

3. Актуализиране на Sitemap

Файловете Sitemap са актуализирани и изпратени до Webmaster Tools.

4. Мониторинг

В следващите дни наблюдавах индексирането и трафика, за да се уверя, че всичко отново работи гладко.

Превантивни мерки за в бъдеще

За да избегна подобни проблеми в бъдеще, взех няколко решения:

• Редовен преглед на конфигурациите за сигурност: След всяка промяна трябва да се проверява въздействието върху функционалността на уебсайта.
• Непрекъснато наблюдение: Използването на инструменти като Google Search Console помага за ранно идентифициране на проблеми.
• Ясно документиране на промените: Всички промени в уебсайта трябва да бъдат документирани, за да може да се реагира по-бързо в случай на грешки.
• Обучение: По-доброто разбиране на начина, по който работят търсачките и техните ботове, помага да се избегнат неправилни конфигурации.

Прозрението от това

Трябваше да знам по-добре и да бъда по-внимателен при обработката на кеша. Но тунелното ми зрение наистина ме взе. Проблемът е идентифициран, решен, отстранен и ще продължа по-внимателно.

Техническите грешки могат значително да повлияят на видимостта на уебсайта. В моя случай, неправилно конфигурирана дефиниция на бот доведе до блокирането на Googlebot, което попречи на индексирането на съдържанието ми.

Осъзнаването: Дори малки промени могат да имат сериозни последици.

Чрез систематично отстраняване на неизправности и използване на подходящи инструменти, успях да идентифицирам и разреша проблема. Важно е редовно да проверявате как търсачките възприемат вашия уебсайт.

Надявам се, че моят опит ще помогне на други уеб администратори да избегнат или разрешат подобни проблеми по-бързо. Видимостта в търсачките е от решаващо значение за успеха на уебсайта, така че техническото му състояние винаги трябва да се следи.

Свързано с това:

• Блог за AIS Търсене с изкуствен интелект / KIS – AI Търсене / NEO SEO = NSEO (Оптимизация за търсачки от следващо поколение)
• AIS (Търсене с изкуствен интелект) и SEO от следващо поколение – на немски казваме CKKK: „Съдържанието е крал, но контекстът е император“