Есть ли риск потери рейтинга в поисковых системах? Больше никаких рейтингов в Google, хотя кажется, что все в порядке?

За последние несколько дней я заметил кое-что тревожное: мои последние статьи больше не индексировались в Новостях Google, а трафик из Google Discover неуклонно снижался. Разумеется, подобные события не оставят вас равнодушными. В моей голове проносились разные дикие предположения, но я решил отложить их и подойти к проблеме рационально.

Когда я вручную отправлял свои страницы в Google, они сразу же индексировались и отображались. Однако, если бы я подождал, ничего бы не произошло. Я наблюдал это явление в течение двух дней. Итак, пришло время тщательного поиска причины.

Шаг 1. Просмотрите последние изменения

Сначала я спросил себя: что последнее редактировали на сайте? Очень важно выявить недавние изменения, чтобы сузить возможные источники ошибок. В моем случае я недавно переработал систему кэширования.

Шаг 2. Выявите скрытые ошибки или ошибки в мышлении.

Обновление кэширования может иметь непредвиденные побочные эффекты. Есть ли скрытые ошибки или ошибки в мышлении? Я начал проверять новые настройки и искать возможные конфликты.

Шаг 3: Найдите причину

После детального анализа я обнаружил виновника: новое определение бота в моей конфигурации безопасности сработало отлично — к сожалению, слишком хорошо. Сейчас в Интернете бродит бесчисленное количество ботов, и чтобы снизить нагрузку на сервер, ненужные боты часто блокируются. Однако робот Googlebot по ошибке был отнесен к категории «ненужных ботов». Маленькая оплошность с большими последствиями.

Заметки из инструментов Microsoft Bing для веб-мастеров

Мои подозрения подтвердились отчетами Bing Webmaster Tools:

• «Некоторые из ваших недавно опубликованных важных страниц не были отправлены через IndexNow. Узнайте, почему важно отправлять заявки через IndexNow».
• Некоторые из ваших важных новых страниц не включены в ваши файлы Sitemap».**

Консоль поиска Google также указала мне, что индексируются страницы без контента. Эти подсказки ясно показали, что у поисковых систем возникли проблемы с доступом к моему контенту.

заключение

Осознание было отрезвляющим: я вижу страницы, которых не видит Google. Чтобы поисковые системы захватили мои страницы, их боты должны иметь беспрепятственный доступ. Если Googlebot заблокирован, мой контент останется невидимым.

Как проверить, что видит Googlebot?

Чтобы убедиться, что робот Googlebot может правильно сканировать мой сайт, я хотел просмотреть страницы с его точки зрения. Существует несколько способов посетить веб-сайт, как это делает Googlebot.

1. Как использовать инструменты разработчика Google Chrome

Простой метод — использовать инструменты разработчика Google Chrome:

• Откройте инструменты разработчика: нажмите «Ctrl + Shift + I» (Windows) или «Cmd + Shift + I» (Mac).
• Перейдите на вкладку «Сеть»: здесь отображается вся сетевая активность.
• Настройка пользовательского агента: нажмите на три точки в правом верхнем углу, выберите «Дополнительные инструменты», а затем «Условия сети». Снимите флажок «Автоматически выбирать пользовательский агент» и выберите «Googlebot» из списка.
• Обновить страницу. При перезагрузке страница отображается так, как ее видит робот Googlebot.

Этот метод позволяет выявить потенциальные проблемы рендеринга или заблокированные ресурсы.

2. Использование переключателя пользовательского агента

Альтернативно можно использовать расширение браузера, такое как «User-Agent Switcher»:

• Установка расширения: найдите User-Agent Switcher в Интернет-магазине Chrome и установите его.
• Выбор робота Googlebot в качестве пользовательского агента: после установки вы можете выбрать желаемый пользовательский агент.
• Посещение веб-сайта: теперь страница отображается с точки зрения робота Googlebot.

Это особенно полезно для быстрого тестирования и если вы хотите часто переключаться между различными пользовательскими агентами.

3. Использование SEO Spider Screaming Frog

«Screaming Frog SEO Spider» подойдет для более глубокого анализа:

• Настройка пользовательского агента: перейдите в раздел «Конфигурация» > «Пользовательский агент» и выберите Googlebot.
• Запуск процесса сканирования. Инструмент сканирует веб-сайт и показывает, как его видит робот Googlebot.
• Анализ результатов: выявление возможных проблем со сканированием или заблокированных ресурсов.

Этот инструмент идеально подходит для крупных веб-сайтов и детального SEO-аудита.

4. Использование консоли поиска Google

Консоль поиска Google также предоставляет ценную информацию:

• Проверка URL-адреса: введите желаемый URL-адрес и начните тестирование в реальном времени.
• Анализ результатов: вы можете увидеть, проиндексирована ли страница и есть ли проблемы со сканированием.
• Получить как Google: эта функция позволяет вам увидеть, как робот Googlebot отображает страницу.

Это помогает выявить конкретные проблемы, которые могут помешать боту правильно захватить страницу.

решение проблемы

Используя эти инструменты, я смог подтвердить, что робот Googlebot действительно заблокирован. Чтобы решить проблему, я предпринял следующие шаги:

1. Настройка определений ботов

Я обновил конфигурацию безопасности, чтобы больше не блокировать Googlebot и других основных ботов поисковых систем.

2. Проверка robots.txt

Я убедился, что файл не содержит каких-либо инструкций, ограничивающих доступ.

3. Обновления карты сайта

Карты сайта были обновлены и отправлены в Инструменты для веб-мастеров.

4. Мониторинг

В течение следующих нескольких дней я отслеживал индексацию и трафик, чтобы убедиться, что все снова работает гладко.

Профилактические меры на будущее

Чтобы избежать подобных проблем в будущем, я принял несколько решений:

• Регулярно проверяйте конфигурации безопасности: после каждого изменения следует проверять влияние на функциональность веб-сайта.
• Непрерывный мониторинг. Использование таких инструментов, как Google Search Console, помогает выявить проблемы на ранней стадии.
• Четкая документация изменений: все изменения на веб-сайте должны быть задокументированы, чтобы иметь возможность быстрее реагировать в случае ошибки.
• Обучение: лучшее понимание того, как работают поисковые системы и их боты, помогает избежать неправильных настроек.

Знания из него

Мне следовало знать лучше и не забывать быть осторожным при редактировании кеша. Но здесь сильно ударила оперативная слепота. Проблема выявлена, решена, выпрямился и продолжил более осознанно.

Технические ошибки могут существенно повлиять на видимость веб-сайта. В моем случае неправильно настроенное определение бота привело к блокировке Googlebot, который прекратил индексировать мой контент.

Осознание: даже небольшие изменения могут иметь большие последствия.

Благодаря систематическому устранению неполадок и использованию соответствующих инструментов мне удалось выявить и решить проблему. Очень важно регулярно проверять, как поисковые системы воспринимают ваш сайт.

Надеюсь, что мой опыт поможет другим веб-мастерам избежать подобных проблем или быстрее их решить. Видимость в поисковых системах имеет решающее значение для успеха веб-сайта, поэтому всегда следует помнить о его техническом состоянии.

Подходит для:

• Блог для поиска с использованием искусственного интеллекта AIS / KIS – поиск с использованием искусственного интеллекта / NEO SEO = NSEO (поисковая оптимизация следующего поколения)
• AIS (поиск искусственного интеллекта) и SEO нового поколения. По-немецки говорят CKKK: «Контент – король, но контекст – король».