Ваш рейтинг в поисковой системе под угрозой? Вы больше не в рейтинге Google, хотя всё вроде бы хорошо? – Изображение: Xpert.Digital
Рациональное решение проблемы индексации поисковыми системами — что кроется на этот раз?
В последние несколько дней я заметил тревожную вещь: мои последние статьи перестали индексироваться в Google News, а трафик из Google Discover неуклонно снижался. Естественно, такие события не оставляют равнодушным. В голове проносились разные догадки, но я решил отложить их в сторону и подойти к проблеме рационально.
Когда я вручную отправил свои страницы в Google, они были проиндексированы и отобразились немедленно. Однако, если я подождал, ничего не происходило. Я наблюдал это явление в течение двух дней. Поэтому пришло время для тщательного расследования причин.
Шаг 1: Обзор последних изменений
Во-первых, я задал себе вопрос: что было изменено на сайте в последний раз? Выявление недавних изменений имеет важное значение для сужения круга потенциальных источников ошибок. В моем случае я недавно пересмотрел систему кэширования.
Шаг 2: Выявление скрытых ошибок или ошибочных рассуждений.
Переработка системы кэширования может иметь непредвиденные побочные эффекты. Есть ли какие-либо скрытые ошибки или недостатки в обосновании? Я начал проверять новые настройки и искать потенциальные конфликты.
Шаг 3: Найдите причину
После тщательного анализа я обнаружил виновника: новое определение бота в моей конфигурации безопасности сработало — к сожалению, слишком хорошо. В наши дни в интернете бродит бесчисленное множество ботов, и чтобы снизить нагрузку на сервер, ненужные боты часто блокируются. Однако Googlebot ошибочно был отнесён к категории «ненужных ботов». Небольшая оплошность, приведшая к серьёзным последствиям.
Заметки из инструментов для веб-мастеров Microsoft Bing
Мои подозрения подтвердились отчетами Bing Webmaster Tools:
- «Некоторые из ваших недавно опубликованных важных страниц не были отправлены через IndexNow. Узнайте, почему важно отправить их через IndexNow».
- Некоторые из ваших важных новых страниц не включены в карту сайта.**
Google Search Console также предупредил меня о том, что индексируются страницы без контента. Эти индикаторы ясно показали, что поисковые системы испытывают трудности с доступом к моему контенту.
заключение
Осознание этого было отрезвляющим: я вижу страницы, которые Google не видит. Для индексации моих страниц поисковым системам необходим неограниченный доступ для их ботов. Если Googlebot заблокирован, мой контент остаётся невидимым.
Как проверить, что видит Googlebot?
Чтобы убедиться, что Googlebot сможет корректно проиндексировать мой сайт, я хотел просмотреть страницы с его точки зрения. Существует несколько способов посетить веб-сайт так, как это делает Googlebot.
1. Использование инструментов разработчика Google Chrome
Один из простых способов — использовать инструменты разработчика Google Chrome:
- Чтобы открыть инструменты разработчика: нажмите `Ctrl + Shift + I` (Windows) или `Cmd + Shift + I` (Mac).
- Перейдите на вкладку «Сеть»: здесь вы увидите всю сетевую активность.
- Чтобы настроить пользовательский агент: нажмите на три точки в правом верхнем углу, выберите «Дополнительные инструменты», а затем «Состояние сети». Отключите параметр «Автоматически выбирать пользовательский агент» и выберите «Googlebot» из списка.
- Перезагрузите страницу: перезагрузка страницы отобразит её так, как её видит Googlebot.
Этот метод позволяет выявлять потенциальные проблемы с отрисовкой или заблокированные ресурсы.
2. Использование переключателя User-Agent
В качестве альтернативы можно использовать расширение для браузера, например, «User-Agent Switcher»:
- Чтобы установить расширение: найдите "User-Agent Switcher" в Chrome Web Store и установите его.
- Выбор Googlebot в качестве агента пользователя: После установки вы можете выбрать желаемый агент пользователя.
- При посещении веб-сайта: страница теперь отображается с точки зрения Googlebot.
Это особенно полезно для быстрых тестов и в тех случаях, когда вам часто нужно переключаться между различными пользовательскими агентами.
3. Использование инструмента Screaming Frog SEO Spider
Для более глубокого анализа подойдет инструмент «Screaming Frog SEO Spider»:
- Настройка User-Agent: перейдите в раздел «Настройка > User-Agent» и выберите Googlebot.
- Начало процесса сканирования: инструмент выполняет поиск по веб-сайту и показывает, как его видит Googlebot.
- Анализ результатов: Выявление потенциальных проблем при сборе данных или заблокированных ресурсов.
Этот инструмент идеально подходит для крупных веб-сайтов и детальных SEO-аудитов.
4. Использование Google Search Console
Консоль поиска Google также предоставляет ценную информацию:
- Проверка URL: Введите желаемый URL и начните тестирование в реальном времени.
- Анализ результатов: Вы можете увидеть, проиндексирована ли страница и есть ли какие-либо проблемы с ее индексацией.
- Функция "Получите страницу так, как это делает Google": эта функция позволяет увидеть, как Googlebot отображает страницу.
Это помогает выявить конкретные проблемы, которые могут помешать боту правильно просканировать страницу.
Решение проблемы
С помощью этих инструментов я смог подтвердить, что Googlebot действительно был заблокирован. Для решения проблемы я предпринял следующие шаги:
1. Корректировка настроек бота.
Я обновил настройки безопасности, чтобы Googlebot и другие важные поисковые роботы больше не блокировались.
2. Проверьте файл robots.txt.
Я убедился, что файл не содержит никаких инструкций, которые могли бы ограничить доступ.
3. Обновление карты сайта
Карта сайта обновлена и отправлена в инструменты для веб-мастеров.
4. Мониторинг
В последующие дни я отслеживал индексацию и трафик, чтобы убедиться, что все снова работает бесперебойно.
Превентивные меры на будущее
Чтобы избежать подобных проблем в будущем, я принял ряд решений:
- Регулярный пересмотр настроек безопасности: после каждого изменения следует проверять его влияние на функциональность веб-сайта.
- Непрерывный мониторинг: использование таких инструментов, как Google Search Console, помогает выявлять проблемы на ранних стадиях.
- Четкое документирование изменений: Все изменения на веб-сайте должны быть задокументированы, чтобы иметь возможность быстрее реагировать в случае ошибок.
- Обучение: Более глубокое понимание принципов работы поисковых систем и их ботов помогает избежать ошибок в настройках.
Вывод из этого
Мне следовало быть осмотрительнее и осторожнее при обработке тайника. Но я зациклился на одной мысли. Проблема выявлена, решена, устранена, и я буду продолжать более внимательно следить за ситуацией.
Технические ошибки могут существенно повлиять на видимость веб-сайта. В моем случае неправильно настроенные параметры бота привели к блокировке Googlebot, что помешало индексации моего контента.
Осознание: даже небольшие изменения могут иметь серьезные последствия.
Благодаря систематическому устранению неполадок и использованию соответствующих инструментов мне удалось выявить и решить проблему. Крайне важно регулярно проверять, как поисковые системы воспринимают ваш веб-сайт.
Надеюсь, мой опыт поможет другим веб-мастерам быстрее избегать или решать подобные проблемы. Видимость в поисковых системах имеет решающее значение для успеха сайта, поэтому его техническое состояние всегда следует контролировать.
Подходит для: