Ваш рейтинг у пошуковій системі під загрозою? Більше жодних рейтингів Google, навіть якщо все здається гаразд? – Зображення: Xpert.Digital
Раціональне рішення проблеми індексації пошуковими системами – що за ним стоїть цього разу?
Протягом останніх кількох днів я помітив дещо тривожне: мої останні статті перестали індексуватися в Google News, а трафік з Google Discover неухильно знижувався. Звичайно, такі події не залишають байдужим. У мене в голові промайнули різні дикі припущення, але я вирішив відкласти їх і підійти до проблеми раціонально.
Коли я вручну надсилав свої сторінки до Google, вони проіндексувалися та відображалися одразу. Однак, якщо я чекав, нічого не відбувалося. Я спостерігав це явище протягом двох днів. Тож настав час для ретельного розслідування причини.
Крок 1: Огляд останніх змін
Спочатку я запитав себе: що останнього змінилося на вебсайті? Визначення останніх змін є важливим для звуження потенційних джерел помилок. У моєму випадку я нещодавно переглянув систему кешування.
Крок 2: Визначте приховані помилки або хибні міркування
Переробка кешування може мати непередбачувані побічні ефекти. Чи є якісь приховані помилки чи недоліки в міркуваннях? Я почав переглядати нові налаштування та шукати потенційні конфлікти.
Крок 3: Знайдіть причину
Після ретельного аналізу я виявив винуватця: нове визначення бота в моїй конфігурації безпеки виконало свою роботу — на жаль, занадто добре. Сьогодні інтернетом блукає безліч ботів, і щоб зменшити навантаження на сервер, непотрібні боти часто блокуються. Однак, бот Google помилково був класифікований як «непотрібний бот». Невеликий недогляд із серйозними наслідками.
Нотатки з інструментів Microsoft Bing для веб-майстрів
Мої підозри підтвердилися звітами з інструментів Bing для веб-майстрів:
- «Деякі з ваших нещодавно опублікованих важливих сторінок не були надіслані через IndexNow. Дізнайтеся, чому важливо надіслати їх через IndexNow».
- Деякі з ваших важливих нових сторінок не включені до ваших файлів Sitemap.**
Google Search Console також попередила мене про те, що індексуються сторінки без контенту. Ці показники чітко свідчили про те, що пошукові системи мали проблеми з доступом до мого контенту.
висновок
Усвідомлення було тривожним: я бачу сторінки, яких не бачить Google. Щоб пошукові системи проіндексували мої сторінки, їхнім ботам потрібен необмежений доступ. Якщо Googlebot заблоковано, мій контент залишається невидимим.
Як перевірити, що бачить Googlebot?
Щоб переконатися, що Googlebot може коректно сканувати мій вебсайт, я хотів переглянути сторінки з його точки зору. Існує кілька способів відвідати вебсайт так, як це робить Googlebot.
1. Використання інструментів розробника Google Chrome
Один простий метод – скористатися інструментами розробника Google Chrome:
- Щоб відкрити інструменти розробника: натисніть `Ctrl + Shift + I` (Windows) або `Cmd + Shift + I` (Mac).
- Перейдіть на вкладку «Мережа»: Тут ви побачите всю мережеву активність.
- Щоб налаштувати агент користувача: натисніть на три крапки у верхньому правому куті, виберіть «Додаткові інструменти», а потім «Умови мережі». Вимкніть опцію «Автоматично вибирати агент користувача» та виберіть зі списку «Googlebot».
- Перезавантажити сторінку: Перезавантаження сторінки відображає її так, як її бачить Googlebot.
Цей метод дозволяє виявити потенційні проблеми з рендерингом або заблоковані ресурси.
2. Використання перемикача User-Agent
Як варіант, можна використовувати розширення для браузера, таке як «Перемикач User-Agent»:
- Щоб встановити розширення: знайдіть "User-Agent Switcher" у веб-магазині Chrome та встановіть його.
- Вибір Googlebot як агента користувача: Після встановлення ви можете вибрати потрібний агент користувача.
- Відвідування веб-сайту: Сторінка тепер відображається з точки зору робота Googlebot.
Це особливо корисно для швидких тестів та коли вам часто потрібно перемикатися між різними користувацькими агентами.
3. Використання SEO-павука Screaming Frog
Для більш глибокого аналізу підійде «Screaming Frog SEO Spider»:
- Налаштування User-Agent: Перейдіть до розділу «Конфігурація > User-Agent» та виберіть Googlebot.
- Початок процесу сканування: інструмент здійснює пошук на веб-сайті та показує, як його бачить Googlebot.
- Аналіз результатів: Виявлення потенційних проблем зі скануванням або заблокованих ресурсів.
Цей інструмент ідеально підходить для великих веб-сайтів та детального SEO-аудиту.
4. Використання консолі пошуку Google
Консоль пошуку Google також пропонує цінну інформацію:
- Перевірка URL-адреси: Введіть потрібну URL-адресу та розпочніть тест у реальному часі.
- Аналіз результатів: Ви можете побачити, чи проіндексована сторінка та чи є якісь проблеми з її скануванням.
- Отримати як Google: Ця функція дозволяє побачити, як Googlebot відображає сторінку.
Це допомагає виявити конкретні проблеми, які можуть перешкодити боту правильно сканувати сторінку.
Рішення проблеми
За допомогою цих інструментів я зміг підтвердити, що Googlebot справді заблоковано. Щоб вирішити проблему, я виконав такі кроки:
1. Налаштування визначень ботів
Я оновив конфігурацію безпеки, щоб Googlebot та інші важливі боти пошукових систем більше не блокувалися.
2. Перевірте файл robots.txt
Я переконався, що файл не містить жодних інструкцій, які б обмежували доступ.
3. Оновлення файлів Sitemap
Файли Sitemap оновлено та надіслано до Інструментів для веб-майстрів.
4. Моніторинг
У наступні дні я стежив за індексацією та трафіком, щоб переконатися, що все знову працює безперебійно.
Профілактичні заходи на майбутнє
Щоб уникнути подібних проблем у майбутньому, я прийняв кілька рішень:
- Регулярний перегляд конфігурацій безпеки: Після кожної зміни слід перевіряти вплив на функціональність веб-сайту.
- Постійний моніторинг: використання таких інструментів, як Google Search Console, допомагає виявляти проблеми на ранній стадії.
- Чітке документування змін: Усі зміни на веб-сайті повинні бути задокументовані, щоб мати змогу швидше реагувати у разі помилок.
- Навчання: Краще розуміння того, як працюють пошукові системи та їхні боти, допомагає уникнути неправильних налаштувань.
Висновок з цього
Мені слід було знати краще та бути обережнішим під час обробки кешу. Але мій тунельний зір справді взяв гору. Проблему виявлено, вирішено, усунено, і я продовжуватиму уважніше.
Технічні помилки можуть суттєво вплинути на видимість веб-сайту. У моєму випадку неправильно налаштоване визначення бота призвело до блокування Googlebot, що перешкоджало індексації мого контенту.
Усвідомлення: навіть невеликі зміни можуть мати серйозні наслідки.
Завдяки систематичному усуненню несправностей та використанню відповідних інструментів, мені вдалося виявити та вирішити проблему. Важливо регулярно перевіряти, як пошукові системи сприймають ваш вебсайт.
Сподіваюся, мій досвід допоможе іншим веб-майстрам уникнути або швидше вирішити подібні проблеми. Видимість у пошукових системах має вирішальне значення для успіху веб-сайту, тому його технічний стан слід завжди контролювати.
Підходить для цього: