Објављено: 11. новембра 2024. / Ажурирано: 11. новембра 2024. – Аутор: Konrad Wolfenstein
Да ли је ваш пласман на претраживачима угрожен? Нема више рангирања на Гуглу, иако све изгледа у реду? – Слика: Xpert.Digital
Рационално решење проблема индексирања претраживача - шта се овог пута крије иза тога?
У протеклих неколико дана приметио сам нешто забрињавајуће: моји најновији чланци више нису индексирани у Google вестима, а саобраћај са Google Discover-а је стално опадао. Наравно, такав развој догађаја не оставља равнодушним. Разне дивље претпоставке су ми се мотале по глави, али сам одлучио да их оставим по страни и приступим проблему рационално.
Када сам ручно послао своје странице Гуглу, оне су одмах индексиране и приказане. Међутим, ако сам чекао, ништа се није десило. Посматрао сам овај феномен током два дана. Дакле, било је време за темељну истрагу узрока.
Корак 1: Преглед скорашњих промена
Прво сам се питао: Шта је последња ствар промењена на веб-сајту? Идентификација недавних промена је кључна за сужавање потенцијалних извора грешака. У мом случају, недавно сам ревидирао систем кеширања.
Корак 2: Идентификујте скривене грешке или погрешно резоновање
Реорганизација кеширања могла би имати нежељене нуспојаве. Да ли постоје неке скривене грешке или мане у образложењу? Почео сам да прегледам нова подешавања и тражим потенцијалне сукобе.
Корак 3: Пронађите узрок
Након темељне анализе, открио сам кривца: Нова дефиниција бота у мојој безбедносној конфигурацији је обавила свој посао — превише добро, нажалост. Ових дана, безброј ботова лута интернетом, а да би се смањило оптерећење сервера, непотребни ботови се често блокирају. Међутим, Googlebot је грешком категорисан као „непотребан бот“. Мали пропуст са великим последицама.
Белешке из алата за вебмастере компаније Microsoft Bing
Моју сумњу су потврдили извештаји из Bing Webmaster Tools-а:
- „Неке од ваших недавно објављених важних страница нису послате путем IndexNow-а. Сазнајте зашто је важно да их пошаљете путем IndexNow-а.“
- Неке од ваших важних нових страница нису укључене у ваше мапе сајта.**
Google Search Console ме је такође упозорио да се индексирају странице без садржаја. Ови индикатори су јасно показивали да претраживачи имају проблема са приступом мом садржају.
закључак
Спознаја је била отрежњујућа: видим странице које Гугл не види. Да би претраживачи индексирали моје странице, њиховим ботовима је потребан неограничен приступ. Ако је Гуглбот блокиран, мој садржај остаје невидљив.
Како проверавате шта Googlebot види?
Да бих се уверио да Googlebot може правилно да прегледа мој веб-сајт, желео сам да погледам странице из његове перспективе. Постоји неколико метода за посећивање веб-сајта на начин на који то ради Googlebot.
1. Коришћење алата за програмере у програму Google Chrome
Један једноставан метод је коришћење алата за програмере у Google Chrome-у:
- Да бисте отворили алате за програмере: Притисните `Ctrl + Shift + I` (Windows) или `Cmd + Shift + I` (Mac).
- Пређите на картицу Мрежа: Овде ћете видети све мрежне активности.
- Да бисте подесили кориснички агент: Кликните на три тачке у горњем десном углу, изаберите „Више алата“, а затим „Мрежни услови“. Онемогућите опцију „Аутоматски изабери кориснички агент“ и изаберите „Googlebot“ са листе.
- Поново учитај страницу: Поновним учитавањем странице приказује се онако како је Googlebot види.
Ова метода омогућава идентификацију потенцијалних проблема са рендеровањем или блокираних ресурса.
2. Употреба пребацивача корисничког агента
Алтернативно, може се користити проширење прегледача као што је „User-Agent Switcher“:
- Да бисте инсталирали екстензију: Потражите „User-Agent Switcher“ у Chrome веб продавници и инсталирајте је.
- Избор Googlebot-а као корисничког агента: Након инсталације, можете изабрати жељени кориснички агент.
- Посета веб-сајту: Страница се сада приказује из перспективе Googlebot-а.
Ово је посебно корисно за брзе тестове и када често желите да прелазите између различитих корисничких агената.
3. Коришћење SEO паука Screaming Frog
За детаљније анализе, погодан је „Screaming Frog SEO Spider“:
- Подешавање корисничког агента: Идите на „Конфигурација > Кориснички агент“ и изаберите Googlebot.
- Почетак процеса претраживања: Алат претражује веб локацију и приказује како је Googlebot види.
- Анализа резултата: Идентификујте потенцијалне проблеме са претраживањем или блокиране ресурсе.
Овај алат је идеалан за велике веб странице и детаљне SEO ревизије.
4. Коришћење Google Search Console-а
Google Search Console такође нуди вредне увиде:
- Провера URL-а: Унесите жељени URL и покрените тестирање уживо.
- Анализирајте резултате: Можете видети да ли је страница индексирана и да ли постоје проблеми са њеним претраживањем.
- Преузми као што то ради Google: Ова функција вам омогућава да видите како Googlebot приказује страницу.
Ово помаже у идентификацији специфичних проблема који би могли спречити бота да правилно претражи страницу.
Решење проблема
Користећи ове алате, успео сам да потврдим да је Googlebot заиста блокиран. Да бих решио проблем, предузео сам следеће кораке:
1. Прилагођавање дефиниција ботова
Ажурирао сам безбедносну конфигурацију тако да Googlebot и други важни ботови претраживача више нису блокирани.
2. Проверите датотеку robots.txt
Уверио сам се да датотека не садржи никаква упутства која би ограничила приступ.
3. Ажурирање мапа сајта
Мапе сајта су ажуриране и послате у алате за вебмастере.
4. Праћење
У наредним данима сам пратио индексирање и саобраћај како бих се уверио да све поново функционише глатко.
Превентивне мере за будућност
Да бих избегао такве проблеме у будућности, донео сам неколико одлука:
- Редован преглед безбедносних конфигурација: Након сваке промене, треба проверити утицај на функционалност веб странице.
- Континуирано праћење: Коришћење алата попут Google Search Console помаже у раном откривању проблема.
- Јасна документација промена: Све измене на веб-сајту треба да буду документоване како би се могло брже реаговати у случају грешака.
- Обука: Боље разумевање начина рада претраживача и њихових ботова помаже у избегавању погрешних конфигурација.
Увид из овога
Требало је да знам боље и будем пажљивији приликом обраде кеша. Али мој тунелски вид је заиста био јак. Проблем је идентификован, решен, отклоњен и наставићу пажљивије.
Техничке грешке могу значајно утицати на видљивост веб странице. У мом случају, погрешно конфигурисана дефиниција бота је довела до блокирања Googlebot-а, што је спречило индексирање мог садржаја.
Схватање: Чак и мале промене могу имати велике последице.
Систематским решавањем проблема и употребом одговарајућих алата, успео сам да идентификујем и решим проблем. Важно је редовно проверавати како претраживачи доживљавају вашу веб страницу.
Надам се да ће моја искуства помоћи другим вебмастерима да избегну или брже реше сличне проблеме. Видљивост на претраживачима је кључна за успех веб странице, тако да њено техничко стање увек треба пратити.
У вези са овим: