Riscați să vă pierdeți clasamentul în motoarele de căutare? Nu mai aveți clasamente Google, chiar dacă totul pare a fi în ordine?

În ultimele zile, am observat ceva îngrijorător: ultimele mele articole nu mai erau indexate în Google News, iar traficul de pe Google Discover era în continuă scădere. Bineînțeles, astfel de evoluții nu te lasă indiferent. Mi-au trecut prin minte diverse presupuneri nebunești, dar am decis să le las deoparte și să abordez problema rațional.

Când am trimis manual paginile mele către Google, acestea au fost indexate și afișate imediat. Totuși, dacă am așteptat, nu s-a întâmplat nimic. Am observat acest fenomen timp de două zile. Așa că a venit momentul pentru o investigație amănunțită a cauzei.

Pasul 1: Revizuirea modificărilor recente

Mai întâi, m-am întrebat: Care a fost ultima modificare pe site? Identificarea modificărilor recente este esențială pentru a restrânge potențialele surse de eroare. În cazul meu, am revizuit recent sistemul de caching.

Pasul 2: Identificați erorile ascunse sau raționamentul eronat

Revizuirea sistemului de cache ar putea avea efecte secundare neintenționate. Există erori ascunse sau defecte în raționament? Am început să revizuiesc noile setări și să caut potențiale conflicte.

Pasul 3: Găsiți cauza

După o analiză amănunțită, am descoperit vinovatul: o nouă definiție a botului din configurația mea de securitate își făcuse treaba – din păcate, prea bine. În zilele noastre, nenumărați boți cutreieră internetul, iar pentru a reduce încărcarea serverului, boții inutili sunt adesea blocați. Cu toate acestea, Googlebot a fost clasificat în mod eronat drept „bot inutil”. O mică omisiune cu consecințe majore.

Note din Instrumentele Microsoft Bing pentru webmasteri

Suspiciunea mea a fost confirmată de rapoartele de la Bing Webmaster Tools:

• „Unele dintre paginile importante publicate recent nu au fost trimise prin IndexNow. Află de ce este important să le trimiți prin IndexNow.”
• Unele dintre paginile noi importante nu sunt incluse în sitemap-urile dvs

Google Search Console m-a alertat și că paginile fără conținut erau indexate. Acești indicatori arătau clar că motoarele de căutare aveau probleme în a accesa conținutul meu.

concluzie

Realizarea a fost derutantă: văd pagini pe care Google nu le vede. Pentru ca motoarele de căutare să-mi indexeze paginile, roboții lor au nevoie de acces nerestricționat. Dacă Googlebot este blocat, conținutul meu rămâne invizibil.

Cum verifici ce vede Googlebot-ul?

Pentru a mă asigura că Googlebot poate accesa corect site-ul meu web, am vrut să văd paginile din perspectiva sa. Există mai multe metode de a vizita un site web așa cum o face Googlebot.

1. Utilizarea instrumentelor pentru dezvoltatori Google Chrome

O metodă simplă este să utilizați instrumentele pentru dezvoltatori din Google Chrome:

• Pentru a deschide instrumentele pentru dezvoltatori: Apăsați `Ctrl + Shift + I` (Windows) sau `Cmd + Shift + I` (Mac).
• Comutați la fila Rețea: Aici veți vedea toată activitatea rețelei.
• Pentru a ajusta agentul utilizator: Faceți clic pe cele trei puncte din colțul din dreapta sus, selectați „Mai multe instrumente” și apoi „Condiții rețea”. Dezactivați opțiunea „Selectare automată a agentului utilizator” și selectați „Googlebot” din listă.
• Reîncărcarea paginii: Reîncărcarea paginii o afișează așa cum o vede Googlebot.

Această metodă permite identificarea potențialelor probleme de randare sau a resurselor blocate.

2. Utilizarea unui comutator utilizator-agent

Alternativ, se poate utiliza o extensie de browser, cum ar fi „User-Agent Switcher”:

• Pentru a instala extensia: Căutați „User-Agent Switcher” în Magazinul web Chrome și instalați-o.
• Selectarea Googlebot ca agent utilizator: După instalare, puteți selecta agentul utilizator dorit.
• Vizitarea site-ului web: Pagina este acum afișată din perspectiva Googlebot-ului.

Acest lucru este util în special pentru teste rapide și atunci când doriți să comutați frecvent între diferiți agenți utilizator.

3. Utilizarea păianjenului SEO Screaming Frog

Pentru analize mai aprofundate, „Screaming Frog SEO Spider” este potrivit:

• Ajustarea utilizatorului-agent: Accesați „Configurare > Utilizator-agent” și selectați Googlebot.
• Începutul procesului de accesare cu crawlere: Instrumentul caută pe site și arată cum îl vede Googlebot.
• Analiza rezultatelor: Identificați potențialele probleme de accesare cu crawlere sau resursele blocate.

Acest instrument este ideal pentru site-uri web mari și audituri SEO detaliate.

4. Utilizarea Google Search Console

Google Search Console oferă, de asemenea, informații valoroase:

• Verificare URL: Introduceți URL-ul dorit și porniți testul live.
• Analizați rezultatele: Puteți vedea dacă pagina este indexată și dacă există probleme la accesarea acesteia cu crawlere.
• Preluare ca Google: Această funcție vă permite să vedeți cum redă Googlebot pagina.

Acest lucru ajută la identificarea problemelor specifice care ar putea împiedica botul să acceseze corect pagina cu crawlere.

Soluția la problemă

Folosind aceste instrumente, am putut confirma că Googlebot a fost într-adevăr blocat. Pentru a rezolva problema, am urmat următorii pași:

1. Ajustarea definițiilor botului

Am actualizat configurația de securitate astfel încât Googlebot și alți roboți importanți ai motoarelor de căutare să nu mai fie blocați.

2. Verificați fișierul robots.txt

M-am asigurat că fișierul nu conținea nicio instrucțiune care ar restricționa accesul.

3. Actualizarea sitemap-urilor

Hărțile site-ului au fost actualizate și trimise către Instrumentele pentru webmasteri.

4. Monitorizare

În zilele următoare, am monitorizat indexarea și traficul pentru a mă asigura că totul funcționează din nou fără probleme.

Măsuri preventive pentru viitor

Pentru a evita astfel de probleme pe viitor, mi-am luat câteva rezoluții:

• Revizuirea regulată a configurațiilor de securitate: După fiecare modificare, trebuie verificat impactul asupra funcționalității site-ului web.
• Monitorizare continuă: Utilizarea instrumentelor precum Google Search Console ajută la identificarea timpurie a problemelor.
• Documentație clară a modificărilor: Toate modificările aduse site-ului web ar trebui documentate pentru a putea reacționa mai rapid în caz de erori.
• Instruire: O mai bună înțelegere a modului în care funcționează motoarele de căutare și roboții acestora ajută la evitarea configurărilor greșite.

Perspectiva din aceasta

Ar fi trebuit să știu mai bine și să fiu mai atent când am procesat memoria cache. Dar viziunea mea superficială a prins cu adevărat rădăcini. Problema a fost identificată, rezolvată, remediată și voi continua cu mai multă atenție.

Erorile tehnice pot afecta semnificativ vizibilitatea unui site web. În cazul meu, o definiție greșită a botului a cauzat blocarea Googlebot-ului, împiedicând indexarea conținutului meu.

Concluzia: Chiar și schimbările mici pot avea consecințe majore.

Prin depanare sistematică și utilizarea instrumentelor adecvate, am reușit să identific și să rezolv problema. Este esențial să verificați în mod regulat modul în care motoarele de căutare percep site-ul dvs. web.

Sper că experiențele mele îi vor ajuta pe alți webmasteri să evite sau să rezolve probleme similare mai rapid. Vizibilitatea în motoarele de căutare este crucială pentru succesul unui site web, așa că starea sa tehnică ar trebui monitorizată întotdeauna.

Legat de asta:

• Blog pentru căutarea prin inteligență artificială AIS / KIS – Căutare AI / NEO SEO = NSEO (Optimizare pentru motoarele de căutare de generație următoare)
• AIS (Căutare prin Inteligență Artificială) și SEO de Generație Următoare – În germană, spunem CKKK: „Conținutul este rege, dar contextul este împărat”