Kas teie otsingumootori edetabel on ohus? Google'i edetabelit pole enam, kuigi kõik tundub korras olevat? – Pilt: Xpert.Digital
Otsingumootorite indekseerimise probleemi ratsionaalne lahendus – mis selle taga seekord on?
Viimaste päevade jooksul märkasin midagi murettekitavat: minu uusimaid artikleid enam Google Newsis ei indekseeritud ja Google Discoveri külastatavus vähenes pidevalt. Loomulikult ei jäta sellised arengud kedagi ükskõikseks. Mu peas keerlesid mitmesugused metsikud oletused, kuid otsustasin need kõrvale jätta ja probleemile ratsionaalselt läheneda.
Kui ma oma lehed käsitsi Google'ile esitasin, indekseeriti ja kuvati need kohe. Kui ma aga ootasin, ei juhtunud midagi. Jälgisin seda nähtust kaks päeva. Seega oli aeg põhjalikuks uurimiseks, mis selle põhjust välja selgitas.
1. samm: Viimaste muudatuste ülevaade
Esmalt küsisin endalt: mis oli veebisaidil viimati muudetud? Hiljutiste muudatuste tuvastamine on oluline võimalike veaallikate kitsendamiseks. Minu puhul olin hiljuti vahemällu salvestamise süsteemi läbi vaadanud.
2. samm: tuvastage varjatud vead või vigane arutluskäik
Vahemälu uuendamisel võivad olla soovimatud kõrvalmõjud. Kas arutluskäigus on mingeid varjatud vigu või puudujääke? Hakkasin uusi sätteid üle vaatama ja võimalikke konflikte otsima.
3. samm: leidke põhjus
Pärast põhjalikku analüüsi avastasin süüdlase: uus botide definitsioon minu turvakonfiguratsioonis oli oma töö teinud – kahjuks liiga hästi. Tänapäeval hulkub internetis lugematu arv botte ja serveri koormuse vähendamiseks blokeeritakse ebavajalikud botid sageli. Googlebot oli aga ekslikult liigitatud "mittevajalikuks botiks". Väike möödalaskmine suurte tagajärgedega.
Märkmed Microsoft Bingi veebimeistri tööriistadest
Minu kahtlust kinnitasid Bing Webmaster Toolsi aruanded:
- „Mõned teie hiljuti avaldatud olulised lehed ei ole IndexNow kaudu esitatud. Uurige välja, miks on oluline need IndexNow kaudu esitada.“
- Mõned teie olulised uued lehed ei ole teie saidikaartidele lisatud.
Google Search Console hoiatas mind ka sisuta lehtede indekseerimise eest. Need näitajad näitasid selgelt, et otsingumootoritel oli minu sisule juurdepääsuga probleeme.
järeldus
See arusaam oli kainestav: ma näen lehti, mida Google ei näe. Selleks, et otsingumootorid saaksid minu lehti indekseerida, vajavad nende robotid piiramatut juurdepääsu. Kui Googlebot on blokeeritud, jääb minu sisu nähtamatuks.
Kuidas kontrollida, mida Googlebot näeb?
Selleks, et Googlebot saaks minu veebisaiti õigesti indekseerida, tahtsin lehti vaadata Googlebot'i vaatenurgast. Veebisaidi külastamiseks on mitu võimalust, nagu Googlebot seda teeb.
1. Google Chrome'i arendajatööriistade kasutamine
Üks lihtne meetod on kasutada Google Chrome'i arendustööriistu:
- Arendaja tööriistade avamiseks vajutage klahvikombinatsiooni `Ctrl + Shift + I` (Windows) või `Cmd + Shift + I` (Mac).
- Lülitu vahekaardile Võrk: siin näed kogu võrgutegevust.
- Kasutajaagendi kohandamiseks klõpsake paremas ülanurgas kolme punkti ikooni, valige „Rohkem tööriistu“ ja seejärel „Võrgutingimused“. Keelake valik „Vali kasutajaagent automaatselt“ ja valige loendist „Googlebot“.
- Laadi leht uuesti: Lehe uuesti laadimisel kuvatakse see nii, nagu Googlebot seda näeb.
See meetod võimaldab tuvastada võimalikke renderdamisprobleeme või blokeeritud ressursse.
2. Kasutajaagendi vahetaja kasutamine
Teise võimalusena saab kasutada brauserilaiendit, näiteks „User-Agent Switcher”:
- Laienduse installimiseks otsige Chrome'i veebipoest üles „User-Agent Switcher” ja installige see.
- Googleboti valimine kasutajaagendiks: Pärast installimist saate valida soovitud kasutajaagendi.
- Veebisaidi külastamine: Lehte kuvatakse nüüd Googleboti vaatenurgast.
See on eriti kasulik kiirtestide puhul ja kui soovite sageli erinevate kasutajaagentide vahel vahetada.
3. Karjuva konna SEO ämbliku kasutamine
Põhjalikumate analüüside jaoks sobib „Screaming Frog SEO Spider”:
- Kasutajaagendi kohandamine: minge jaotisse „Konfiguratsioon > Kasutajaagent“ ja valige Googlebot.
- Indekseerimisprotsessi algus: tööriist otsib veebisaidilt ja näitab, kuidas Googlebot seda näeb.
- Tulemuste analüüs: tuvastage võimalikud indekseerimisprobleemid või blokeeritud ressursid.
See tööriist sobib ideaalselt suurte veebisaitide ja detailsete SEO-auditite jaoks.
4. Google'i otsingukonsooli kasutamine
Google Search Console pakub samuti väärtuslikku teavet:
- URL-i kontroll: sisestage soovitud URL ja alustage reaalajas testi.
- Tulemuste analüüsimine: Saate näha, kas leht on indekseeritud ja kas selle indekseerimisel on probleeme.
- Fetch as Google does: See funktsioon võimaldab teil näha, kuidas Googlebot lehte renderdab.
See aitab tuvastada konkreetseid probleeme, mis võivad takistada robotil lehte õigesti indekseerimast.
Probleemi lahendus
Nende tööriistade abil sain kinnitada, et Googlebot oli tõepoolest blokeeritud. Probleemi lahendamiseks astusin järgmised sammud:
1. Botide definitsioonide kohandamine
Värskendasin turvakonfiguratsiooni nii, et Googlebot ja teised olulised otsingumootori robotid pole enam blokeeritud.
2. Kontrollige robots.txt faili
Veendusin, et fail ei sisaldanud ligipääsu piiravaid juhiseid.
3. Saidikaartide värskendamine
Saidikaardid on uuendatud ja veebimeistri tööriistadesse edastatud.
4. Jälgimine
Järgmistel päevadel jälgisin indekseerimist ja liiklust, et veenduda, kas kõik sujub jälle ladusalt.
Ennetavad meetmed tulevikuks
Selliste probleemide vältimiseks tulevikus olen teinud mõned otsused:
- Turvakonfiguratsioonide regulaarne ülevaatamine: Pärast iga muudatust tuleks kontrollida selle mõju veebisaidi funktsionaalsusele.
- Pidev jälgimine: Selliste tööriistade nagu Google Search Console kasutamine aitab probleeme varakult tuvastada.
- Muudatuste selge dokumenteerimine: Kõik veebisaidi muudatused tuleks dokumenteerida, et vigade korral oleks võimalik kiiremini reageerida.
- Koolitus: Otsimootorite ja nende robotite toimimise parem mõistmine aitab vältida valekonfiguratsioone.
Sellest saadud ülevaade
Oleksin pidanud aarete töötlemisel paremini teadma ja ettevaatlikum olema. Aga mu tunnelinägemine võttis võimust. Probleem tuvastati, lahendati, taastati ja jätkan tähelepanelikumalt.
Tehnilised vead võivad veebisaidi nähtavust oluliselt mõjutada. Minu puhul blokeeris Google'i boti valesti konfigureeritud definitsioon selle, mis takistas minu sisu indekseerimist.
Mõistmine: Isegi väikestel muudatustel võivad olla suured tagajärjed.
Süstemaatilise tõrkeotsingu ja sobivate tööriistade abil suutsin probleemi tuvastada ja lahendada. Oluline on regulaarselt kontrollida, kuidas otsingumootorid teie veebisaiti tajuvad.
Loodan, et minu kogemused aitavad teistel veebimeistritel sarnaseid probleeme vältida või kiiremini lahendada. Otsingumootori nähtavus on veebisaidi edu jaoks ülioluline, seega tuleks selle tehnilist seisukorda alati jälgida.
Sobib selleks: