Er du i fare for at miste din placering i søgemaskinerne? Ingen flere Google-placeringer, selvom alt ser ud til at være i orden?

I løbet af de sidste par dage har jeg bemærket noget bekymrende: Mine seneste artikler blev ikke længere indekseret i Google Nyheder, og trafikken fra Google Discover faldt støt. Naturligvis lader sådanne udviklinger én ikke ubemærket. Diverse vilde gæt farede gennem mit hoved, men jeg besluttede at lægge dem til side og gribe problemet rationelt an.

Da jeg manuelt indsendte mine sider til Google, blev de indekseret og vist med det samme. Men hvis jeg ventede, skete der ingenting. Jeg observerede dette fænomen i to dage. Så det var tid til en grundig undersøgelse af årsagen.

Trin 1: Gennemgang af de seneste ændringer

Først spurgte jeg mig selv: Hvad var det sidste, der blev ændret på hjemmesiden? Det er vigtigt at identificere de seneste ændringer for at indsnævre potentielle fejlkilder. I mit tilfælde havde jeg for nylig revideret caching-systemet.

Trin 2: Identificer skjulte fejl eller mangelfuld argumentation

Overhalingen af ​​cachen kan have utilsigtede bivirkninger. Er der nogen skjulte fejl eller mangler i ræsonnementet? Jeg begyndte at gennemgå de nye indstillinger og lede efter potentielle konflikter.

Trin 3: Find årsagen

Efter en grundig analyse opdagede jeg synderen: En ny botdefinition i min sikkerhedskonfiguration havde gjort sit arbejde – desværre alt for godt. I disse dage strejfer utallige bots rundt på internettet, og for at reducere serverbelastningen blokeres unødvendige bots ofte. Googlebotten var dog fejlagtigt blevet kategoriseret som en "unødvendig bot". En lille forglemmelse med store konsekvenser.

Noter fra Microsoft Bing Webmaster Tools

Min mistanke blev bekræftet af rapporter fra Bing Webmaster Tools:

• "Nogle af dine nyligt offentliggjorte vigtige sider blev ikke indsendt via IndexNow. Find ud af, hvorfor det er vigtigt at indsende dem via IndexNow."
• Nogle af dine vigtige nye sider er ikke inkluderet i dine sitemaps.**

Google Search Console advarede mig også om, at sider uden indhold blev indekseret. Disse indikatorer viste tydeligt, at søgemaskiner havde problemer med at få adgang til mit indhold.

konklusion

Erkendelsen var tankevækkende: Jeg ser sider, som Google ikke ser. For at søgemaskiner kan indeksere mine sider, har deres bots brug for ubegrænset adgang. Hvis Googlebotten er blokeret, forbliver mit indhold usynligt.

Hvordan tjekker man, hvad Googlebotten ser?

For at sikre, at Googlebot kan gennemgå mit websted korrekt, ville jeg gerne se siderne fra dets perspektiv. Der er flere metoder til at besøge et websted på samme måde som Googlebot gør.

1. Brug af Google Chrome-udviklerværktøjerne

En simpel metode er at bruge Google Chromes udviklerværktøjer:

• Sådan åbner du udviklerværktøjerne: Tryk på `Ctrl + Shift + I` (Windows) eller `Cmd + Shift + I` (Mac).
• Skift til fanen Netværk: Her kan du se al netværksaktivitet.
• Sådan justerer du brugeragenten: Klik på de tre prikker i øverste højre hjørne, vælg "Flere værktøjer" og derefter "Netværksforhold". Deaktiver indstillingen "Vælg automatisk brugeragent", og vælg "Googlebot" fra listen.
• Genindlæs side: Når siden genindlæses, vises den, som Googlebotten ser den.

Denne metode gør det muligt at identificere potentielle gengivelsesproblemer eller blokerede ressourcer.

2. Brug af en brugeragentskifter

Alternativt kan en browserudvidelse som f.eks. "User-Agent Switcher" bruges:

• Sådan installerer du udvidelsen: Søg efter "User-Agent Switcher" i Chrome Web Store, og installer den.
• Valg af Googlebot som brugeragent: Efter installationen kan du vælge den ønskede brugeragent.
• Besøg af hjemmesiden: Siden vises nu fra Googlebottens perspektiv.

Dette er især nyttigt til hurtige tests, og når du ofte vil skifte mellem forskellige brugeragenter.

3. Brug af Screaming Frog SEO Spider

For mere dybdegående analyser er "Screaming Frog SEO Spider" egnet:

• Justering af brugeragent: Gå til “Konfiguration > Brugeragent”, og vælg Googlebot.
• Start af crawlprocessen: Værktøjet søger på webstedet og viser, hvordan Googlebotten ser det.
• Analyse af resultaterne: Identificer potentielle crawlingproblemer eller blokerede ressourcer.

Dette værktøj er ideelt til store hjemmesider og detaljerede SEO-revisioner.

4. Brug af Google Search Console

Google Search Console tilbyder også værdifuld indsigt:

• URL-kontrol: Indtast den ønskede URL, og start livetesten.
• Analysér resultater: Du kan se, om siden er indekseret, og om der er problemer med at gennemgå den.
• Hent som Google gør: Denne funktion giver dig mulighed for at se, hvordan Googlebot gengiver siden.

Dette hjælper med at identificere specifikke problemer, der kan forhindre botten i at gennemgå siden korrekt.

Løsning på problemet

Ved hjælp af disse værktøjer kunne jeg bekræfte, at Googlebotten faktisk var blokeret. For at løse problemet tog jeg følgende trin:

1. Justering af botdefinitionerne

Jeg har opdateret sikkerhedskonfigurationen, så Googlebot og andre vigtige søgemaskinebots ikke længere er blokeret.

2. Tjek robots.txt-filen

Jeg sørgede for, at filen ikke indeholdt instruktioner, der ville begrænse adgangen.

3. Opdatering af sitemaps

Sitemapsene er blevet opdateret og indsendt til Webmaster Tools.

4. Overvågning

I de følgende dage overvågede jeg indekseringen og trafikken for at sikre, at alt kørte problemfrit igen.

Forebyggende foranstaltninger for fremtiden

For at undgå den slags problemer i fremtiden, har jeg taget nogle beslutninger:

• Regelmæssig gennemgang af sikkerhedskonfigurationer: Efter hver ændring bør effekten på webstedets funktionalitet kontrolleres.
• Løbende overvågning: Brug af værktøjer som Google Search Console hjælper med at identificere problemer tidligt.
• Tydelig dokumentation af ændringer: Alle ændringer på hjemmesiden bør dokumenteres for at kunne reagere hurtigere i tilfælde af fejl.
• Træning: En bedre forståelse af, hvordan søgemaskiner og deres bots fungerer, hjælper med at undgå fejlkonfigurationer.

Indsigten fra dette

Jeg burde have vidst bedre og været mere forsigtig, da jeg behandlede cachen. Men mit tunnelsyn tog virkelig fat. Problemet er identificeret, løst, genoprettet, og jeg vil fortsætte med mere opmærksomt.

Tekniske fejl kan have betydelig indflydelse på et websteds synlighed. I mit tilfælde forårsagede en forkert konfigureret botdefinition, at Googlebot blev blokeret, hvilket forhindrede mit indhold i at blive indekseret.

Erkendelsen: Selv små ændringer kan have store konsekvenser.

Gennem systematisk fejlfinding og brug af passende værktøjer var jeg i stand til at identificere og løse problemet. Det er vigtigt regelmæssigt at kontrollere, hvordan søgemaskiner opfatter dit websted.

Jeg håber, at mine erfaringer vil hjælpe andre webmastere med at undgå eller løse lignende problemer hurtigere. Synlighed i søgemaskiner er afgørende for et websteds succes, så dets tekniske tilstand bør altid overvåges.

Relateret til dette:

• Blog om kunstig intelligens-søgning med AIS / KIS – AI-søgning / NEO SEO = NSEO (Næste generations søgemaskineoptimering)
• AIS (Artificial Intelligence Search) og Next Generation SEO – På tysk siger vi CKKK: "Indhold er konge, men kontekst er kejser"