Existe o risco de perder classificações nos mecanismos de pesquisa? Não há mais classificações no Google, embora tudo pareça bem? – Imagem: Xpert.Digital
Resolva racionalmente o problema de indexação do mecanismo de pesquisa - o que está por trás disso desta vez?
Nos últimos dias, percebi algo preocupante: meus artigos mais recentes não estavam mais sendo indexados no Google Notícias e o tráfego do Google Discover diminuía constantemente. É claro que tais desenvolvimentos não o deixam indiferente. Várias suposições malucas passaram pela minha cabeça, mas decidi deixá-las de lado e abordar o problema de forma racional.
Quando enviei manualmente minhas páginas ao Google, elas foram imediatamente indexadas e exibidas. Porém, se eu esperasse, nada aconteceu. Observei esse fenômeno durante dois dias. Então era hora de uma busca completa pela causa.
Etapa 1: revise as alterações recentes
Primeiro me perguntei: Qual foi a última coisa que foi editada no site? É essencial identificar alterações recentes para restringir possíveis fontes de erro. No meu caso, recentemente reformulei o sistema de cache.
Passo 2: Identifique erros ocultos ou erros de pensamento
A revisão do cache pode ter efeitos colaterais indesejados. Existem erros ocultos ou erros de pensamento? Comecei a verificar as novas configurações e procurar possíveis conflitos.
Etapa 3: Encontre a causa
Após uma análise detalhada, descobri o culpado: uma nova definição de bot em minha configuração de segurança fez um ótimo trabalho – infelizmente, muito bem. Hoje em dia, inúmeros bots percorrem a Internet e, para reduzir a carga do servidor, bots desnecessários são frequentemente bloqueados. No entanto, o Googlebot, entre todas as coisas, foi erroneamente colocado na categoria de “bots desnecessários”. Um pequeno descuido com grandes consequências.
Notas das Ferramentas do Microsoft Bing para webmasters
Minhas suspeitas foram confirmadas por relatórios das Ferramentas do Google para webmasters:
- “Algumas de suas páginas importantes publicadas recentemente não foram enviadas por meio do IndexNow. Descubra por que é importante enviar por meio do IndexNow.”
- Algumas de suas novas páginas importantes não estão incluídas em seus sitemaps.”**
O Google Search Console também me apontou que páginas sem conteúdo estavam sendo indexadas. Essas pistas mostraram claramente que os mecanismos de busca estavam tendo problemas para acessar meu conteúdo.
conclusão
A constatação foi preocupante: vejo páginas que o Google não vê. Para que os motores de busca capturem minhas páginas, seus bots devem ter acesso irrestrito. Se o Googlebot for bloqueado, meu conteúdo permanecerá invisível.
Como você verifica o que o Googlebot vê?
Para garantir que o Googlebot possa rastrear meu site corretamente, eu queria visualizar as páginas sob sua perspectiva. Existem vários métodos para visitar um site da mesma forma que o Googlebot.
1. Como usar as ferramentas para desenvolvedores do Google Chrome
Um método simples é usar as ferramentas de desenvolvedor do Google Chrome:
- Abra as ferramentas do desenvolvedor: pressione `Ctrl + Shift + I` (Windows) ou `Cmd + Shift + I` (Mac).
- Mude para a guia Rede: toda a atividade da rede é exibida aqui.
- Personalização do agente do usuário: Clique nos três pontos no canto superior direito, selecione “Mais ferramentas” e depois “Condições de rede”. Desmarque a opção “Selecionar agente de usuário automaticamente” e selecione “Googlebot” na lista.
- Recarregar página: recarregar exibe a página como o Googlebot a vê.
Este método permite identificar potenciais problemas de renderização ou recursos bloqueados.
2. Uso de um alternador de agente de usuário
Alternativamente, uma extensão de navegador como o “User-Agent Switcher” pode ser usada:
- Instalando a extensão: Pesquise User-Agent Switcher na Chrome Web Store e instale-o.
- Selecionando o Googlebot como agente do usuário: após a instalação, você pode selecionar o agente do usuário desejado.
- Visitando o site: a página agora é exibida da perspectiva do Googlebot.
Isso é particularmente útil para testes rápidos e se você deseja alternar frequentemente entre diferentes agentes de usuário.
3. Usando o Screaming Frog SEO Spider
O “Screaming Frog SEO Spider” é adequado para análises mais aprofundadas:
- Personalização do agente do usuário: vá para Configuração > Agente do usuário e selecione Googlebot.
- Iniciando o processo de rastreamento: a ferramenta rastreia o site e mostra como o Googlebot o vê.
- Analise os resultados: identifique possíveis problemas de rastreamento ou recursos bloqueados.
Esta ferramenta é ideal para grandes sites e auditorias detalhadas de SEO.
4. Usando o Google Search Console
O Google Search Console também fornece informações valiosas:
- Verificação de URL: Insira o URL desejado e inicie o teste ao vivo.
- Analise os resultados: você pode ver se a página está indexada e se há problemas de rastreamento.
- Buscar como o Google: este recurso permite que você veja como o Googlebot renderiza a página.
Isso ajuda a identificar problemas específicos que podem impedir o bot de capturar a página corretamente.
solução para o problema
Usando essas ferramentas, consegui confirmar que o Googlebot estava realmente bloqueado. Para corrigir o problema, executei as seguintes etapas:
1. Ajuste das definições do bot
Atualizei a configuração de segurança para não bloquear mais o Googlebot e outros bots de mecanismos de pesquisa importantes.
2. Verificando robots.txt
Certifiquei-me de que o arquivo não contém instruções que restrinjam o acesso.
3. Atualizações do mapa do site
Os sitemaps foram renovados e enviados às Ferramentas do Google para webmasters.
4. Monitoramento
Nos dias seguintes, monitorei a indexação e o tráfego para ter certeza de que tudo estava funcionando perfeitamente novamente.
Medidas preventivas para o futuro
Para evitar tais problemas no futuro, tomei algumas resoluções:
- Revise regularmente as configurações de segurança: Após cada alteração, o impacto na funcionalidade do site deve ser verificado.
- Monitoramento contínuo: o uso de ferramentas como o Google Search Console ajuda a identificar problemas antecipadamente.
- Documentação clara das alterações: Todos os ajustes no site devem ser documentados para poder reagir mais rapidamente em caso de erro.
- Treinamento: Uma melhor compreensão de como funcionam os mecanismos de busca e seus bots ajuda a evitar configurações incorretas.
O conhecimento dele
Eu deveria saber melhor e lembrar de ter cuidado ao editar o cache. Mas a cegueira operacional atingiu duramente aqui. Problema identificado, resolvido, corrigido e continuado com mais atenção.
Erros técnicos podem ter um impacto significativo na visibilidade de um site. No meu caso, uma definição de bot mal configurada fez com que o Googlebot fosse bloqueado, o que interrompeu a indexação do meu conteúdo.
A constatação: mesmo pequenas mudanças podem ter grandes consequências.
Através da solução sistemática de problemas e do uso de ferramentas apropriadas, consegui identificar e resolver o problema. É essencial verificar regularmente como os motores de busca percebem o seu site.
Espero que minhas experiências ajudem outros webmasters a evitar problemas semelhantes ou a resolvê-los mais rapidamente. A visibilidade nos motores de busca é crucial para o sucesso de um site, por isso a condição técnica deve ser sempre considerada.
Adequado para: