검색 엔진 순위를 잃을 위험이 있나요? 모든 것이 괜찮아 보이는데 더 이상 Google 순위가 표시되지 않나요?

지난 며칠 동안 저는 걱정스러운 점을 발견했습니다. 가장 최근 기사가 더 이상 Google 뉴스에 색인화되지 않고 Google Discover의 트래픽이 꾸준히 감소하고 있다는 것입니다. 물론 그러한 발전이 당신을 무관심하게 만들지는 않습니다. 다양한 가정이 내 마음 속에 맴돌았지만 나는 그것을 제쳐두고 문제에 합리적으로 접근하기로 결정했습니다.

내 페이지를 Google에 수동으로 제출하면 즉시 색인이 생성되어 표시됩니다. 그러나 기다려도 아무 일도 일어나지 않았습니다. 나는 이틀에 걸쳐 이 현상을 관찰했다. 그래서 원인을 철저히 조사해야 할 때였습니다.

1단계: 최근 변경사항 검토

먼저 나는 스스로에게 물었다. 웹사이트에서 마지막으로 편집된 것은 무엇이었는가? 가능한 오류 원인을 좁히려면 최근 변경 사항을 식별하는 것이 중요합니다. 내 경우에는 최근 캐싱 시스템을 재작업했습니다.

2단계: 숨겨진 오류 또는 사고의 오류 식별

캐싱 점검으로 인해 의도하지 않은 부작용이 발생할 수 있습니다. 생각에 숨겨진 오류나 오류가 있습니까? 나는 새로운 설정을 확인하고 가능한 충돌을 찾기 시작했습니다.

3단계: 원인 찾기

자세한 분석 후 범인을 발견했습니다. 내 보안 구성의 새로운 봇 정의가 훌륭한 작업을 수행했지만 불행히도 너무 잘 수행되었습니다. 요즘 인터넷에는 수많은 봇이 돌아다니는데, 서버 부하를 줄이기 위해 불필요한 봇을 차단하는 경우가 많습니다. 그러나 Googlebot은 무엇보다도 '불필요한 봇' 카테고리에 잘못 배치되었습니다. 작은 실수가 큰 결과를 가져옵니다.

Microsoft Bing 웹마스터 도구의 참고 사항

내 의심은 Bing 웹마스터 도구의 보고서를 통해 확인되었습니다.

• “최근 게시된 중요한 페이지 중 일부가 IndexNow를 통해 제출되지 않았습니다. IndexNow를 통해 제출하는 것이 왜 중요한지 알아보세요.”
• 중요한 새 페이지 중 일부가 사이트맵에 포함되어 있지 않습니다.”**

Google Search Console에서는 콘텐츠가 없는 페이지도 색인이 생성되고 있다는 사실을 나에게 지적했습니다. 이러한 단서는 검색 엔진이 내 콘텐츠에 액세스하는 데 문제가 있음을 분명히 보여주었습니다.

결론

깨달음은 정신이 번쩍 들었습니다. Google이 볼 수 없는 페이지가 보입니다. 검색 엔진이 내 페이지를 캡처하려면 해당 봇이 방해받지 않고 액세스할 수 있어야 합니다. Googlebot이 차단되면 내 콘텐츠는 계속 표시되지 않습니다.

Googlebot이 보는 내용을 어떻게 확인하나요?

Googlebot이 내 웹사이트를 올바르게 크롤링할 수 있도록 Googlebot의 관점에서 페이지를 보고 싶었습니다. Googlebot처럼 웹사이트를 방문하는 방법에는 여러 가지가 있습니다.

1. 구글 크롬 개발자 도구 사용법

간단한 방법은 Google Chrome의 개발자 도구를 사용하는 것입니다.

• 개발자 도구를 엽니다. `Ctrl + Shift + I`(Windows) 또는 `Cmd + Shift + I`(Mac)를 누릅니다.
• 네트워크 탭으로 전환하세요. 모든 네트워크 활동이 여기에 표시됩니다.
• 사용자 에이전트 사용자 정의: 오른쪽 상단에 있는 세 개의 점을 클릭하고 "추가 도구"를 선택한 다음 "네트워크 조건"을 선택합니다. '사용자 에이전트 자동 선택' 옵션을 선택 취소하고 목록에서 'Googlebot'을 선택하세요.
• 페이지 새로고침: 새로고침하면 Googlebot이 보는 대로 페이지가 표시됩니다.

이 방법을 사용하면 잠재적인 렌더링 문제나 차단된 리소스를 식별할 수 있습니다.

2. 사용자 에이전트 전환기 사용

또는 "User-Agent Switcher"와 같은 브라우저 확장을 사용할 수 있습니다.

• 확장 프로그램 설치: Chrome 웹 스토어에서 User-Agent Switcher를 검색하여 설치하세요.
• Googlebot을 사용자 에이전트로 선택: 설치 후 원하는 사용자 에이전트를 선택할 수 있습니다.
• 웹사이트 방문: 이제 Googlebot의 관점에서 페이지가 표시됩니다.

이는 빠른 테스트에 특히 유용하며 여러 사용자 에이전트 간에 자주 전환하려는 경우에 유용합니다.

3. Screaming Frog SEO 스파이더 사용하기

"Screaming Frog SEO Spider"는 보다 심층적인 분석에 적합합니다.

• 사용자 에이전트 맞춤설정: 구성 > 사용자 에이전트로 이동하여 Googlebot을 선택하세요.
• 크롤링 프로세스 시작: 도구는 웹사이트를 크롤링하고 Googlebot이 이를 어떻게 보는지 표시합니다.
• 결과 분석: 발생 가능한 크롤링 문제 또는 차단된 리소스를 식별합니다.

이 도구는 대규모 웹사이트와 상세한 SEO 감사에 이상적입니다.

4. Google 검색 콘솔 사용

Google Search Console은 또한 다음과 같은 귀중한 통찰력을 제공합니다.

• URL 확인: 원하는 URL을 입력하고 라이브 테스트를 시작합니다.
• 결과 분석: 해당 페이지의 색인이 생성되었는지, 크롤링에 문제가 있는지 확인할 수 있습니다.
• Fetch like Google: 이 기능을 사용하면 Googlebot이 페이지를 렌더링하는 방법을 확인할 수 있습니다.

이는 봇이 페이지를 올바르게 캡처하는 것을 방해할 수 있는 특정 문제를 식별하는 데 도움이 됩니다.

문제에 대한 해결책

이러한 도구를 사용하여 Googlebot이 실제로 차단되었음을 확인할 수 있었습니다. 문제를 해결하기 위해 다음 단계를 수행했습니다.

1. 봇 정의 조정

Googlebot 및 기타 주요 검색 엔진 봇을 더 이상 차단하지 않도록 보안 구성을 업데이트했습니다.

2. robots.txt 확인

파일에 액세스를 제한하는 지침이 포함되어 있지 않은지 확인했습니다.

3. 사이트맵 업데이트

사이트맵이 갱신되어 웹마스터 도구에 제출되었습니다.

4. 모니터링

다음 며칠 동안 저는 모든 것이 다시 원활하게 돌아가는지 확인하기 위해 인덱싱과 트래픽을 모니터링했습니다.

미래를 위한 예방 조치

앞으로 이러한 문제를 방지하기 위해 저는 몇 가지 결심을 했습니다.

• 보안 구성을 정기적으로 검토합니다. 각 변경 후에는 웹 사이트 기능에 미치는 영향을 확인해야 합니다.
• 지속적인 모니터링: Google Search Console과 같은 도구를 사용하면 문제를 조기에 식별하는 데 도움이 됩니다.
• 변경 사항에 대한 명확한 문서화: 오류 발생 시 보다 신속하게 대응할 수 있도록 웹사이트에 대한 모든 조정 사항을 문서화해야 합니다.
• 교육: 검색 엔진과 해당 봇의 작동 방식을 더 잘 이해하면 구성 오류를 방지하는 데 도움이 됩니다.

그로부터 얻은 지식

더 잘 알고 캐시를 편집할 때 주의해야 한다는 것을 기억했어야 했습니다. 그러나 여기서 작전상의 맹목성이 큰 타격을 입었습니다. 문제를 식별하고, 해결하고, 바로잡고 더욱 주의 깊게 계속했습니다.

기술적인 오류는 웹사이트의 가시성에 심각한 영향을 미칠 수 있습니다. 제 경우에는 잘못 구성된 봇 정의로 인해 Googlebot이 차단되어 내 콘텐츠의 색인 생성이 중단되었습니다.

깨달음: 작은 변화라도 큰 결과를 초래할 수 있습니다.

체계적인 문제 해결과 적절한 도구의 사용을 통해 문제를 식별하고 해결할 수 있었습니다. 검색 엔진이 귀하의 웹사이트를 어떻게 인식하는지 정기적으로 확인하는 것이 중요합니다.

내 경험이 다른 웹마스터가 비슷한 문제를 피하거나 더 빨리 해결하는 데 도움이 되기를 바랍니다. 검색 엔진의 가시성은 웹 사이트의 성공에 매우 중요하므로 기술적인 조건을 항상 염두에 두어야 합니다.

적합:

• AIS 인공지능 검색 블로그 / KIS - AI 검색 / NEO SEO = NSEO(차세대 검색 엔진 최적화)
• AIS(인공지능 검색) 및 차세대 SEO – 독일어에서는 CKKK라고 합니다. "콘텐츠는 왕이지만 맥락은 황제입니다."