검색 엔진 순위가 위험에 처했나요? 모든 것이 정상인 것처럼 보이는데도 구글 검색 순위가 더 이상 표시되지 않나요? – 이미지: Xpert.Digital
검색 엔진 색인 문제에 대한 합리적인 해결책 - 이번에는 무엇이 숨겨져 있을까요?
지난 며칠 동안 걱정스러운 점을 발견했습니다. 최근에 작성한 기사들이 더 이상 구글 뉴스에 색인되지 않고 있었고, 구글 디스커버를 통한 트래픽도 꾸준히 감소하고 있었습니다. 당연히 이런 상황은 무관심하게 넘길 수 없었습니다. 여러 가지 추측이 머릿속을 스쳐 지나갔지만, 일단은 그런 생각들을 접어두고 이성적으로 문제를 해결하기로 했습니다.
제가 직접 구글에 페이지를 제출했을 때는 바로 색인이 생성되어 검색 결과에 표시되었습니다. 하지만 기다려도 아무런 변화가 없었습니다. 이 현상을 이틀 동안 관찰한 결과, 원인을 철저히 조사해야겠다는 생각이 들었습니다.
1단계: 최근 변경 사항 검토
먼저, 웹사이트에서 마지막으로 변경된 사항은 무엇인지 자문해 보았습니다. 최근 변경 사항을 파악하는 것은 오류 발생 가능성을 좁히는 데 필수적입니다. 제 경우에는 최근에 캐싱 시스템을 개편했습니다.
2단계: 숨겨진 오류 또는 잘못된 추론을 파악합니다
캐싱 시스템 개편으로 인해 예상치 못한 부작용이 발생할 수 있습니다. 혹시 숨겨진 버그나 설계상의 결함은 없을까요? 새로운 설정들을 검토하면서 잠재적인 충돌 가능성을 찾아보고 있습니다.
3단계: 원인을 찾으세요
철저한 분석 끝에 원인을 발견했습니다. 보안 설정에 새로 추가된 봇 정의가 너무 과하게 작동했던 것입니다. 요즘 인터넷에는 수많은 봇이 활개치고 있는데, 서버 부하를 줄이기 위해 불필요한 봇은 차단되는 경우가 많습니다. 그런데 구글봇이 실수로 "불필요한 봇"으로 분류된 것입니다. 작은 실수가 큰 결과를 초래한 것이죠.
Microsoft Bing 웹마스터 도구의 참고 사항
빙 웹마스터 도구의 보고서를 통해 제 예상이 사실임이 확인되었습니다
- "최근에 게시된 중요한 페이지 중 일부가 IndexNow를 통해 제출되지 않았습니다. IndexNow를 통해 제출해야 하는 이유를 알아보세요."
- 새로 추가된 중요한 페이지 중 일부가 사이트맵에 포함되어 있지 않습니다.**
구글 서치 콘솔에서도 콘텐츠가 없는 페이지가 색인화되고 있다는 알림을 받았습니다. 이러한 지표들은 검색 엔진이 제 콘텐츠에 접근하는 데 어려움을 겪고 있음을 분명히 보여주었습니다.
결론
그 사실을 깨닫고 나니 정신이 번쩍 들었습니다. 제가 보는 페이지들을 구글은 볼 수 없다는 것을요. 검색 엔진이 제 페이지를 색인화하려면 검색 봇이 제한 없이 접근할 수 있어야 합니다. 구글봇이 차단되면 제 콘텐츠는 검색 결과에 나타나지 않게 됩니다.
구글봇이 무엇을 보는지 어떻게 확인할 수 있나요?
구글봇이 내 웹사이트를 정확하게 크롤링할 수 있도록, 구글봇의 관점에서 페이지를 보고 싶었습니다. 구글봇처럼 웹사이트를 방문하는 방법은 여러 가지가 있습니다.
1. Google Chrome 개발자 도구 사용하기
한 가지 간단한 방법은 Google Chrome의 개발자 도구를 사용하는 것입니다
- 개발자 도구를 열려면 Windows에서는 `Ctrl + Shift + I`를, Mac에서는 `Cmd + Shift + I`를 누르세요.
- 네트워크 탭으로 전환하세요. 여기에서 모든 네트워크 활동을 볼 수 있습니다.
- 사용자 에이전트를 조정하려면 오른쪽 상단의 점 세 개를 클릭하고 "도구 더보기"를 선택한 다음 "네트워크 조건"을 선택합니다. "사용자 에이전트 자동 선택" 옵션을 비활성화하고 목록에서 "Googlebot"을 선택합니다.
- 페이지 새로고침: 페이지를 새로고침하면 Googlebot이 보는 대로 페이지가 표시됩니다.
이 방법을 사용하면 잠재적인 렌더링 문제 또는 차단된 리소스를 식별할 수 있습니다.
2. 사용자 에이전트 전환기 사용
또는 "User-Agent Switcher"와 같은 브라우저 확장 프로그램을 사용할 수도 있습니다
- 확장 프로그램을 설치하려면 Chrome 웹 스토어에서 "User-Agent Switcher"를 검색하여 설치하세요.
- Googlebot을 사용자 에이전트로 선택하기: 설치 후 원하는 사용자 에이전트를 선택할 수 있습니다.
- 웹사이트 방문: 이제 페이지가 구글봇의 관점에서 표시됩니다.
이 기능은 빠른 테스트나 여러 사용자 에이전트 간에 자주 전환해야 할 때 특히 유용합니다.
3. 스크리밍 프로그 SEO 스파이더 사용하기
보다 심층적인 분석을 위해서는 "스크리밍 프로그 SEO 스파이더"가 적합합니다
- 사용자 에이전트 조정: "설정 > 사용자 에이전트"로 이동하여 Googlebot을 선택하세요.
- 크롤링 프로세스 시작: 이 도구는 웹사이트를 검색하고 Googlebot이 웹사이트를 어떻게 인식하는지 보여줍니다.
- 결과 분석: 잠재적인 크롤링 문제 또는 차단된 리소스를 식별합니다.
이 도구는 대규모 웹사이트 및 상세한 SEO 분석에 이상적입니다.
4. Google Search Console 사용하기
Google 검색 콘솔은 또한 유용한 정보를 제공합니다
- URL 확인: 원하는 URL을 입력하고 실시간 테스트를 시작하세요.
- 분석 결과: 페이지가 색인되었는지, 크롤링에 문제가 있는지 확인할 수 있습니다.
- 구글처럼 페이지를 불러오기: 이 기능을 사용하면 구글봇이 페이지를 어떻게 렌더링하는지 확인할 수 있습니다.
이는 봇이 페이지를 제대로 크롤링하는 것을 방해할 수 있는 특정 문제를 식별하는 데 도움이 됩니다.
문제 해결 방법
이러한 도구를 사용하여 Googlebot이 실제로 차단되었음을 확인할 수 있었습니다. 문제를 해결하기 위해 다음과 같은 단계를 수행했습니다
1. 봇 정의 조정
구글봇을 비롯한 주요 검색 엔진 봇들이 더 이상 차단되지 않도록 보안 설정을 업데이트했습니다.
2. robots.txt 파일을 확인하세요
파일에 접근을 제한하는 내용이 포함되지 않도록 확실히 했습니다.
3. 사이트맵 업데이트
사이트맵이 업데이트되어 웹마스터 도구에 제출되었습니다.
4. 모니터링
며칠 동안 인덱싱과 트래픽을 모니터링하여 모든 것이 다시 원활하게 작동하는지 확인했습니다.
미래를 위한 예방 조치
앞으로 이런 문제가 재발하지 않도록 몇 가지 결심을 세웠습니다
- 보안 설정에 대한 정기적인 검토: 변경 사항이 발생할 때마다 웹사이트 기능에 미치는 영향을 확인해야 합니다.
- 지속적인 모니터링: Google Search Console과 같은 도구를 사용하면 문제를 조기에 파악하는 데 도움이 됩니다.
- 변경 사항에 대한 명확한 문서화: 웹사이트의 모든 변경 사항은 오류 발생 시 더 신속하게 대응할 수 있도록 문서화되어야 합니다.
- 교육: 검색 엔진과 검색 봇의 작동 방식을 더 잘 이해하면 잘못된 설정을 방지하는 데 도움이 됩니다.
이것으로부터 얻은 통찰력
캐시를 처리할 때 더 신중했어야 했는데, 그러지 못했습니다. 제 시야가 너무 좁아져서 문제 해결에 집중할 수 없었습니다. 어쨌든 문제를 파악하고 해결했으며, 앞으로는 더 주의 깊게 살펴보겠습니다.
기술적 오류는 웹사이트의 가시성에 상당한 영향을 미칠 수 있습니다. 제 경우에는 봇 정의 설정 오류로 인해 Googlebot이 차단되어 콘텐츠가 색인되지 못했습니다.
깨달은 점: 작은 변화라도 큰 결과를 초래할 수 있다는 것.
체계적인 문제 해결 과정과 적절한 도구 사용을 통해 문제를 파악하고 해결할 수 있었습니다. 검색 엔진이 웹사이트를 어떻게 인식하는지 정기적으로 확인하는 것이 중요합니다.
제 경험이 다른 웹마스터들이 비슷한 문제를 피하거나 더 빨리 해결하는 데 도움이 되기를 바랍니다. 검색 엔진 노출은 웹사이트 성공에 매우 중요하므로 웹사이트의 기술적 상태를 항상 모니터링해야 합니다.
적합: