検索エンジンのランキングが危ぶまれていませんか？一見順調そうなのに、Googleのランキングが上がらない？ – 画像：Xpert.Digital
検索エンジンのインデックス問題に対する合理的な解決策 - 今回は何があるのでしょうか?
ここ数日、気になる点がありました。私の最新記事がGoogleニュースにインデックスされなくなり、Google Discoverからのトラフィックも着実に減少しているのです。当然ながら、こうした状況は無関心ではいられません。様々な憶測が頭をよぎりましたが、一旦置いておいて、冷静に問題に取り組むことにしました。
Googleに手動でページを送信すると、すぐにインデックスに登録され、表示されました。しかし、しばらく待つと何も起こりませんでした。この現象を2日間観察したため、原因を徹底的に調査する必要がありました。
ステップ1: 最近の変更の確認
まず、自問しました。「ウェブサイトで最後に変更されたのは何か？」最近の変更を特定することは、潜在的なエラーの原因を絞り込むために不可欠です。私の場合は、最近キャッシュシステムを改訂しました。
ステップ2: 隠れたエラーや誤った推論を特定する
キャッシュの見直しは意図しない副作用をもたらす可能性があります。何か隠れたバグや欠陥があるのでしょうか？新しい設定を確認し、潜在的な競合がないか探し始めました。
ステップ3：原因を見つける
徹底的な分析の結果、原因が判明しました。セキュリティ設定に新しく追加したボット定義が、残念ながら、あまりにもうまく機能しすぎていたのです。昨今、インターネット上には無数のボットが徘徊しており、サーバーの負荷軽減のため、不要なボットはブロックされることがよくあります。ところが、Googlebot は誤って「不要なボット」に分類されていたのです。小さな見落としが、大きな影響を及ぼしました。
Microsoft Bing Webmaster Tools からのメモ
私の疑いは、Bing Web マスター ツールからのレポートによって確認されました。
- 「最近公開した重要なページの一部がIndexNow経由で送信されていません。IndexNow経由で送信することが重要な理由をご確認ください。」
- 重要な新しいページの一部がサイトマップに含まれていません。**
Google Search Console からも、コンテンツのないページがインデックスに登録されているという警告が出されました。これらの指標は、検索エンジンがコンテンツにアクセスできないことを明確に示していました。
結論
現実を突きつけられた。Googleが見ていないページが、私の目には見えている。検索エンジンが私のページをインデックスするには、Googlebotが無制限にアクセスする必要がある。Googlebotがブロックされていれば、私のコンテンツは表示されなくなる。
Googlebot が見ているものをどのように確認するのでしょうか?
Googlebotがウェブサイトを正しくクロールできることを確認するために、Googlebotの視点からページを見てみたいと思いました。Googlebotと同じようにウェブサイトにアクセスする方法はいくつかあります。
1. Google Chromeデベロッパーツールの使用
簡単な方法の 1 つは、Google Chrome の開発者ツールを使用することです。
- 開発者ツールを開くには、`Ctrl + Shift + I` (Windows) または `Cmd + Shift + I` (Mac) を押します。
- 「ネットワーク」タブに切り替えます。ここですべてのネットワークアクティビティが表示されます。
- ユーザーエージェントを調整するには：右上隅の3つの点をクリックし、「その他のツール」を選択して「ネットワークの状態」を選択します。「ユーザーエージェントを自動的に選択する」オプションを無効にし、リストから「Googlebot」を選択します。
- ページを再読み込み: ページを再読み込みすると、Googlebot が認識したとおりに表示されます。
この方法により、潜在的なレンダリングの問題やブロックされたリソースを特定できます。
2. ユーザーエージェントスイッチャーの使用
あるいは、「User-Agent Switcher」などのブラウザ拡張機能を使用することもできます。
- 拡張機能をインストールするには: Chrome ウェブストアで「User-Agent Switcher」を検索してインストールします。
- ユーザー エージェントとして Googlebot を選択する: インストール後、希望するユーザー エージェントを選択できます。
- ウェブサイトを訪問する: ページは Googlebot の観点から表示されるようになりました。
これは、簡単なテストや、異なるユーザー エージェントを頻繁に切り替える場合に特に便利です。
3. Screaming Frog SEOスパイダーの使用
より詳細な分析には、「Screaming Frog SEO Spider」が適しています。
- ユーザーエージェントの調整:「設定 > ユーザーエージェント」に移動し、Googlebot を選択します。
- クロール プロセスの開始: ツールはウェブサイトを検索し、Googlebot がどのように認識しているかを表示します。
- 結果の分析: 潜在的なクロールの問題やブロックされたリソースを特定します。
このツールは、大規模な Web サイトや詳細な SEO 監査に最適です。
4. Google Search Consoleの使用
Google Search Console では、次のような貴重な分析情報も提供されます。
- URL チェック: 希望の URL を入力し、ライブ テストを開始します。
- 結果を分析: ページがインデックスされているかどうか、またクロール中に問題が発生しているかどうかを確認できます。
- Fetch as Google を実行する: この機能を使用すると、Googlebot がページをどのようにレンダリングするかを確認できます。
これは、ボットがページを正しくクロールするのを妨げる可能性のある特定の問題を特定するのに役立ちます。
問題の解決策
これらのツールを使用することで、Googlebotが実際にブロックされていることを確認できました。この問題を解決するために、以下の手順を実行しました。
1. ボット定義の調整
Googlebot やその他の重要な検索エンジン ボットがブロックされないように、セキュリティ設定を更新しました。
2. robots.txtファイルを確認する
ファイルにアクセスを制限するような指示が含まれていないことを確認しました。
3. サイトマップの更新
サイトマップが更新され、ウェブマスター ツールに送信されました。
4. モニタリング
その後数日間、インデックスとトラフィックを監視して、すべてが再びスムーズに実行されていることを確認しました。
将来に向けた予防策
将来このような問題を回避するために、私はいくつかの決意をしました。
- セキュリティ構成の定期的なレビュー: 変更するたびに、Web サイトの機能への影響をチェックする必要があります。
- 継続的な監視: Google Search Console などのツールを使用すると、問題を早期に特定できます。
- 変更の明確な文書化: エラーが発生した場合に迅速に対応できるように、Web サイトへのすべての変更を文書化する必要があります。
- トレーニング: 検索エンジンとそのボットの仕組みをより深く理解することで、誤った設定を避けることができます。
このことから得られる洞察
キャッシュを処理する際には、もっと注意深く、もっとよく理解しておくべきでした。しかし、私のトンネルビジョンは完全に定着してしまいました。問題は特定され、解決され、回復しました。今後もより注意深く作業を続けていきます。
技術的なエラーはウェブサイトの可視性に重大な影響を与える可能性があります。私の場合、ボット定義の設定ミスが原因でGooglebotがブロックされ、コンテンツがインデックスに登録されなくなってしまいました。
認識: 小さな変化でも大きな結果をもたらす可能性があります。
体系的なトラブルシューティングと適切なツールの使用により、問題を特定し解決することができました。検索エンジンがウェブサイトをどのように認識しているかを定期的に確認することは不可欠です。
私の経験が、他のウェブマスターの皆様が同様の問題をより早く回避、あるいは解決するのに役立つことを願っています。検索エンジンでの可視性はウェブサイトの成功に不可欠なため、ウェブサイトの技術的な状態は常に監視する必要があります。
に適し：