検索エンジンのインデックス作成の問題を合理的に解決します。今回は何が原因でしょうか?
ここ数日間、私は心配なことに気づきました。私の最新の記事が Google ニュースにインデックスされなくなり、Google Discover からのトラフィックが着実に減少していました。もちろん、そのような展開に無関心になるわけではありません。さまざまな突飛な仮定が私の頭の中を駆け巡りましたが、私はそれらを脇に置いて、問題に合理的に取り組むことにしました。
ページを手動で Google に送信すると、すぐにインデックスに登録されて表示されました。しかし、待っていても何も起こりませんでした。この現象を2日間にわたって観察しました。そこで、徹底的に原因を探る時期が来ました。
ステップ 1: 最近の変更を確認する
まず、私は自問しました。Web サイトで最後に編集されたものは何だったのでしょうか?考えられるエラーの原因を絞り込むには、最近の変更を特定することが重要です。私の場合、最近キャッシュ システムを作り直しました。
ステップ 2: 隠れた間違いや思考の誤りを特定する
キャッシュの見直しにより、予期しない副作用が生じる可能性があります。隠れた間違いや思考の間違いはありませんか?新しい設定をチェックし、競合の可能性を探し始めました。
ステップ 3: 原因を見つける
詳細な分析の結果、原因が判明しました。セキュリティ構成内の新しいボット定義が素晴らしい仕事をしていましたが、残念ながらうまくいきすぎていました。現在、インターネット上には無数のボットが徘徊しており、サーバーの負荷を軽減するために不要なボットはブロックされることが多いです。しかし、Googlebot は、何よりも誤って「不要なボット」のカテゴリーに入れられました。小さな見落としが大きな結果をもたらす。
Microsoft Bing ウェブマスター ツールからのメモ
私の疑惑は、Bing ウェブマスター ツールからのレポートによって裏付けられました。
- 「最近公開された重要なページの一部は、IndexNow を通じて送信されていません。 IndexNow を通じて送信することがなぜ重要なのかをご覧ください。」
- 重要な新しいページの一部がサイトマップに含まれていません。」**
Google Search Console からも、コンテンツのないページがインデックスに登録されていることを指摘されました。これらの手がかりは、検索エンジンが私のコンテンツにアクセスするのに問題があることを明らかに示していました。
結論
Google には表示されていないページが表示されているという認識は、身の引き締まる思いでした。検索エンジンが私のページをキャプチャするには、検索エンジンのボットが妨げられずにアクセスできる必要があります。 Googlebot がブロックされている場合、私のコンテンツは表示されないままになります。
Googlebot が認識しているものをどのように確認しますか?
Googlebot がウェブサイトを正しくクロールできるようにするために、Googlebot の観点からページを表示したいと考えました。 Googlebot のようにウェブサイトにアクセスするには、いくつかの方法があります。
1. Google Chrome デベロッパーツールの使い方
簡単な方法は、Google Chrome の開発者ツールを使用することです。
- 開発者ツールを開きます。「Ctrl + Shift + I」 (Windows) または「Cmd + Shift + I」 (Mac) を押します。
- [ネットワーク] タブに切り替えます。すべてのネットワーク アクティビティがここに表示されます。
- ユーザー エージェントのカスタマイズ: 右上の 3 つの点をクリックし、[その他のツール]、[ネットワーク条件] の順に選択します。 「ユーザーエージェントを自動的に選択する」オプションのチェックを外し、リストから「Googlebot」を選択します。
- ページのリロード: リロードすると、Googlebot が認識したとおりにページが表示されます。
この方法により、潜在的なレンダリングの問題やブロックされたリソースを特定できます。
2. ユーザーエージェントスイッチャーの使用
あるいは、「User-Agent Switcher」などのブラウザ拡張機能を使用することもできます。
- 拡張機能のインストール: Chrome ウェブストアで User-Agent Switcher を検索し、インストールします。
- Googlebot をユーザー エージェントとして選択する: インストール後、目的のユーザー エージェントを選択できます。
- ウェブサイトへのアクセス: ページは Googlebot の視点から表示されます。
これは、簡単なテストや、異なるユーザー エージェントを頻繁に切り替えたい場合に特に便利です。
3. Screaming Frog SEO Spiderの使用
「Screaming Frog SEO Spider」は、より詳細な分析に適しています。
- ユーザー エージェントのカスタマイズ: [構成] > [ユーザー エージェント] に移動し、[Googlebot] を選択します。
- クロール プロセスの開始: ツールはウェブサイトをクロールし、Googlebot がウェブサイトをどのように認識しているかを表示します。
- 結果の分析: 考えられるクロールの問題またはブロックされたリソースを特定します。
このツールは、大規模な Web サイトや詳細な SEO 監査に最適です。
4. Google Search Consoleの使用
Google Search Console は、次のような貴重な洞察も提供します。
- URL チェック: 目的の URL を入力し、ライブ テストを開始します。
- 結果の分析: ページがインデックスに登録されているかどうか、およびクロールに問題があるかどうかを確認できます。
- Fetch like Google: この機能を使用すると、Googlebot がページをどのようにレンダリングするかを確認できます。
これは、ボットがページを正しくキャプチャできない原因となっている可能性のある特定の問題を特定するのに役立ちます。
問題の解決策
これらのツールを使用すると、Googlebot が実際にブロックされていることを確認できました。この問題を解決するために、次の手順を実行しました。
1.ボット定義の調整
セキュリティ構成を更新して、Googlebot やその他の主要な検索エンジン ボットをブロックしなくなりました。
2. robots.txtの確認
ファイルにアクセスを制限する命令が含まれていないことを確認しました。
3. サイトマップの更新
サイトマップが更新され、ウェブマスター ツールに送信されました。
4. モニタリング
次の数日間、インデックス作成とトラフィックを監視して、すべてが再びスムーズに実行されていることを確認しました。
将来に向けた予防策
将来このような問題を回避するために、私はいくつかの解決策を講じました。
- セキュリティ構成を定期的に確認します。変更するたびに、Web サイトの機能への影響を確認する必要があります。
- 継続的なモニタリング: Google Search Console などのツールを使用すると、問題を早期に特定することができます。
- 変更の明確な文書化: エラーが発生した場合により迅速に対応できるように、Web サイトに対するすべての調整を文書化する必要があります。
- トレーニング: 検索エンジンとそのボットがどのように機能するかをより深く理解することは、構成ミスを回避するのに役立ちます。
そこから得た知識
もっとよく知って、キャッシュを編集するときは注意することを覚えておくべきでした。しかし、ここで作戦上の失明が大きな打撃を与えた。問題を特定し、解決し、正して、より注意深く継続しました。
技術的なエラーは、Web サイトの可視性に重大な影響を与える可能性があります。私の場合、ボット定義の構成が間違っていたため、Googlebot がブロックされ、コンテンツのインデックス作成が停止されました。
認識: 小さな変化でも大きな結果をもたらす可能性があります。
体系的なトラブルシューティングと適切なツールの使用により、問題を特定して解決することができました。検索エンジンがウェブサイトをどのように認識しているかを定期的に確認することが重要です。
私の経験が、他のウェブマスターが同様の問題を回避したり、より迅速に解決したりするのに役立つことを願っています。検索エンジンでの可視性は Web サイトの成功にとって非常に重要であるため、技術的な条件を常に念頭に置く必要があります。
に適し: