发布日期：2024 年 11 月 11 日 / 更新日期：2024 年 11 月 11 日 - 作者：康拉德·德军总部
是否存在失去搜索引擎排名的风险？尽管一切看起来都很好，但不再有谷歌排名？ – 图片：Xpert.Digital
理性解决搜索引擎索引问题——这一次背后是什么？
在过去的几天里，我注意到一些令人担忧的事情：我最近的文章不再被 Google 新闻索引，并且 Google Discover 的流量正在稳步下降。当然，这样的发展不会让你无动于衷。我的脑海里闪过各种疯狂的假设，但我决定把它们放在一边，理性地处理问题。
当我手动将页面提交给 Google 时，它们立即被编入索引并显示。然而，如果我等待，什么也没有发生。我观察了两天这个现象。因此，是时候彻底查找原因了。
第 1 步：查看最近的更改
首先，我问自己：网站上最后编辑的内容是什么？识别最近的变化以缩小可能的错误来源至关重要。就我而言，我最近重新设计了缓存系统。
第二步：找出隐藏的错误或思维错误
缓存检修可能会产生意想不到的副作用。是否存在隐藏的错误或思维错误？我开始检查新设置并寻找可能的冲突。
第三步：查找原因
经过详细分析，我发现了罪魁祸首：我的安全配置中的新机器人定义做得很好 - 不幸的是太好了。如今，无数的机器人在互联网上漫游，为了减少服务器负载，不必要的机器人经常被阻止。然而，Googlebot 被错误地归入“不必要的机器人”类别。小疏忽会带来大后果。
Microsoft Bing 网站管理员工具的注释
Bing 网站管理员工具的报告证实了我的怀疑：
- “您最近发布的一些重要页面并未通过 IndexNow 提交。了解为什么通过 IndexNow 提交很重要。”
- 您的一些重要的新页面未包含在您的站点地图中。”**
谷歌搜索控制台还向我指出没有内容的页面正在被索引。这些线索清楚地表明搜索引擎在访问我的内容时遇到了困难。
结论
这个认识发人深省：我看到了谷歌看不到的页面。为了让搜索引擎捕获我的页面，他们的机器人必须能够不受阻碍地访问。如果 Googlebot 被阻止，我的内容将保持不可见。
如何检查 Googlebot 看到的内容？
为了确保 Googlebot 能够正确抓取我的网站，我想从它的角度查看页面。有多种方法可以像 Googlebot 一样访问网站。
1. 如何使用Google Chrome开发者工具
一个简单的方法是使用 Google Chrome 的开发者工具：
- 打开开发者工具：按“Ctrl + Shift + I”(Windows) 或“Cmd + Shift + I”(Mac)。
- 切换到网络选项卡：所有网络活动都显示在此处。
- 用户代理定制：点击右上角的三个点，选择“更多工具”，然后选择“网络条件”。取消选中“自动选择用户代理”选项，然后从列表中选择“Googlebot”。
- 重新加载页面：重新加载会按照 Googlebot 所看到的方式显示页面。
此方法可以识别潜在的渲染问题或阻塞的资源。
2. 用户代理切换器的使用
或者，可以使用浏览器扩展，例如“User-Agent Switcher”：
- 安装扩展：在 Chrome Web Store 中搜索 User-Agent Switcher 并安装。
- 选择Googlebot作为用户代理：安装后，您可以选择所需的用户代理。
- 访问网站：该页面现在从 Googlebot 的角度显示。
如果您想频繁地在不同的用户代理之间切换，这对于快速测试特别有用。
3.使用尖叫青蛙SEO蜘蛛
“尖叫青蛙SEO蜘蛛”适合更深入的分析：
- 用户代理自定义：转至配置 > 用户代理并选择 Googlebot。
- 开始抓取过程：该工具抓取网站并显示 Googlebot 如何看待它。
- 分析结果：识别可能的抓取问题或阻塞的资源。
该工具非常适合大型网站和详细的 SEO 审核。
4.使用谷歌搜索控制台
Google Search Console 还提供了有价值的见解：
- URL检查：输入所需的URL并开始实时测试。
- 分析结果：可以查看页面是否被索引以及抓取是否存在问题。
- 像 Google 一样获取：此功能允许您查看 Googlebot 如何呈现页面。
这有助于识别可能阻止机器人正确捕获页面的特定问题。
问题的解决方案
使用这些工具，我能够确认 Googlebot 确实被阻止了。为了解决这个问题，我采取了以下步骤：
1. 机器人定义调整
我更新了安全配置，不再阻止 Googlebot 和其他主要搜索引擎机器人。
2.检查robots.txt
我确保该文件不包含任何限制访问的指令。
3. 站点地图更新
站点地图已更新并提交至网站站长工具。
4. 监控
在接下来的几天里，我监控了索引和流量，以确保一切再次顺利运行。
未来的预防措施
为了避免以后再出现此类问题，我做出了一些决定：
- 定期检查安全配置：每次更改后，应检查对网站功能的影响。
- 持续监控：使用 Google Search Console 等工具有助于及早发现问题。
- 清晰的变更记录：对网站的所有调整都应记录在案，以便在出现错误时能够更快地做出反应。
- 培训：更好地了解搜索引擎及其机器人的工作原理有助于避免错误配置。
从中得到的知识
我应该更了解并记住在编辑缓存时要小心。但操作上的盲目性在这里造成了严重影响。发现问题、解决问题、纠正问题并继续更加谨慎地进行。
技术错误可能会对网站的可见性产生重大影响。就我而言，错误配置的机器人定义导致 Googlebot 被阻止，从而停止为我的内容编制索引。
认识到：即使是很小的变化也会产生很大的后果。
通过系统的故障排除和使用适当的工具，我能够识别并解决问题。定期检查搜索引擎如何看待您的网站非常重要。
希望我的经验能够帮助其他站长避免类似的问题或者更快的解决问题。搜索引擎中的可见性对于网站的成功至关重要，因此应始终牢记技术条件。
适合：