Robots.txt 测试器

检查您的 robots.txt 文件语法是否正确，以及指定路径对所选爬虫是否允许访问。

Robots.txt Tester 工具的作用是什么？

Robots.txt 测试器会从您的域名获取 robots.txt 文件并分析其规则。该工具能够检测重定向，并在最终托管主机上测试规则。这样您可以避免当域名跳转到语言版本时产生的错误。

您可以选择常见的 User agent（用户代理），如 Googlebot。随后，工具会检测指定 URL 是否 允许（Allowed） 或 禁止（Disallowed） 访问。在结果中您将看到匹配的规则及其行号。

该工具还会对 robots.txt 文件进行语法校验。它展示检测到的问题并高亮有误的行。此外，还会在文本框中完整显示 robots.txt 文件内容。

Robots.txt Tester 工具如何帮助 SEO 专家和网站所有者？

一条错误的规则可能会阻止网站关键页面被抓取和索引，这往往意味着网站曝光下降和自然流量损失。通过针对单一路径测试，您可以在上线前快速发现潜在风险。

在实际工作中，这有助于提升审核效率。无需手动分析所有规则，工具即可给出明确结论及对应规则。这将验证过程从数分钟缩短至几秒，并减少人为失误。

• 检查地址是否对搜索引擎爬虫开放。
• 查看 robots.txt 中匹配到的规则和行号。
• 检查语法正确性，快速定位问题。
• 在重定向到目标域后安全读取 robots.txt。
• 检查 robots.txt 中声明的 sitemap 地址的 HTTP 状态。

Robots.txt Tester 工具的典型用途

• 检测新页面是否被 Disallow 禁止抓取。
• 在域名迁移或上线 CDN 后校验规则。
• 测试不同爬虫（如 Googlebot、Bingbot）的访问权限。
• 分析抓取预算问题及子页面被意外屏蔽的情况。
• 检查 robots.txt 是否返回 HTML 而不是文本文件。
• 快速验证 Sitemap 指令及其 HTTP 状态。

Robots.txt Tester 工具与其他工具对比

功能	DiagnoSEO	其他工具
自动从域名获取 robots.txt	✅	✅
针对选定 User agent 测试规则	✅	✅
判断某路径为 Allowed 或 Disallowed	✅	✅
显示匹配规则及行号	✅	❌
高亮显示 robots.txt 内容中的语法错误	✅	❌
支持重定向并从目标域获取 robots.txt	✅	❌
检查 robots.txt 中 sitemap 地址的 HTTP 状态	✅	❌
在文本框中显示完整 robots.txt 内容	✅	✅

提示与最佳实践

• 在发布变更前，测试分类页、筛选页、分页页等 URL。
• 在用 Disallow 屏蔽大范围时，配合精确的 Allow 规则。
• 确保 robots.txt 与站点的索引策略一致。
• 部署完毕后检查 robots.txt 文件及 sitemap 的 HTTP 状态。
• 避免意外屏蔽页面渲染所需的资源。

常见错误

• 缺失 robots.txt 文件。
• 过于宽泛的 Disallow 封锁核心页面。
• 语法错误或缺少冒号。
• 规则出现在 User agent 之前，导致分组难以解析。
• 无意中将 robots.txt 重定向至 HTML 或首页。
• 关于 Sitemap 的旧内容或错误的服务器响应码。

如何使用 Robots.txt Tester 工具

1. 粘贴需要检测的网址。
2. 从列表中选择 User agent，例如 Googlebot。
3. 启动测试，查看结果为 Allowed 还是 Disallowed。
4. 查看 robots.txt 中匹配到的规则和行号。
5. 查看语法校验提示及高亮错误。
6. 在页面下方检查 robots.txt 中 xml sitemap 的 HTTP 状态。

案例分析

某电商网站发现收录页面数量下降。检测后发现 Disallow 规则屏蔽了新的分类路径。工具给出了匹配的规则以及 robots.txt 中的行号。修正规则并重新测试后，相关页面恢复正常抓取。

另外，sitemap 状态表还显示有一个网站地图存在问题。服务器返回错误，导致爬虫无法抓取。修复 sitemap 文件后，监控变得更为简单。

常见问题

• Allowed 和 Disallowed 结果是什么意思？

  Allowed 意味着 robots.txt 的规则未屏蔽该路径，对选定爬虫开放。Disallowed 意味着被禁止访问。

• 工具是否考虑域名重定向？

  是的。工具会检测最终域名，并从目标主机获取 robots.txt 文件。

• Disallow 和 Allow 规则如何匹配？

  工具会寻找最佳匹配，最长的匹配规则优先。若匹配长度相同，Allow 优先生效。

• 为什么校验时提示语法错误？

  如果指令格式不规范或出现在 User agent 之前，就会报错。高亮有助于快速修改。

• 为什么结果末尾有 sitemap 状态表？

  Robots.txt 通常包含 Sitemap 指令。该表用于检查服务器是否为这些地址返回正确的 HTTP 状态。