Robots.txt 和 sitemap 检测
输入你的网站。我们会读取 robots.txt，找到你的 sitemap（从 robots.txt 或常见位置），并检查搜索引擎从两者能得到什么。
免费，无需注册。我们只读取公开页面和 DNS，不保留任何内容。
检查内容
- Googlebot 和 Bingbot 没有被整站屏蔽
- 存在 sitemap 并列出了页面
- robots.txt 中声明了 sitemap
- Sitemap 中的 URL 使用网站实际提供服务的主机名
- 有实际意义的更新日期
为什么重要
屏蔽整个网站的 robots.txt，或满是重定向地址的 sitemap，会悄悄损失搜索流量，而且其他报告都不会显示。
没有 sitemap 不算错误：搜索引擎也会通过链接发现页面。这里只会报告，不算失败。
会跟进一层 sitemap 索引。