QA Spider
审计我的网站

免费工具

AI 爬虫检测:ChatGPT、Perplexity 和 Claude 能读取你的网站吗?

输入你的网站。我们会像每个 AI 爬虫一样读取它的 robots.txt,告诉你哪些爬虫被拒之门外,然后在首页查找说明你是谁的 Organization 标记。

免费,无需注册。我们只读取公开页面和 DNS,不保留任何内容。

检查内容

  • 搜索类爬虫:OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-SearchBot、Claude-User
  • 训练类爬虫:GPTBot、ClaudeBot、Google-Extended、CCBot、Applebot-Extended
  • 首页带有 sameAs 资料链接的 Organization(或 Person)结构化数据

网站的爬虫规则不再拦截 ChatGPT、Claude 和 Perplexity 用来查询它的爬虫,一个接一个地放行。

为什么重要

能搜索网络的 AI 助手只能引用其爬虫被允许读取的网站。屏蔽搜索类爬虫会让你的网站无法出现在它的回答中;屏蔽训练类爬虫是一种选择,这里也会如实标示为选择。

这里只读取 robots.txt。CDN 或防火墙(例如 Cloudflare 的“Block AI bots”)仍可能拒绝爬虫;完整审计及其修复提示词会涵盖这一步。

结构化数据是从你的服务器发送的 HTML 中读取的;页面加载后由 JavaScript 添加的标记在这里看不到。

这只是一项检查。免费审计会运行所有检查。

安全响应头、DMARC 和 SPF、搜索标签、结构化数据、站点地图、AI 爬虫访问、无障碍和真实用户速度,在真实浏览器中检查最多 20 个页面。Solo($12/月) 会为每个发现附上修复提示词。

AI 爬虫检测:ChatGPT 和 Claude 能读取你的网站吗?