AI 爬虫检测:ChatGPT、Perplexity 和 Claude 能读取你的网站吗?
输入你的网站。我们会像每个 AI 爬虫一样读取它的 robots.txt,告诉你哪些爬虫被拒之门外,然后在首页查找说明你是谁的 Organization 标记。
免费,无需注册。我们只读取公开页面和 DNS,不保留任何内容。
检查内容
- 搜索类爬虫:OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-SearchBot、Claude-User
- 训练类爬虫:GPTBot、ClaudeBot、Google-Extended、CCBot、Applebot-Extended
- 首页带有 sameAs 资料链接的 Organization(或 Person)结构化数据
网站的爬虫规则不再拦截 ChatGPT、Claude 和 Perplexity 用来查询它的爬虫,一个接一个地放行。
为什么重要
能搜索网络的 AI 助手只能引用其爬虫被允许读取的网站。屏蔽搜索类爬虫会让你的网站无法出现在它的回答中;屏蔽训练类爬虫是一种选择,这里也会如实标示为选择。
这里只读取 robots.txt。CDN 或防火墙(例如 Cloudflare 的“Block AI bots”)仍可能拒绝爬虫;完整审计及其修复提示词会涵盖这一步。
结构化数据是从你的服务器发送的 HTML 中读取的;页面加载后由 JavaScript 添加的标记在这里看不到。