AIクローラーチェッカー:ChatGPT、Perplexity、Claudeはサイトを読めるか
サイトを入力してください。各AIクローラーと同じようにrobots.txtを読み、どのクローラーが拒否されているかをお伝えします。さらにトップページで、あなたが何者かを示すOrganizationマークアップも探します。
無料・登録不要。読み取るのは公開ページとDNSだけで、何も保存しません。
確認する内容
- 検索クローラー:OAI-SearchBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-SearchBot、Claude-User
- 学習用クローラー:GPTBot、ClaudeBot、Google-Extended、CCBot、Applebot-Extended
- トップページに、sameAsのプロフィールリンクを持つOrganization(またはPerson)スキーマがあるか
サイトのクローラー規則が、ChatGPT、Claude、Perplexityが調べるために使うクローラーを、1つずつブロックしなくなる。
なぜ重要か
Webを検索するアシスタントは、クローラーが読めるサイトしか引用できません。検索クローラーをブロックすると回答に載らなくなります。学習用クローラーのブロックは選択であり、選択として表示されます。
これが読むのはrobots.txtのみです。CDNやファイアウォール(たとえばCloudflareの「Block AI bots」)がクローラーを拒否している場合があります。完全な監査とその修正プロンプトで、その段階も扱います。
スキーマは、サーバーが送信するHTMLから読み取ります。読み込み後にJavaScriptで追加されたマークアップは、ここでは見えません。
これは1つのチェックです。無料の監査ではすべてを実行します。
セキュリティヘッダー、DMARCとSPF、検索タグ、構造化データ、サイトマップ、AIクローラーのアクセス、アクセシビリティ、実ユーザー速度を、実ブラウザーで最大20ページ分確認します。Solo($12/月)では、各指摘に修正プロンプトが付きます。