Перевірка AI-краулерів: чи можуть ChatGPT, Perplexity і Claude читати ваш сайт?
Введіть свій сайт. Ми читаємо його robots.txt так, як це робить кожен AI-краулер, і кажемо, яких із них не пускають, а потім шукаємо на головній сторінці розмітку Organization, що розповідає, хто ви.
Безкоштовно, без реєстрації. Ми читаємо лише публічні сторінки й DNS і нічого не зберігаємо.
Що вона перевіряє
- Пошукові краулери: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User
- Краулери для навчання: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended
- Схема Organization (або Person) з посиланнями sameAs на профілі на головній сторінці
Правила краулерів сайту по черзі перестають блокувати краулери, які ChatGPT, Claude і Perplexity використовують для пошуку.
Чому це важливо
Асистент, що шукає в інтернеті, може цитувати лише той сайт, який його краулеру дозволено читати. Блокування пошукового краулера лишає вас поза його відповідями; блокування краулера для навчання — це вибір, і він показаний як вибір.
Це читає лише robots.txt. CDN або брандмауер (наприклад, «Block AI bots» у Cloudflare) усе одно можуть не пускати краулерів; повний аудит і його промпт виправлення покривають цей крок.
Схема читається з HTML, який надсилає ваш сервер; розмітка, додана JavaScript після завантаження, тут не видна.
Це одна перевірка. Безкоштовний аудит запускає їх усі.
Заголовки безпеки, DMARC і SPF, пошукові теги, структуровані дані, sitemap, доступ AI-краулерів, доступність і швидкість для реальних користувачів — на до 20 сторінках у справжньому браузері. Solo ($12/міс.) додає промпт виправлення до кожної проблеми.