Проверка AI-краулеров: могут ли ChatGPT, Perplexity и Claude читать ваш сайт?
Введите адрес сайта. Мы прочитаем его robots.txt так, как это делает каждый AI-краулер, скажем, кого из них не пускают, а затем поищем на главной разметку Organization, которая сообщает, кто вы.
Бесплатно, без регистрации. Мы читаем только публичные страницы и DNS и ничего не храним.
Что проверяется
- Поисковые краулеры: OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-SearchBot, Claude-User
- Краулеры для обучения: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended
- Разметка Organization (или Person) со ссылками на профили в sameAs на главной
Правила сайта для краулеров один за другим перестают блокировать краулеры, которыми ChatGPT, Claude и Perplexity ищут сайт.
Почему это важно
Ассистент, который ищет в интернете, может сослаться только на сайт, который разрешено читать его краулеру. Блокировка поискового краулера убирает вас из его ответов; блокировка краулера для обучения — это выбор, и мы показываем её как выбор.
Проверяется только robots.txt. CDN или файрвол (например, «Block AI bots» в Cloudflare) всё равно могут не пускать краулеров; этот шаг покрывают полный аудит и его промпт для исправления.
Разметка читается из HTML, который отдаёт ваш сервер; разметку, добавленную JavaScript после загрузки, здесь не видно.
Это одна проверка. Бесплатный аудит запускает их все.
Заголовки безопасности, DMARC и SPF, поисковые теги, структурированные данные, sitemap, доступ AI-краулеров, доступность и скорость у реальных пользователей — до 20 страниц в настоящем браузере. Solo ($12/мес) добавляет промпт для исправления каждой находки.