Безкоштовні інструменти

Перевірка robots.txt і sitemap

Введіть свій сайт. Ми читаємо robots.txt, знаходимо ваш sitemap (з robots.txt або зі звичних місць) і перевіряємо, що з обох отримала б пошукова система.

Безкоштовно, без реєстрації. Ми читаємо лише публічні сторінки й DNS і нічого не зберігаємо.

Що вона перевіряє

  • Googlebot і Bingbot не заблоковані на всьому сайті
  • Sitemap існує й містить сторінки
  • robots.txt вказує на sitemap
  • URL у sitemap використовують ім’я хоста, на якому працює сайт
  • Дати змін, які щось означають

Чому це важливо

robots.txt, що блокує весь сайт, або sitemap, повний адрес із редиректами, тихо коштує пошукового трафіку й не видно в жодному іншому звіті.

Відсутність sitemap — не помилка: пошукові системи знаходять сторінки і за посиланнями. Про це повідомляється, але це не провал.

Один рівень індексу sitemap відстежується.

Це одна перевірка. Безкоштовний аудит запускає їх усі.

Заголовки безпеки, DMARC і SPF, пошукові теги, структуровані дані, sitemap, доступ AI-краулерів, доступність і швидкість для реальних користувачів — на до 20 сторінках у справжньому браузері. Solo ($12/міс.) додає промпт виправлення до кожної проблеми.

Безкоштовна перевірка robots.txt і sitemap | QA Spider