Как пользоваться
- 1
Вставьте URL страницы, которую нужно проверить для индексации.
- 2
Оставьте WebDiagBot или укажите другой user-agent, например Googlebot.
- 3
Проверьте статус robots.txt, matching rule и список Sitemap directives.
Что умеет инструмент
- Безопасная загрузка /robots.txt с SSRF-защитой и лимитом размера ответа.
- Проверка конкретного пути URL по Allow/Disallow для выбранного user-agent.
- Показывает matched rule, количество Disallow rules и найденные Sitemap directives.
Когда пригодится
- Проверить, не закрыта ли важная посадочная страница от поисковых роботов.
- Понять, какое правило robots.txt влияет на каталог, фильтр, блог или сервисную страницу.
- Проверить, объявлен ли Sitemap после релиза, миграции или смены CMS.
Что происходит внутри
WebDiag строит URL /robots.txt от origin проверяемого адреса и анализирует файл существующим robots parser.
Allow выигрывает у Disallow при равной специфичности, а более специфичное правило перекрывает более широкое.
Вопросы и ответы
Если robots.txt недоступен, сайт закрыт от индексации?
Нет. Недоступный robots.txt обычно означает, что явных crawl-ограничений не найдено. Для рабочих сайтов лучше явно публиковать robots.txt и Sitemap directives.
Можно ли проверять Googlebot или Яндекс?
Да, можно указать другой user-agent. Инструмент применит наиболее специфичную подходящую группу правил.