SEO и аудитРаботает в браузере

Генератор robots.txt

Сформируйте robots.txt вручную из подтверждённых правил. Инструмент не сканирует сайт и не выдумывает закрытые разделы.

Browser-only
Allow/Disallow
Sitemap directive

Онлайн-инструмент

Попробуйте инструмент

Добавьте данные, выберите нужные параметры и получите готовый результат.

Правила

robots.txt

—

Ваши данные остаются здесь

Текст и выбранные файлы обрабатываются в текущем браузере и не отправляются на сервер для получения результата.

Проверено: 2026-07-17

01

Как пользоваться

1
Укажите user-agent и правила Allow/Disallow.
2
Добавьте Sitemap URL и Crawl-delay только если это реально нужно.
3
Скопируйте файл и проверьте его через Robots.txt Tester после публикации.

02

Что умеет инструмент

Нормализует относительные пути к /path.
Проверяет, что Sitemap является HTTP(S) URL.
Работает полностью в браузере без отправки правил на backend.

03

Когда пригодится

Подготовить базовый robots.txt для нового сайта.
Быстро собрать безопасный шаблон для staging/служебных разделов.
Добавить Sitemap directive без ручной ошибки синтаксиса.

04

Что происходит внутри

Generator intentionally deterministic: output зависит только от введённых полей.

Это не crawler и не robots policy adviser.

05

Вопросы и ответы

Можно ли Disallow всё?

Технически да, но для production это обычно закрывает сайт от обхода. Такие правила нужно применять только осознанно.

Почему нет автоматического списка URL?

Потому что это уже crawler/function of project structure. Генератор принимает только явные правила.