Генератор и валидатор robots.txt

Собери robots.txt из списка путей или проверь существующий. Есть готовые шаблоны.

User‑Agent (или оставьте * для всех):

Разрешённые пути (Allow): по одному на строку (можно оставить пустым):

Запрещённые пути (Disallow): по одному на строку:

Вставьте robots.txt для проверки: