Конструктор robots.txt

Настройте правила для поисковых роботов. Можно создать несколько блоков для разных User-agent.

Выберите бота (User-agent):

Правила (Disallow / Allow):

Sitemap (необязательно):

Host (для Яндекса, необязательно): Указывается основной домен сайта, например example.com (без http). Если оставить пустым, подставится домен сайта.

Что такое robots.txt и зачем он нужен?

Robots.txt — это текстовый файл в корне вашего сайта, который даёт инструкции поисковым роботам (ботам) о том, какие страницы и разделы можно сканировать, а какие — нет. Это своего рода «дорожная карта» для поисковиков, которая помогает управлять индексацией и экономить краулинговый бюджет.

Правильно настроенный robots.txt помогает:

запретить индексацию служебных и технических страниц (админка, папки с плагинами, дубли);
ускорить индексацию важного контента;
указать путь к Sitemap для более быстрого обнаружения новых страниц;
сообщить поисковикам основной домен (директива Host для Яндекса).

Как работает наш конструктор robots.txt

Инструмент позволяет создать файл robots.txt без необходимости разбираться в синтаксисе. Вам нужно:

Выбрать бота — для кого вы пишете правила (все боты, Googlebot, Yandex и др.).
Добавить правила — для каждой папки или страницы вы можете указать:
- Disallow — запретить сканирование;
- Allow — разрешить сканирование (иногда требуется для уточнения).
Указать Sitemap (необязательно) — ссылку на вашу карту сайта, чтобы поисковики быстрее находили новые материалы.
Указать Host (необязательно, но рекомендуется для Яндекса) — основной домен вашего сайта (например, example.com).
Нажать кнопку «Сгенерировать robots.txt» и скопировать готовый код.

После этого сохраните полученный текст в файл с именем robots.txt и загрузите его в корневую папку вашего сайта (туда же, где лежат index.php или wp-config.php).

Советы и рекомендации

Не запрещайте слишком много. Если вы случайно запретите сканирование CSS, JS или картинок, это может навредить рендерингу страниц. Обычно запрещают только служебные папки: /wp-admin/, /cgi-bin/, /tmp/.
Разрешайте только то, что нужно. Если у вас есть папка с полезными файлами, но внутри неё есть скрытые каталоги — лучше запретить их отдельно.
Указывайте Sitemap. Это помогает поисковикам быстрее находить новые страницы, особенно если у вас небольшой сайт.
Для Яндекса добавьте Host. Это помогает Яндекс.Роботу правильно определить основной домен, если сайт доступен по разным зеркалам.
Проверьте файл после установки. Откройте в браузере https://ваш-сайт.ru/robots.txt и убедитесь, что он отображается корректно.
Не полагайтесь на robots.txt как на средство безопасности. Файл лишь даёт рекомендации, но злоумышленники могут его игнорировать. Для защиты используйте пароли и .htaccess.

Примеры частых конфигураций

Для WordPress (базовый):

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ваш-сайт.ru/sitemap.xml
Host: ваш-сайт.ru

Для интернет-магазина:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /search/

Sitemap: https://ваш-сайт.ru/sitemap.xml

Для сайта, который ещё в разработке:

User-agent: *
Disallow: /

Конструктор robots.txt