🤖 Robots.txt: генератор и валидатор
Собери robots.txt из путей или проверь существующий по RFC 9309 и правилам Google/Yandex.
Поддержаны спец-символы * и $ в путях.
Звёздочка = все роботы. Имя — конкретному краулеру.
Работает как «исключение» внутри Disallow. Можно
* в середине пути.
Хвостовой
/ значим: /wp-admin ≠ /wp-admin/. $ в конце = точное совпадение.
Google, Bing и Yandex читают Sitemap из robots.txt.
Google игнорирует. Для Yandex — пауза между запросами в секундах.
👤 Зарегистрируйтесь, чтобы добавить материал в закладки.