Проверка robots.txt
Вставьте содержимое robots.txt и адреса страниц — увидите, какой робот какую страницу может сканировать и почему. Инструмент работает по правилам Яндекса и Google и подсказывает ошибки в файле.
Замечания к файлу
Содержание
Как проверить robots.txt
- Откройте в браузере адрес
https://ваш-сайт.ru/robots.txtи скопируйте весь текст. - Вставьте его в первое поле, а во второе — адреса страниц, которые хотите проверить.
- Отметьте роботов и нажмите «Проверить». Для каждого адреса появится результат и правило, которое сработало.
Инструмент проверяет текст, который вы вставили, поэтому им удобно тестировать правки до того, как выкладывать файл на сайт.
Как роботы читают robots.txt
- Выбор секции. Робот ищет секцию со своим названием. Роботы Яндекса, читающие общие правила, затем ищут
User-agent: Yandexи только потомUser-agent: *. Используется одна секция, правила из разных не складываются. - Самое длинное правило. Если к адресу подходят и Allow, и Disallow, побеждает правило с более длинным путём. При равной длине — Allow.
- Звёздочка и доллар.
*— любая последовательность символов,$— конец адреса.Disallow: /*.pdf$закрывает все PDF. - Пустой Disallow ничего не запрещает.
- Регистр имеет значение в путях:
/Catalog/и/catalog/— разные адреса.
Частые ошибки
| Ошибка | Что происходит |
|---|---|
Disallow: / после переноса с тестового сайта | Сайт полностью закрыт от поиска |
| Закрыты папки со скриптами и стилями | Поисковик видит страницу «сломанной» и хуже понимает её содержание |
| Относительный адрес в Sitemap | Роботы не найдут карту сайта |
Правила для Яндекса только в секции *, а рядом есть секция Yandex | Яндекс читает только свою секцию и не видит общих правил |
| Host и Crawl-delay | Яндекс и Google их не учитывают |
robots.txt — не защита
robots.txt — просьба, а не замок. Её выполняют честные роботы: поисковики и крупные сервисы. Парсеры и боты его не читают, а иногда используют, чтобы найти закрытые разделы. Поэтому не перечисляйте в robots.txt секретные адреса и защищайте их паролем. Как отсечь ботов, которые не слушаются robots.txt, — в статье о защите от парсинга.
Частые вопросы
Что будет, если robots.txt нет?
Роботы будут считать, что сайт полностью открыт для сканирования. Это не ошибка, но без файла нельзя закрыть служебные страницы и указать карту сайта.
Закрывает ли Disallow страницу от индексации?
Не всегда. Disallow запрещает сканировать страницу, но Google может добавить её в индекс без содержимого, если на неё есть ссылки. Чтобы страница точно не попала в поиск, используйте метатег noindex и не закрывайте её в robots.txt.
Почему инструмент показывает другой результат, чем Вебмастер?
Проверьте, что вставили актуальную версию файла и тот же адрес. Различия возможны в редких случаях — например, у отдельных роботов Яндекса, которые не читают общие правила.
Как закрыть сайт от AI-краулеров?
Добавьте секции с их названиями — GPTBot, ClaudeBot, CCBot и другие — и правилом Disallow: /. Готовые правила собирает генератор блокировки ботов. Для Яндекса отдельно есть YandexAdditional.
Нужно ли писать отдельную секцию для Яндекса?
Не обязательно. Если правила для всех одинаковые, хватит секции User-agent: *. Отдельная секция нужна для директив только Яндекса, например Clean-param, — но тогда в неё нужно продублировать все общие правила.
Что такое Clean-param?
Директива Яндекса, которая говорит, какие параметры адреса не меняют содержимое страницы — например, метки рекламы. Робот не будет обходить такие дубли.
Как быстро роботы увидят изменения?
Яндекс и Google перечитывают robots.txt регулярно, обычно в течение суток. В Вебмастере и Search Console можно проверить новую версию сразу.