Генератор правил блокировки ботов
Выберите, каких краулеров не пускать, — генератор соберёт готовые правила для robots.txt, nginx и Apache. Роботы Яндекса и Google в списки не входят, поиск не пострадает.
Кого стоит блокировать
- SEO-сервисы (Ahrefs, Semrush, Majestic и другие) собирают ссылки и тексты для своих баз. Если вы сами ими не пользуетесь, их можно закрыть — это снизит нагрузку и спрячет данные от конкурентов, которые анализируют вас через эти сервисы.
- AI-краулеры собирают тексты для обучения и ответов нейросетей. Закрывать их или нет — решение владельца: часть приносит переходы из ответов нейросетей, часть просто забирает контент.
Роботов Яндекса и Google в генераторе нет специально: закрыв их, вы потеряете поисковый трафик.
Чем отличаются варианты
- robots.txt — просьба не заходить. Её соблюдают честные краулеры, в том числе все перечисленные в списке. Некоторые имена (Google-Extended, Applebot-Extended) существуют только как правила robots.txt и не ходят на сайт отдельно.
- nginx и .htaccess — жёсткий запрет по User-Agent: сервер отвечает ошибкой 403. Работает, даже если бот игнорирует robots.txt, но только пока он честно называет себя.
А как же вредные боты?
Боты для накрутки, скликивания и спама не называют себя в User-Agent — они выдают себя за обычный Chrome. Ни robots.txt, ни правила по User-Agent их не остановят. Для них нужна проверка браузера, сети и поведения — так работают антибот-сервисы, например nbots. Подробнее — в статье «Защита сайта от ботов».
Частые вопросы
Не заблокирую ли я Яндекс или Google?
Нет. В генераторе нет роботов поисковых систем, правила затрагивают только выбранных краулеров.
Что лучше: robots.txt или nginx?
robots.txt достаточно для честных краулеров. Если бот его игнорирует, но называет себя в User-Agent, поможет запрет в nginx или .htaccess.
Защитит ли это от ботов-накрутчиков?
Нет. Вредные боты выдают себя за обычные браузеры, их можно отличить только по признакам браузера, сети и поведения.
Где лежит robots.txt?
В корне сайта: ваш-сайт.ru/robots.txt. На конструкторах его обычно редактируют в настройках SEO.
Что вернёт сервер заблокированному боту?
Ошибку 403 — доступ запрещён. Нагрузки на сайт такой запрос почти не создаёт.
Можно ли заблокировать бота по IP вместо User-Agent?
Можно, если у бота постоянные адреса. Но адреса у многих сервисов меняются, а у вредных ботов — постоянно.