Боты на сайте: как понять, что они есть, и что делать

Кто такие боты и зачем они приходят

Бот — это программа, которая открывает страницы сайта вместо человека. Они бывают очень разными:

• Поисковые роботы — Яндекс, Google, Bing. Они индексируют сайт, без них он не попадёт в поиск. Их трогать нельзя.
• Сервисы SEO-аналитики — краулеры вроде AhrefsBot или SemrushBot. Собирают ссылки и тексты для своих баз. Вреда почти нет, но они создают нагрузку.
• Накрутчики поведенческих факторов — эмулируют «живых» посетителей из поиска, чтобы поднять или уронить сайт в выдаче. Именно они чаще всего дают странные всплески в Метрике.
• Скликиватели рекламы — кликают по объявлениям в Директе и РСЯ. Иногда это конкуренты, но чаще — площадки, которые зарабатывают на показах.
• Спам-боты и бомберы — заполняют формы: оставляют фейковые заявки, рекламу, чужие номера телефонов.
• Парсеры — копируют цены, каталог и тексты.

Признаки ботов на сайте

Ни один признак сам по себе ничего не доказывает, но если совпадают несколько — боты почти наверняка есть.

• В Метрике растут прямые заходы без видимой причины, особенно ночью и пачками.
• Много визитов по 0–15 секунд с одной страницей — высокая доля отказов на отдельных источниках.
• Резко выросла «роботность» в отчётах Метрики или трафик из одного города, браузера, разрешения экрана.
• В рекламе клики есть, а заявок нет: особенно с отдельных площадок РСЯ или в определённые часы.
• Заявки с бессмысленными именами, повторяющимися номерами или ссылками в тексте.
• Растёт нагрузка на сервер, а живых посетителей больше не стало.

Если трафик вырос, а продажи нет — первым делом проверьте, кто именно пришёл. Рост может оказаться полностью искусственным.

Как проверить, есть ли боты

1. Метрика. Откройте отчёт «Посещаемость», переключите «Данные» на сравнение с роботами и без. Если разница заметная — это ваша доля ботов, которых Метрика распознала. Тех, кто хорошо маскируется, она не видит. Подробнее — в статье про ботов в Метрике.
2. Источники и время. Посмотрите прямые заходы и отказы по часам: ровные пачки визитов по ночам — плохой знак.
3. Логи сервера. Ищите много запросов с одного IP или подсети, необычные User-Agent, обращения к несуществующим страницам.
4. Заявки. Сравните заявки с реальными звонками: сколько номеров не отвечает или «ничего не оставляли».
5. Отдельный сервис проверки. Антибот вроде nbots ставится одной строкой кода и показывает по каждому визиту: человек это или бот и почему. Бесплатного тарифа хватает, чтобы увидеть картину.

Чем опасны боты

• Неверные решения. По загрязнённой статистике вы отключаете работающую рекламу или усиливаете мусорную.
• Деньги в рекламе. Каждый клик бота в Директе оплачивается, если Яндекс сам его не отсёк. Боты ещё и «учат» автостратегии искать таких же ботов.
• Позиции в поиске. Накрутка с плохим поведением (визит и сразу уход) может ухудшить поведенческие факторы.
• Время менеджеров. Каждая фейковая заявка — это звонок впустую.

Тест на ботаПосмотрите, по каким признакам сайты отличают людей от программ — на примере своего браузера.Открыть

Что делать с ботами

Блокировать «всех роботов» нельзя — вы потеряете поисковики. Правильный порядок такой:

1. Измерить. Понять, сколько ботов и откуда. Без этого любая защита — стрельба вслепую.
2. Очистить статистику. Чтобы Метрика и цели считали только людей.
3. Закрыть формы. Проверять заявки до того, как они попадут менеджеру.
4. Защитить рекламу. Исключать ботов из показов и отключать мусорные площадки.
5. Включить блокировку там, где это нужно, — с проверкой для сомнительных посетителей, а не с жёстким баном.

Подробно все способы — от robots.txt до антибот-сервисов — разобраны в статье «Защита сайта от ботов».