Бот-трафик: что это и как его отсечь
Бот-трафик — это визиты и запросы, которые делают программы, а не люди. Часть из них нужна — поисковые роботы, служебные сервисы. Другая часть портит статистику, тратит рекламный бюджет и нагружает сервер. Разбираем, как отделить одно от другого.
Содержание
Коротко
- Бот-трафик — обращения к сайту, которые делают программы.
- Поисковые и служебные боты нужны, вредные — портят статистику, рекламу и SEO.
- Метрика и логи видят только часть ботов — в настоящих браузерах их видит антибот.
Что такое бот-трафик
Это все обращения к сайту, которые делают программы: поисковые роботы, сервисы мониторинга, превью ссылок, парсеры, спам-боты, боты накрутки и скликивания. Отраслевые отчёты последних лет показывают, что автоматизированный трафик составляет около половины всего трафика в интернете, а заметная его часть приходится на вредных ботов.
Полезный и вредный бот-трафик
| Полезный | Вредный |
|---|---|
| Поисковые роботы Яндекса и Google | Боты накрутки поведенческих факторов |
| Робот Метрики, проверка рекламы Директа | Скликивание рекламы |
| Превью ссылок в мессенджерах | Спам в формах и комментариях |
| Мониторинг доступности, который вы подключили сами | Подбор паролей, сканеры уязвимостей |
| Свои тесты и интеграции | Агрессивный парсинг и лишние краулеры |
Чем вредит бот-трафик
- Статистика — отказы, время, цели и источники в Метрике искажаются, решения принимаются по ложным данным.
- Реклама — бюджет уходит на клики ботов, автостратегии учатся на поддельных конверсиях.
- SEO — накрутка и «минусовая» накрутка портят поведенческие факторы.
- Сервер — нагрузка от парсеров и сканеров, медленный сайт для людей.
- Менеджеры — время на разбор спам-заявок и звонки по фейковым номерам.
- Визитов роботов
- —
- Доля роботов
- —
Это только распознанные роботы. Боты в настоящих браузерах остаются в данных «без роботов».
Как измерить бот-трафик
- Метрика — разница между режимами «с роботами» и «без роботов» показывает распознанных роботов. Замаскированных ботов она не видит.
- Логи сервера — показывают поисковиков, краулеров и скрипты, но не ботов в настоящих браузерах.
- Антибот в режиме наблюдения — видит и тех, и других: по каждому визиту показывает, кто это, и причины.
Как отсечь вредный бот-трафик
- Закройте лишних краулеров
SEO- и AI-ботов, которые вам не нужны, — в robots.txt.
- Ограничьте частоту запросов
Лимиты в nginx снимают нагрузку от парсеров и сканеров.
- Проверяйте браузер
Ботов в настоящих браузерах отсекает только проверка браузера и поведения.
- Очистите статистику
Загружайте Метрику только людям — отчёты станут честными.
- Исключите ботов из рекламы
Аудитория ботов с корректировкой −100% и чистка площадок.
Частые вопросы
Сколько бот-трафика нормально для сайта?
Единой нормы нет: на небольшом сайте без рекламы вредных ботов может быть несколько процентов, на сайте с рекламой в РСЯ — десятки процентов. Важно не число, а рост и то, откуда боты приходят.
Нужно ли блокировать весь бот-трафик?
Нет. Поисковые роботы и служебные сервисы нужны сайту. Блокировать или проверять стоит только вредных ботов, а лишних краулеров можно закрыть в robots.txt.
Можно ли купить бот-трафик для сайта?
Купить можно, но это вредно: поисковики наказывают за накрутку, а реклама и статистика начинают учиться на ботах. Пользы для бизнеса от такого трафика нет.
Как понять, что трафик — боты?
По пачкам коротких визитов, росту прямых заходов без причины, одинаковым визитам из одного источника, высокой роботности в Метрике и росту целей без заявок.
Боты влияют на позиции сайта?
Могут: накрутка поведенческих факторов из поиска влияет на позиции, а нагрузка от парсеров замедляет сайт. Поисковые роботы, наоборот, нужны для индексации.
Откуда берётся бот-трафик на новом сайте?
Поисковые роботы и сканеры находят сайт почти сразу. Спам-боты приходят, когда находят форму, боты скликивания — когда запускается реклама.
Чем бот-трафик отличается от мусорного?
Мусорный трафик шире: в него входят и боты, и люди, которые никогда не станут клиентами, например случайные клики в приложениях.