Фильтрация трафика: как отсеять ботов
Ботов можно отсекать в пяти местах — от сети до отчётов в Метрике. На каждом уровне ловятся свои боты, и ни один уровень не закрывает всё. Разбираем, что где фильтровать.
Содержание
Коротко
- Ботов отсекают на пяти уровнях: сеть, сервер, страница, аналитика, реклама.
- Сеть и сервер спасают от падения сайта, страница — от накрутки, спама и скликивания.
- Небольшому сайту хватает пяти простых мер.
Пять уровней фильтрации
| Уровень | Что отсекает | Чем делается |
|---|---|---|
| Сеть | Объёмные атаки, флуд пакетами | Защита от DDoS у хостинга или провайдера |
| Сервер | Частые запросы, парсеры, перебор паролей | Лимиты в nginx, правила по User-Agent, WAF |
| Страница | Боты в браузере: накрутка, скликивание, спам | Антибот с проверкой браузера и поведения |
| Аналитика | Роботы в отчётах | Режим «без роботов», сегменты, загрузка Метрики только для людей |
| Реклама | Недействительные клики, мусорные площадки | Антифрод Директа, минус-площадки, исключение аудитории ботов |
Сеть и сервер
Первые два уровня защищают сайт от падения. Они работают с IP-адресами и частотой запросов и хорошо отсекают грубый трафик. Но бот, который заходит раз в минуту через обычный браузер и мобильный IP, для них неотличим от человека.
Страница
Здесь видно больше всего: признаки браузера, поведение мыши и прокрутки, история визитов. Именно на этом уровне ловятся боты, которые делают самое неприятное — накручивают поведение, кликают рекламу, отправляют формы. Сомнительным посетителям показывается проверка, людям ничего не мешает.
Аналитика и реклама
Последние два уровня не защищают сайт, а чистят данные и деньги. Если на странице уже отделили людей от ботов, Метрика и цели остаются чистыми, а ботов можно передать в Директ, чтобы им перестали показывать рекламу.
Минимальный набор для небольшого сайта
- Хостинг с базовой защитой от DDoS.
- Лимит запросов в nginx и закрытые лишние краулеры в robots.txt.
- Антибот на странице: сначала наблюдение, потом проверка для подозрительных.
- Метрика, которая загружается только для людей.
- Регулярная чистка площадок РСЯ.
Частые вопросы
Что такое фильтрация трафика простыми словами?
Это отсев нежелательных посетителей и запросов — ботов, атак, мусорных кликов — до того, как они нагрузят сайт, испортят статистику или потратят рекламный бюджет.
Где фильтровать ботов в первую очередь?
На странице: там видны признаки браузера и поведение, и ловятся боты, которые портят Метрику, заявки и рекламу. Сетевая фильтрация нужна в первую очередь от DDoS.
Можно ли фильтровать трафик в самой Метрике?
Можно смотреть отчёты без роботов и строить сегменты, а также включить фильтр роботов по поведению в настройках. Но это чистит только отчёты, а не сайт.
Чем WAF отличается от антибота?
WAF фильтрует запросы с атаками на уязвимости: внедрение кода, подбор паролей. Антибот отличает программы от людей по браузеру и поведению. Они дополняют друг друга.
Не отсечёт ли фильтрация поисковых роботов?
Отсечёт, если фильтровать по User-Agent и IP без проверки. Поисковых роботов нужно определять по обратному и прямому DNS.
Сколько трафика обычно отсекается?
Зависит от сайта и рекламы: от единиц процентов на сайтах без рекламы до трети и больше при активной рекламе в сетях.
Можно ли фильтровать трафик бесплатно?
Лимиты на сервере, robots.txt и фильтры Метрики бесплатны. Антибот-сервисы обычно имеют бесплатный тариф для небольших сайтов.