Боты и A/B-тесты: почему эксперимент показывает не то
A/B-тест — способ принимать решения по данным, а не по ощущениям. Но если в данных четверть посетителей — боты, тест отвечает не на тот вопрос. Разбираем, как боты искажают эксперименты и что сделать, чтобы им можно было верить.
Содержание
Коротко
- Боты в обеих группах размывают разницу, и тест идёт дольше.
- Если ботов в группах разное количество, тест может выбрать худший вариант.
- Неравные группы вместо 50/50 — признак, что распределение сломано.
- Считайте результат только по проверенным посетителям и «тяжёлым» целям.
Как боты портят эксперимент
| Эффект | Что происходит | Чем опасно |
|---|---|---|
| Размывание | Боты попадают в обе группы и не конвертируются | Конверсия в обеих группах ниже настоящей, разница между вариантами кажется меньше. Тест идёт дольше или не находит улучшение |
| Ложный победитель | Ботов в одной группе больше, чем в другой | Вариант «проигрывает» не потому, что хуже, а потому что в нём больше ботов |
| Ложные конверсии | Боты выполняют цель — клик, отправку формы | Выигрывает вариант, где боту проще кликнуть, а не тот, что лучше для людей |
| Нарушение баланса групп | Группы должны быть 50/50, а получается 53/47 | Признак того, что распределение сломано — часто из-за ботов, которые не хранят cookie и попадают в группы заново |
Посчитаем на примере
Вы тестируете новую форму заявки. Настоящая конверсия людей: 4% в варианте A и 4,6% в варианте B — улучшение на 15%. Посмотрите, что покажет тест, если ботов в группах разное количество.
- Конверсия A в отчёте
- —
- Конверсия B в отчёте
- —
- Разница в отчёте
- —
- Настоящая разница
- —
Считаем, что боты не выполняют цель. Если выполняют — искажение ещё сильнее.
Почему ботов в группах бывает разное количество
- Боты не хранят cookie. Каждый визит такой бот заново попадает в случайную группу, и его визиты распределяются иначе, чем визиты людей.
- Варианты по-разному загружаются. Если новый вариант подгружается скриптом, простые боты без JavaScript видят только старый.
- Разные адреса страниц. Если варианты на разных URL, боты, которые ходят по старым ссылкам, попадают только в один.
- Всплеск ботов в середине теста. Ночь с накруткой может прийтись на день, когда одна группа уже набрала больше визитов.
Как очистить эксперимент
- Отделите ботов до анализа
Считайте результаты по сегменту проверенных людей, а не по всем визитам.
- Выберите «тяжёлую» цель
Принятая заявка или оплата, а не клик по кнопке, который может выполнить бот.
- Проверьте баланс групп
Если при 50/50 получилось заметно неровно на большой выборке — ищите причину, прежде чем смотреть на конверсию.
- Распределяйте одинаково
Оба варианта на одном адресе, одинаковая загрузка, одна и та же логика назначения группы.
- Смотрите на динамику по дням
Если победитель меняется после ночного всплеска трафика — это повод проверить ботов в эти дни.
Не только A/B-тесты
Та же проблема — с любой конверсией сайта. Если боты составляют заметную долю визитов, общая конверсия занижена, а сравнение месяцев, источников и страниц врёт: растёт не интерес людей, а активность ботов. Прежде чем делать выводы о сайте, оцените долю ботов в трафике — хотя бы по отчёту «Роботы» в Метрике, а лучше с помощью отдельной проверки посетителей.
Частые вопросы
Как боты влияют на результаты A/B-теста?
Размывают разницу между вариантами, если их поровну, и создают ложного победителя, если в одной группе ботов больше. А если боты выполняют цель, выигрывает вариант, удобный для бота.
Что такое sample ratio mismatch?
Несовпадение размеров групп с заданным соотношением, например 53/47 вместо 50/50 на большой выборке. Это признак, что распределение сломано, и результатам такого теста доверять нельзя, пока не найдена причина.
Как исключить ботов из A/B-теста?
Считать результаты только по визитам, которые прошли проверку на бота, использовать «тяжёлые» цели вроде принятой заявки и проверять баланс групп. Отчёт по сегменту без роботов — минимум, но он ловит только простых ботов.
Сколько ботов допустимо в A/B-тесте?
Сама доля не так важна, как её равенство в группах. Даже 5% ботов поровну лишь немного размоют результат, а разница в 10–15 пунктов между группами может перевернуть вывод.
Есть ли в Метрике A/B-тесты?
У Яндекса есть отдельный сервис экспериментов Varioqub, который работает вместе с Метрикой. Но он не убирает ботов сам — сегмент без роботов в Метрике ловит только простых.
Почему результаты теста в Метрике и в сервисе экспериментов разные?
Сервисы по-разному считают визиты и пользователей и по-разному отсекают роботов. Если расхождение большое, проверьте долю ботов и баланс групп.