Метрика и аналитика

Боты и A/B-тесты: почему эксперимент показывает не то

A/B-тест — способ принимать решения по данным, а не по ощущениям. Но если в данных четверть посетителей — боты, тест отвечает не на тот вопрос. Разбираем, как боты искажают эксперименты и что сделать, чтобы им можно было верить.

Обновлено 18 ноября 20263 мин чтенияКоманда nbots

Содержание
  1. Как боты портят эксперимент
  2. Посчитаем на примере
  3. Почему ботов в группах бывает разное количество
  4. Как очистить эксперимент
  5. Не только A/B-тесты
  6. Частые вопросы

Коротко

  • Боты в обеих группах размывают разницу, и тест идёт дольше.
  • Если ботов в группах разное количество, тест может выбрать худший вариант.
  • Неравные группы вместо 50/50 — признак, что распределение сломано.
  • Считайте результат только по проверенным посетителям и «тяжёлым» целям.

Как боты портят эксперимент

ЭффектЧто происходитЧем опасно
РазмываниеБоты попадают в обе группы и не конвертируютсяКонверсия в обеих группах ниже настоящей, разница между вариантами кажется меньше. Тест идёт дольше или не находит улучшение
Ложный победительБотов в одной группе больше, чем в другойВариант «проигрывает» не потому, что хуже, а потому что в нём больше ботов
Ложные конверсииБоты выполняют цель — клик, отправку формыВыигрывает вариант, где боту проще кликнуть, а не тот, что лучше для людей
Нарушение баланса группГруппы должны быть 50/50, а получается 53/47Признак того, что распределение сломано — часто из-за ботов, которые не хранят cookie и попадают в группы заново

Посчитаем на примере

Вы тестируете новую форму заявки. Настоящая конверсия людей: 4% в варианте A и 4,6% в варианте B — улучшение на 15%. Посмотрите, что покажет тест, если ботов в группах разное количество.

Что покажет тест с ботами
Конверсия A в отчёте
—
Конверсия B в отчёте
—
Разница в отчёте
—
Настоящая разница
—

Считаем, что боты не выполняют цель. Если выполняют — искажение ещё сильнее.

Почему ботов в группах бывает разное количество

  • Боты не хранят cookie. Каждый визит такой бот заново попадает в случайную группу, и его визиты распределяются иначе, чем визиты людей.
  • Варианты по-разному загружаются. Если новый вариант подгружается скриптом, простые боты без JavaScript видят только старый.
  • Разные адреса страниц. Если варианты на разных URL, боты, которые ходят по старым ссылкам, попадают только в один.
  • Всплеск ботов в середине теста. Ночь с накруткой может прийтись на день, когда одна группа уже набрала больше визитов.

Как очистить эксперимент

  1. Отделите ботов до анализа

    Считайте результаты по сегменту проверенных людей, а не по всем визитам.

  2. Выберите «тяжёлую» цель

    Принятая заявка или оплата, а не клик по кнопке, который может выполнить бот.

  3. Проверьте баланс групп

    Если при 50/50 получилось заметно неровно на большой выборке — ищите причину, прежде чем смотреть на конверсию.

  4. Распределяйте одинаково

    Оба варианта на одном адресе, одинаковая загрузка, одна и та же логика назначения группы.

  5. Смотрите на динамику по дням

    Если победитель меняется после ночного всплеска трафика — это повод проверить ботов в эти дни.

Калькулятор ROMI, CPA и ДРРПосчитайте, окупится ли изменение, по настоящей конверсии людей.Открыть

Не только A/B-тесты

Та же проблема — с любой конверсией сайта. Если боты составляют заметную долю визитов, общая конверсия занижена, а сравнение месяцев, источников и страниц врёт: растёт не интерес людей, а активность ботов. Прежде чем делать выводы о сайте, оцените долю ботов в трафике — хотя бы по отчёту «Роботы» в Метрике, а лучше с помощью отдельной проверки посетителей.

Частые вопросы

Как боты влияют на результаты A/B-теста?

Размывают разницу между вариантами, если их поровну, и создают ложного победителя, если в одной группе ботов больше. А если боты выполняют цель, выигрывает вариант, удобный для бота.

Что такое sample ratio mismatch?

Несовпадение размеров групп с заданным соотношением, например 53/47 вместо 50/50 на большой выборке. Это признак, что распределение сломано, и результатам такого теста доверять нельзя, пока не найдена причина.

Как исключить ботов из A/B-теста?

Считать результаты только по визитам, которые прошли проверку на бота, использовать «тяжёлые» цели вроде принятой заявки и проверять баланс групп. Отчёт по сегменту без роботов — минимум, но он ловит только простых ботов.

Сколько ботов допустимо в A/B-тесте?

Сама доля не так важна, как её равенство в группах. Даже 5% ботов поровну лишь немного размоют результат, а разница в 10–15 пунктов между группами может перевернуть вывод.

Есть ли в Метрике A/B-тесты?

У Яндекса есть отдельный сервис экспериментов Varioqub, который работает вместе с Метрикой. Но он не убирает ботов сам — сегмент без роботов в Метрике ловит только простых.

Почему результаты теста в Метрике и в сервисе экспериментов разные?

Сервисы по-разному считают визиты и пользователей и по-разному отсекают роботов. Если расхождение большое, проверьте долю ботов и баланс групп.

Читайте также