A/B тест - это сравнение двух версий страницы, письма или рекламного объявления на реальном трафике, чтобы решить, какая работает лучше, вместо того чтобы гадать на глаз. Половина посетителей видит вариант А, половина - вариант Б, а дальше остаётся посчитать конверсию каждого и сравнить. Калькулятор выше в режиме «Конверсия» считает эту долю за секунду - введите заказы и визиты по очереди для каждого варианта и запишите оба результата.
Формула конверсии для A/B теста
Конверсия каждого варианта считается одинаково, вне зависимости от того, вариант это А или Б:
Конверсия = заказы ÷ визиты × 100%
Никакой отдельной формулы для сравнения не требуется - просто считаете конверсию варианта А, потом конверсию варианта Б, и ставите два числа рядом.
Пример: как сравнить конверсию двух вариантов страницы
Допустим, интернет-магазин тестирует новую карточку товара. Половина трафика идёт на старую версию (вариант А), половина - на новую (вариант Б). За период теста набралась такая статистика.
| Вариант | Визиты | Заказы | Конверсия |
|---|---|---|---|
| А (старая версия) | 3000 | 60 | 2% |
| Б (новая версия) | 3000 | 84 | 2,8% |
Расчёт по каждому варианту:
Вариант А: 60 ÷ 3000 × 100% = 2% Вариант Б: 84 ÷ 3000 × 100% = 2,8%
Вариант Б конвертит лучше в абсолютных числах - на 0,8 процентных пункта выше. Но интереснее относительный прирост: 2,8 ÷ 2 = 1,4, то есть вариант Б приводит в 1,4 раза больше заказов с того же объёма трафика, или на 40% больше в относительном выражении. Для бизнеса это и есть практический вывод: если старая карточка при том же трафике давала 60 заказов, новая на сопоставимом объёме способна дать 84.
Абсолютная и относительная разница - в чём отличие
Тут легко запутаться, поэтому стоит развести два числа.
Абсолютная разница - это просто вычитание процентов: 2,8% - 2% = 0,8 процентных пункта. Она показывает разрыв в терминах самой конверсии.
Относительный прирост - это во сколько раз или на сколько процентов один вариант обошёл другой: 2,8 ÷ 2 = 1,4, то есть плюс 40%. Именно эта цифра обычно звучит в отчётах и презентациях, потому что нагляднее показывает масштаб эффекта.
Разница в 0,8 процентных пункта при базовой конверсии 2% - это много, а та же абсолютная разница при базовой конверсии 40% почти незаметна. Поэтому относительный прирост часто информативнее голой разницы в процентах.
Ограничение: это не статистическая значимость
Калькулятор выше считает только сами проценты конверсии - и ничего больше. Он не проверяет, случайна разница между вариантами или нет.
Дело в том, что при небольшом количестве визитов разница в конверсии может объясняться обычной случайностью, а не реальным превосходством одного варианта над другим. Если на каждый вариант пришлось по 50 визитов и 1-2 заказа, разница в проценты легко перевернётся при следующей сотне посетителей - выборка слишком мала, чтобы делать выводы.
Для настоящего A/B теста, на основании которого принимают решение (менять дизайн сайта или нет), одного сравнения процентов недостаточно. Нужен отдельный статистический расчёт - например, тест хи-квадрат или калькулятор статистической значимости A/B теста, который учитывает и размер выборки, и величину разницы, и выдаёт вероятность того, что результат не случаен. Чем больше трафика набрал тест и чем сильнее разрыв между вариантами, тем увереннее можно доверять выводу.
Зачем вообще проводить A/B тест
Интуиция подсказывает, какая версия страницы «выглядит лучше», но реальные посетители часто ведут себя иначе, чем кажется дизайнеру или маркетологу. Новая кнопка с другим текстом, укороченная форма заказа, изменённый заголовок на лендинге - любое из этих изменений может как повысить конверсию, так и незаметно её просадить.
A/B тест убирает догадки из процесса: два варианта показывают реальным посетителям одновременно, в одинаковых условиях, и через какое-то время просто сравнивают цифры. Такой подход дешевле, чем менять сайт вслепую и потом гадать, из-за чего просели продажи.
Что вводить в калькулятор для каждого варианта
Для расчёта нужны только два числа на вариант: сколько человек зашло на страницу (визиты) и сколько из них совершили целевое действие (заказы, заявки, регистрации). Переключите режим на «Конверсия», введите данные варианта А, запишите результат, затем замените цифры на данные варианта Б - калькулятор пересчитает конверсию мгновенно, без перезагрузки страницы.