Результат
Нужно посетителей на каждый вариант
—
Введённые данные сохраняются в браузере — при следующем заходе всё останется на месте. На сервер они не уходят.
Расчёт носит справочный характер и не заменяет консультацию специалиста. Формулы и ставки могут не учитывать вашу ситуацию — сверяйте точные цифры перед принятием решений.
Как считается
Расчёт использует стандартные для планирования A/B-тестов допущения: 95 %-я двусторонняя значимость и 80 %-я статистическая мощность — самая распространённая пара параметров, хотя не единственно возможная. При других требованиях к надёжности теста нужный размер выборки будет другим.
Минимальный обнаруживаемый эффект — это относительный, а не абсолютный прирост: значение 10 % при базовой конверсии 5 % означает, что тест должен надёжно отличать 5 % от 5,5 %, а не от 15 %. Чем меньше эффект нужно суметь обнаружить, тем больше нужно посетителей — и зависимость здесь не линейная, а гораздо более резкая: чтобы обнаружить вдвое меньший эффект, обычно нужно примерно в четыре раза больше данных.
Этот расчёт делается до запуска теста, а не после — он отвечает на вопрос «сколько нужно собрать данных, чтобы результату вообще можно было доверять». Проверка того, оказался ли результат уже проведённого теста статистически значимым, — задача калькулятора статистической значимости A/B-теста.