A
B
Результат
Уровень доверия
—
Введённые данные сохраняются в браузере — при следующем заходе всё останется на месте. На сервер они не уходят.
Расчёт носит справочный характер и не заменяет консультацию специалиста. Формулы и ставки могут не учитывать вашу ситуацию — сверяйте точные цифры перед принятием решений.
Как считается
Калькулятор использует z-тест для двух пропорций — стандартный статистический метод сравнения долей (конверсий) в двух независимых группах. Нулевая гипотеза: истинная конверсия A и B одинакова, а вся наблюдаемая разница — случайность выборки.
Уровень доверия показывает, насколько уверенно можно отвергнуть эту гипотезу: значение 95 % означает, что при отсутствии реальной разницы такой результат (или более выраженный) случайно наблюдался бы лишь в 5 % случаев. Чем больше посетителей в группах и чем сильнее разница в конверсии, тем выше уровень доверия.
95 % — это распространённый порог значимости, а не универсальный закон: в одних сферах используют более строгий порог (99 %), в других допускают более мягкий. Статистическая значимость сама по себе не означает, что найденный прирост стоит внедрять, — маленький, но надёжно измеренный прирост может быть меньше, чем стоимость внедрения изменения.
Важное методическое правило: нельзя останавливать тест и смотреть на значимость каждый день, реагируя на первое пересечение порога, — это резко завышает вероятность ложного срабатывания. Размер выборки и длительность теста стоит планировать заранее, до начала сбора данных, и не отклоняться от плана раньше срока.