Ваши данные
Вставьте таблицу прямо из Excel или Google Таблиц либо перетащите CSV-файл. Никуда ничего не загружается — весь расчёт идёт внутри этой вкладки браузера.
CSV, TSV или обычный текст. Файлы в windows-1251 распознаются и перечитываются автоматически, поэтому кириллица в заголовках не превращается в кракозябры.
Настройки разбора
Столбцы
Результат
Сохранить и поделиться
Библиотека отрисовки скачивается только при нажатии кнопки и только на этой странице.
Все вычисления выполняются локально в браузере: разбор, график, экспорт. Если отключите сеть, страница продолжит работать.
Факты и границы применимости
| Какой критерий | Критерий Уэлча — не требует равенства дисперсий |
|---|---|
| Почему Уэлч | Классический вариант Стьюдента завышает значимость, когда объёмы или разбросы групп различаются |
| Степени свободы | Приближение Уэлча—Саттертуэйта, обычно дробное |
| p-значение | Точное, из распределения Стьюдента через регуляризованную неполную бета-функцию |
| Величина эффекта | d Коэна, считается с объединённым стандартным отклонением |
| Минимум строк | 2 на группу; осмысленно — около 15 в каждой |
Когда этот метод вводит в заблуждение
- p-значение — это не вероятность того, что ваша гипотеза верна, и не вероятность того, что результат случаен. Это вероятность увидеть разницу не меньше наблюдаемой, если бы у двух групп действительно было одинаковое среднее, — тонко, но существенно другое утверждение.
- Статистическая значимость — не практическая важность. При достаточном числе строк разница в две секунды на пятиминутной задаче становится высокозначимой и остаётся несущественной. Поэтому рядом с p выводится d Коэна: d меньше 0,2 — ничтожный эффект, каким бы малым ни было p-значение.
- Критерий сравнивает средние и потому слеп ко всему остальному. Две группы с одинаковыми средними и совершенно разными разбросами дадут p около единицы, будучи очевидно разными процессами.
- Прогон критерия после подглядывания в данные или его повторение на множестве пар, пока что-нибудь не станет значимым, полностью обесценивает p-значение. Порог в 5% предполагает ровно одно заранее запланированное сравнение.
Как это считается
Статистика критерия — это разность двух средних, делённая на стандартную ошибку этой разности. Чем больше разница и чем меньше внутренняя изменчивость, тем больше t и тем менее правдоподобно, что у групп общее среднее.
Используется вариант Уэлча, а не классический критерий Стьюдента. Критерий Стьюдента предполагает равенство дисперсий двух групп, а когда его нет — обычный случай для реальных данных разного объёма — он выдаёт слишком малые p-значения и объявляет значимыми различия, которых нет.
Число степеней свободы получается из уравнения Уэлча—Саттертуэйта и обычно не является целым, и это особенность, а не ошибка: поправка подстраивает форму эталонного распределения под дисбаланс между группами.
d Коэна делит разность средних на объединённое стандартное отклонение, давая безразмерную меру того, насколько группы разошлись относительно своего внутреннего разброса. По договорённости 0,2 — малый эффект, 0,5 — средний, 0,8 — большой, и он не меняется при накоплении данных, в отличие от p-значения, которое сжимается бесконечно.
Вопросы и ответы
Что на самом деле означает p < 0,05?
Что разница не меньше наблюдаемой встречалась бы менее чем в 5% случаев, если бы у двух групп действительно было одинаковое среднее. Это утверждение о данных при некотором допущении, а не о вероятности того, что ваш вывод верен.
Почему Уэлч, а не стандартный t-критерий?
Потому что Уэлч не требует равенства дисперсий и почти ничего не теряет, когда они всё же равны. Современная статистическая практика рекомендует его по умолчанию, и именно он здесь и работает.
p значимо, а разница выглядит крошечной.
Посмотрите на d Коэна. d = 0,1 при значимом p означает, что у вас много данных и разница слишком мала, чтобы на неё реагировать. Значимость и важность — разные вопросы.
Мои два столбца парные?
Это непарный критерий, он трактует столбцы как независимые группы. Если каждая строка — это один и тот же объект, измеренный дважды, «до» и «после», правильным будет парный критерий, а эта страница занизит эффект.
Мои данные загружаются?
Нет. И статистика, и степени свободы, и p-значение считаются локально.