Ваши данные
Вставьте таблицу прямо из Excel или Google Таблиц либо перетащите CSV-файл. Никуда ничего не загружается — весь расчёт идёт внутри этой вкладки браузера.
CSV, TSV или обычный текст. Файлы в windows-1251 распознаются и перечитываются автоматически, поэтому кириллица в заголовках не превращается в кракозябры.
Настройки разбора
Столбцы
Результат
Сохранить и поделиться
Библиотека отрисовки скачивается только при нажатии кнопки и только на этой странице.
У этой страницы вообще нет серверной части. Вставленная таблица разбирается кодом JavaScript внутри вашего же браузера, график рисуется на элементе canvas на вашей машине, файл экспорта собирается локально. Ничего не загружается, не хранится и не пишется ни в какие логи. После загрузки страницы можно отключить сеть — всё продолжит работать, и это самый простой способ проверить обещание самостоятельно.
Факты и границы применимости
| Какой критерий | Критерий Уэлча — не требует равенства дисперсий |
|---|---|
| Почему Уэлч | Классический вариант Стьюдента завышает значимость, когда объёмы или разбросы групп различаются |
| Степени свободы | Приближение Уэлча—Саттертуэйта, обычно дробное |
| p-значение | Точное, из распределения Стьюдента через регуляризованную неполную бета-функцию |
| Величина эффекта | d Коэна, считается с объединённым стандартным отклонением |
| Минимум строк | 2 на группу; осмысленно — около 15 в каждой |
Когда этот метод вводит в заблуждение
- p-значение — это не вероятность того, что ваша гипотеза верна, и не вероятность того, что результат случаен. Это вероятность увидеть разницу не меньше наблюдаемой, если бы у двух групп действительно было одинаковое среднее, — тонко, но существенно другое утверждение.
- Статистическая значимость — не практическая важность. При достаточном числе строк разница в две секунды на пятиминутной задаче становится высокозначимой и остаётся несущественной. Поэтому рядом с p выводится d Коэна: d меньше 0,2 — ничтожный эффект, каким бы малым ни было p-значение.
- Критерий сравнивает средние и потому слеп ко всему остальному. Две группы с одинаковыми средними и совершенно разными разбросами дадут p около единицы, будучи очевидно разными процессами.
- Прогон критерия после подглядывания в данные или его повторение на множестве пар, пока что-нибудь не станет значимым, полностью обесценивает p-значение. Порог в 5% предполагает ровно одно заранее запланированное сравнение.
Как это считается
Статистика критерия — это разность двух средних, делённая на стандартную ошибку этой разности. Чем больше разница и чем меньше внутренняя изменчивость, тем больше t и тем менее правдоподобно, что у групп общее среднее.
Используется вариант Уэлча, а не классический критерий Стьюдента. Критерий Стьюдента предполагает равенство дисперсий двух групп, а когда его нет — обычный случай для реальных данных разного объёма — он выдаёт слишком малые p-значения и объявляет значимыми различия, которых нет.
Число степеней свободы получается из уравнения Уэлча—Саттертуэйта и обычно не является целым, и это особенность, а не ошибка: поправка подстраивает форму эталонного распределения под дисбаланс между группами.
d Коэна делит разность средних на объединённое стандартное отклонение, давая безразмерную меру того, насколько группы разошлись относительно своего внутреннего разброса. По договорённости 0,2 — малый эффект, 0,5 — средний, 0,8 — большой, и он не меняется при накоплении данных, в отличие от p-значения, которое сжимается бесконечно.
Вопросы и ответы
Что на самом деле означает p < 0,05?
Что разница не меньше наблюдаемой встречалась бы менее чем в 5% случаев, если бы у двух групп действительно было одинаковое среднее. Это утверждение о данных при некотором допущении, а не о вероятности того, что ваш вывод верен.
Почему Уэлч, а не стандартный t-критерий?
Потому что Уэлч не требует равенства дисперсий и почти ничего не теряет, когда они всё же равны. Современная статистическая практика рекомендует его по умолчанию, и именно он здесь и работает.
p значимо, а разница выглядит крошечной.
Посмотрите на d Коэна. d = 0,1 при значимом p означает, что у вас много данных и разница слишком мала, чтобы на неё реагировать. Значимость и важность — разные вопросы.
Мои два столбца парные?
Это непарный критерий, он трактует столбцы как независимые группы. Если каждая строка — это один и тот же объект, измеренный дважды, «до» и «после», правильным будет парный критерий, а эта страница занизит эффект.
Мои данные загружаются?
Нет. И статистика, и степени свободы, и p-значение считаются локально.