Ваши данные
Вставьте таблицу прямо из Excel или Google Таблиц либо перетащите CSV-файл. Никуда ничего не загружается — весь расчёт идёт внутри этой вкладки браузера.
CSV, TSV или обычный текст. Файлы в windows-1251 распознаются и перечитываются автоматически, поэтому кириллица в заголовках не превращается в кракозябры.
Настройки разбора
Столбцы
Результат
Сохранить и поделиться
Библиотека отрисовки скачивается только при нажатии кнопки и только на этой странице.
У этой страницы вообще нет серверной части. Вставленная таблица разбирается кодом JavaScript внутри вашего же браузера, график рисуется на элементе canvas на вашей машине, файл экспорта собирается локально. Ничего не загружается, не хранится и не пишется ни в какие логи. После загрузки страницы можно отключить сеть — всё продолжит работать, и это самый простой способ проверить обещание самостоятельно.
Факты и границы применимости
| Правило IQR | За пределами Q1 − 1,5·IQR или Q3 + 1,5·IQR |
|---|---|
| Порог экстремальности | За пределами 3·IQR — помечается отдельно как экстремальный |
| Правило z-оценки | Модуль z больше 3, считается по выборочному стандартному отклонению |
| Устойчивость | IQR не зависит от самих выбросов, z-оценка зависит |
| Что выдаётся по строке | Значение, z-оценка и то, какое правило или правила сработали |
| Минимум строк | 4 |
Когда этот метод вводит в заблуждение
- Ни одно правило не знает, ошибочно ли значение. Настоящая рекордная продажа и съехавшая запятая выглядят для обоих одинаково. Обнаружение — это место, где расследование начинается, а не заканчивается.
- Правило z-оценки саморазрушительно на малых выборках. На 20 строках максимально возможная z-оценка около 4,2, а один сильный выброс раздувает стандартное отклонение достаточно, чтобы спрятать самого себя, — явление называется маскировкой.
- Множитель 1,5 помечает примерно 0,7% наблюдений даже на идеально нормальных данных. На столбце в 10 000 строк ждите около семидесяти точек за границами при полном отсутствии проблем.
- Оба правила предполагают одну совокупность. Если в столбце смешаны розничные и оптовые счета, оптовые строки будут помечены выбросами, хотя настоящая проблема в том, что объединили две группы.
Как это считается
Правило IQR строит границы на Q1 − 1,5·IQR и Q3 + 1,5·IQR. Поскольку квартили позиционны, границы не сдвигаются, когда выброс становится экстремальнее: значение, завышенное вдесятеро, ловится так же надёжно, как завышенное вдвое.
Правило z-оценки меряет каждое значение в стандартных отклонениях от среднего и помечает всё, что дальше трёх. Оба этих ингредиента сами искажаются выбросами — это ровно та слабость, которой нет у правила IQR, и причина, по которой запускаются оба, а не одно.
Третий порог на 3·IQR помечает экстремальные выбросы отдельно. Различие практическое: значение чуть за границей часто оказывается законным, а вышедшее за три межквартильных размаха — обычно либо ошибка, либо событие совсем другого рода.
Каждая помеченная строка выводится с её позицией в файле, чтобы можно было вернуться и посмотреть. В выгрузке лежат все строки с их z-оценками и колонкой-флагом: решение, что с ними делать, остаётся за вами, а не применяется молча.
Вопросы и ответы
Нужно ли удалять выбросы?
Не автоматически. Удаление значений за неудобство — то, как анализ идёт под откос. Сначала разберитесь: ошибку исправляют, настоящее экстремальное событие описывают, а смешанную совокупность разделяют на группы.
Правила противоречат друг другу. Какому верить?
При конфликте предпочитайте правило IQR: оно не искажается самими выбросами. Правило z-оценки полезнее как мера того, насколько значение экстремально, чем как детектор.
Почему ничего не помечено, хотя выброс очевиден?
Вероятно, маскировка: при малом числе строк одно экстремальное значение раздувает стандартное отклонение настолько, что его собственная z-оценка остаётся ниже 3. Проверьте, поймало ли его правило IQR, — обычно да.
Сколько выбросов — это уже слишком много?
Больше примерно 2–3% строк означает, что правила обнаруживают не аномалии, а описывают перекошенное распределение. Проверьте нормальность: на перекошенных данных границы помечают целый хвост.
Мои данные загружаются?
Нет. Оба правила отрабатывают целиком в вашем браузере.