Выбросы и правило 1.5 × IQR

В вечерней группе OpenStax правило 1.5 × IQR отмечает оценки 45 и 25.5 как выбросы: обе ниже 61.5.

Необычна ли оценка 45 для этой группы?

Начни с лаборатории ниже. В ней 22 оценки вечерней группы OpenStax с включёнными границами выбросов. Пока ничего не трогай, предположи: является ли 45 выбросом? А 25.5? Найди красные кольца, затем медленно перетаскивай 45 вверх и остановись, как только кольцо исчезнет. Запомни место. Остальная страница объяснит найденное число.

Выброс является значением, необычно далёким от остальных данных. Причиной может быть опечатка или неисправный датчик, но это также может быть реальный важный случай: единственный особняк среди домов или пациент с иной реакцией на лекарство. OpenStax советует изучать выбросы, а не удалять их автоматически. Но сначала нужен объективный способ решить, что считать «необычно далёким».

Две границы, каждая на 1.5 IQR дальше квартиля

Обычное правило строит две границы по квартилям. Нижняя граница Q1 − 1.5 × IQR, верхняя Q3 + 1.5 × IQR. Значение ниже нижней или выше верхней является потенциальным выбросом. Квартили выбраны не случайно. Выбросы не могут оттягивать границы наружу так, как они сдвигают среднее или стандартное отклонение.

Вернёмся в лабораторию. У вечерней группы Q1 = 78, Q3 = 89 и IQR = 11. Границы: 78 − 1.5 × 11 = 61.5 и 89 + 1.5 × 11 = 105.5. Именно при 61.5 у 45 исчезло кольцо. Оценки 45 и 25.5 ниже 61.5, поэтому обе являются выбросами; выше 105.5 оценок нет. Дневная группа с IQR 26.5 имеет границы 16.25 и 122.25, так что даже её оценки 32 внутри. Для 11 зарплат OpenStax Q1 = 40.5, Q3 = 69 и IQR = 28.5. Верхняя граница 69 + 42.75 = 111.75 тысячи долларов, значит, зарплата $120,000 является потенциальным выбросом. Для 13 цен домов верхняя граница $1,159,375. Дом за $5,500,000 далеко снаружи, а дом за $1,095,000 ещё внутри.

Две низкие оценки уменьшают среднее более чем на 4 балла

Сравни вечернюю группу с двумя выбросами и без них. Для всех 22 оценок среднее около 79.05, медиана 81, стандартное отклонение около 16.8. Без 45 и 25.5 оставшиеся 20 оценок имеют среднее около 83.43, медиану 82 и стандартное отклонение около 9.0. Среднее выросло более чем на 4 балла, стандартное отклонение почти вдвое уменьшилось, а медиана сдвинулась лишь на 1. Зарплаты показывают то же: удаление $120,000 снижает среднее примерно с $58,682 до $52,550, а медиана остаётся $54,000.

Что делать с выбросом? Сначала проверь, не ошибка ли это, например 25.5 вместо 85.5. Если ошибку можно исправить, исправь. Если значение настоящее, оставь его, укажи это и подумай о добавлении устойчивых показателей, медианы и IQR, рядом со средним и стандартным отклонением. Удаляя реальные значения ради удобства, ты меняешь рассказ данных. Правило служит сигналом, а не приговором. «Потенциальный выброс» означает «проверь здесь».