이상치 (Outlier)
쉽게 풀면
반 학생 30명의 용돈을 조사했는데 29명은 5만원 안팎인데 한 명만 500만원이라면, 그 한 명이 바로 이상치입니다. 이 값을 그대로 두고 평균을 계산하면 "우리 반 평균 용돈은 20만원"처럼 실제와 동떨어진 결론이 나올 수 있습니다. 이상치는 입력 실수나 측정 오류일 수도 있고, 실제로 존재하는 특이한 사례일 수도 있어서 무작정 지우기보다는 왜 그런 값이 나왔는지 먼저 확인하는 것이 중요합니다.
왜 중요한가
평균, 분산, 상관계수 같은 통계량은 극단값 하나에도 크게 흔들리기 때문에, 이상치를 어떻게 다루느냐에 따라 같은 데이터에서도 전혀 다른 결론이 나올 수 있습니다. 그래서 논문에서는 결과의 신뢰성을 뒷받침하기 위해 이상치 탐지와 처리 과정을 별도로 보고하는 경우가 많습니다. 또한 이상치가 단순 오류가 아니라 의미 있는 특이 사례일 수도 있어, 이를 어떻게 판단하고 다루었는지가 연구 설계 전반의 신뢰도와 재현성 문제로 이어집니다.
논문에서는 이렇게 쓰입니다
비정상적으로 튀는 값 3개를 걸러내고 나머지 데이터로 다시 통계 분석을 했다는 뜻입니다.
그래프로 데이터 분포를 그려보고, 대부분의 값에서 크게 벗어난 지점이 있는지 눈으로 먼저 살펴봤다는 뜻입니다.
기계나 장비가 잘못 측정해서 생긴 튀는 값은 아예 없는 값 취급해서, 이후 분석이나 모델 학습에 쓰지 않았다는 뜻입니다.
조금 더 깊게 보면
이상치를 판단하는 방법에는 평균에서 표준편차의 일정 배수 이상 벗어난 값을 기준으로 삼는 방법, 사분위범위(IQR)를 이용해 상하한을 정하는 방법, 회귀분석에서 잔차나 레버리지 값을 살펴보는 방법 등 여러 가지가 있습니다. 어떤 기준을 쓰느냐에 따라 걸러지는 값의 개수가 달라질 수 있어서, 논문에서는 사용한 기준을 명확히 밝히는 것이 일반적입니다. 또한 이상치를 완전히 제거하는 대신 순위로 변환하는 등 극단값의 영향을 덜 받는 방법(로버스트 통계)을 쓰기도 합니다.
주의할 점
이상치를 제거하는 기준(예: 평균에서 표준편차 3배 이상 벗어난 값)을 논문에 명시하지 않고 임의로 데이터를 빼면 결과를 왜곡시켰다는 비판을 받을 수 있습니다. 이상치 처리 방법과 이유를 반드시 밝혀야 합니다.