쿡의 거리 (Cook's Distance)
쉽게 풀면
학급 30명의 평균 키를 구했는데, 그중 한 명이 유난히 키가 크다면 그 한 명을 빼고 다시 계산했을 때 평균이 크게 바뀔 것입니다. 쿡의 거리는 회귀분석에서 바로 이런 질문을 던집니다. "이 데이터 하나를 빼면 회귀선(예측 결과)이 얼마나 크게 움직이는가?" 단순히 값이 크거나 작은 이상치라고 해서 항상 문제가 되는 건 아니지만, 그 값 하나 때문에 전체 회귀선의 기울기나 예측 결과가 크게 흔들린다면 그 관측치는 "영향점(influential point)"으로 특별히 주의해서 살펴봐야 합니다. 쿡의 거리가 크다는 것은 바로 이런 영향력이 크다는 뜻입니다.
왜 중요한가
회귀분석 결과는 소수의 관측치에 의해 크게 왜곡될 수 있는데, 쿡의 거리는 어떤 데이터가 그런 영향을 미치는지 체계적으로 짚어내는 표준적인 진단 도구입니다. 사회과학, 의학, 경제학 등 회귀모형을 활용하는 거의 모든 실증 연구에서 결과의 신뢰성을 검증하는 단계로 등장하며, 특정 소수 표본에 의한 결론 왜곡 가능성을 독자에게 투명하게 보여주는 역할을 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 특정 데이터 두 건이 전체 회귀분석 결과에 지나치게 큰 영향을 주고 있음을 발견했고, 그 데이터를 빼도 결론이 유지되는지 추가로 확인했다는 뜻입니다.
경제학이나 정치학의 패널 데이터 연구에서, 특정 국가나 시기 하나가 전체 결론을 좌우하지 않는지 확인하는 강건성 점검 절차로 쓰이는 사례입니다.
의학 통계에서는 극단적으로 큰 영향력을 갖는 관측치가 실제 측정 오류나 입력 오류일 가능성을 점검하는 데도 쿡의 거리가 활용된다는 뜻입니다.
조금 더 깊게 보면
쿡의 거리는 개념적으로 레버리지(leverage, 해당 관측치의 설명변수 값이 얼마나 극단적인지)와 잔차(residual, 예측값과 실제값의 차이)를 함께 반영해 계산됩니다. 즉 설명변수 값이 극단적이면서 동시에 모형이 그 값을 잘 예측하지 못하는 관측치일수록 쿡의 거리가 커지는 구조입니다. 실무에서는 절대적인 임계값보다 관측치들 사이의 상대적인 쿡의 거리 크기를 비교하거나, 레버리지-잔차 산점도와 함께 시각적으로 확인하는 방식이 널리 쓰입니다.
주의할 점
쿡의 거리가 큰 관측치라고 해서 무조건 제거해서는 안 되며, 입력 오류인지 아니면 실제로 존재하는 극단적이지만 유효한 값인지를 먼저 확인해야 합니다. 값이 크다고 무조건 이상치인 것도 아니고, 이상치라고 해서 항상 쿡의 거리가 큰 것도 아니라는 점에서 두 개념은 구분됩니다.