결측치 처리 (Missing Data Handling)

한 줄 정의: 설문이나 실험 과정에서 응답하지 않았거나 측정되지 않아 비어 있는 값(결측치)을 분석 전에 어떻게 처리할지 결정하는 절차입니다.

쉽게 풀면

시험지를 100장 걷었는데 5장은 특정 문항에 답이 비어 있다고 해봅시다. 이 5장을 어떻게 처리할까요? 그냥 그 학생의 시험지 전체를 채점에서 빼버릴 수도 있고(제거), 다른 학생들의 평균 점수로 빈칸을 채울 수도 있고(대체), 그 학생의 다른 답안 패턴을 보고 그럴듯한 값을 추정해 넣을 수도 있습니다(다중대체). 결측치 처리란 바로 이렇게 "비어 있는 값을 그냥 둘지, 빼버릴지, 채워 넣을지"를 정하는 과정입니다.

왜 중요한가

결측치 처리는 어떤 통계 분석이든 실제 자료에 적용하기 전에 반드시 거쳐야 하는 실무적 단계이기 때문에, 거의 모든 실증 연구 논문의 방법론 절에서 다뤄집니다. 처리 방식에 따라 표본 크기, 추정치의 정밀도, 심하면 결론 자체가 달라질 수 있어, 연구의 재현성과 신뢰성을 평가할 때 결측치를 어떻게 다뤘는지가 중요한 검토 항목이 됩니다.

논문에서는 이렇게 쓰입니다

"결측치는 문항별 5% 미만으로 확인되었으며, 다중대체법(multiple imputation)을 적용하여 분석하였다."

빠진 값이 많지 않았지만 단순히 지우는 대신, 통계적으로 그럴듯한 값을 추정해 채워 넣는 방법을 사용해 분석했다는 뜻입니다.

"장기 추적 코호트 연구에서 중도 탈락으로 인한 결측치는 완전정보 최대우도법(FIML)을 이용해 처리하여 관측된 사례를 최대한 활용하였다."

역학 및 종단연구에서 추적 관찰 기간 동안 발생하는 결측치를 다룰 때 흔히 인용된다.

"설문 응답 중 특정 문항에 대한 결측 비율이 20%를 넘는 항목은 분석에서 제외하고, 나머지 결측치는 평균 대체법으로 처리하였다."

사회조사 연구에서 결측 비율에 따라 처리 전략을 달리 적용하는 방식을 설명할 때 활용된다.

조금 더 깊게 보면

결측치 처리 방법을 고르기 전에는 먼저 결측 메커니즘 (MCAR/MAR/MNAR)(MCAR, MAR, MNAR)을 파악하는 것이 순서상 앞서는데, 어떤 메커니즘을 가정하느냐에 따라 목록별 삭제, 단순 대체, 다중대체법, 완전정보 최대우도법 중 무엇이 적절한지가 달라지기 때문입니다. 최근 논문에서는 단일 값으로 채워 넣는 단순 대체보다, 불확실성을 반영해 여러 개의 그럴듯한 데이터셋을 만들어 결과를 종합하는 다중대체법이 더 엄밀한 방법으로 선호되는 경향이 있습니다.

주의할 점

결측치가 있는 사례를 아무 설명 없이 통째로 빼버리는 방식(목록별 삭제)은 간단하지만, 결측이 무작위로 생긴 것이 아니라 특정 응답 경향과 관련되어 있다면 선택편향과 비슷한 방식으로 결과를 왜곡시킬 수 있습니다. 따라서 결측치가 왜 생겼는지, 어떤 방식으로 처리했는지를 논문에 명시하는 것이 중요합니다.