결측치 처리 (Missing Data Handling)

통계
한 줄 정의: 설문이나 실험 과정에서 응답하지 않았거나 측정되지 않아 비어 있는 값(결측치)을 분석 전에 어떻게 처리할지 결정하는 절차입니다.

쉽게 풀면

시험지를 100장 걷었는데 5장은 특정 문항에 답이 비어 있다고 해봅시다. 이 5장을 어떻게 처리할까요? 그냥 그 학생의 시험지 전체를 채점에서 빼버릴 수도 있고(제거), 다른 학생들의 평균 점수로 빈칸을 채울 수도 있고(대체), 그 학생의 다른 답안 패턴을 보고 그럴듯한 값을 추정해 넣을 수도 있습니다(다중대체). 결측치 처리란 바로 이렇게 "비어 있는 값을 그냥 둘지, 빼버릴지, 채워 넣을지"를 정하는 과정입니다.

왜 중요한가

결측치 처리는 어떤 통계 분석이든 실제 자료에 적용하기 전에 반드시 거쳐야 하는 실무적 단계이기 때문에, 거의 모든 실증 연구 논문의 방법론 절에서 다뤄집니다. 처리 방식에 따라 표본 크기, 추정치의 정밀도, 심하면 결론 자체가 달라질 수 있어, 연구의 재현성과 신뢰성을 평가할 때 결측치를 어떻게 다뤘는지가 중요한 검토 항목이 됩니다.

핵심 정리

결측치를 어떻게 다룰지는 왜 비었는가(결측 기제)에 달려 있습니다(Rubin, 1976).

기제뜻예
MCAR (완전 무작위 결측)결측 여부가 어떤 변수와도 무관설문지 일부가 우연히 오염되어 판독 불가
MAR (무작위 결측)결측 여부가 관측된 변수로 설명됨고연령자가 소득 문항에 더 많이 답하지 않음(연령은 관측됨)
MNAR (비무작위 결측)결측 여부가 결측된 값 자체와 관련됨소득이 높은 사람일수록 소득을 안 밝힘

예시로 보기

모의 자료(n = 2,000, 계산 결과)로 확인해 봅시다. 변수 y의 실제 평균은 0.00이고 x와 상관이 있습니다. y에 결측을 만들고, 결측 없는 사례만 쓴 평균을 비교합니다.

결측 기제결측 비율완전사례 평균
MCAR (무작위로 30%)30%0.00
MAR (x가 클수록 y를 잃음)31%−0.23
MNAR (y가 클수록 y를 잃음)32%−0.36

MCAR에서는 완전사례분석이 편향되지 않지만 표본이 줄어듭니다. MAR에서는 y가 x와 관련된 만큼 평균이 한쪽으로 치우칩니다. 이때 관측된 x로 y의 결측을 설명하는 회귀대체를 하면 평균이 −0.02로 참값에 가까워집니다(MAR이므로 가능). MNAR에서는 x 같은 관측 변수로 보정되지 않으며, 결측 기제에 대한 별도의 가정과 민감도 분석이 필요합니다.

자주 하는 오해

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"결측치는 문항별 5% 미만으로 확인되었으며, 다중대체법(multiple imputation)을 적용하여 분석하였다."

빠진 값이 많지 않았지만 단순히 지우는 대신, 통계적으로 그럴듯한 값을 추정해 채워 넣는 방법을 사용해 분석했다는 뜻입니다.

"장기 추적 코호트 연구에서 중도 탈락으로 인한 결측치는 완전정보 최대우도법(FIML)을 이용해 처리하여 관측된 사례를 최대한 활용하였다."

역학 및 종단연구에서 추적 관찰 기간 동안 발생하는 결측치를 다룰 때 흔히 인용된다.

"설문 응답 중 특정 문항에 대한 결측 비율이 20%를 넘는 항목은 분석에서 제외하고, 나머지 결측치는 평균 대체법으로 처리하였다."

사회조사 연구에서 결측 비율에 따라 처리 전략을 달리 적용하는 방식을 설명할 때 활용된다.

조금 더 깊게 보면

결측치 처리 방법을 고르기 전에는 먼저 결측 메커니즘 (MCAR/MAR/MNAR)(MCAR, MAR, MNAR)을 파악하는 것이 순서상 앞서는데, 어떤 메커니즘을 가정하느냐에 따라 목록별 삭제, 단순 대체, 다중대체법, 완전정보 최대우도법 중 무엇이 적절한지가 달라지기 때문입니다. 최근 논문에서는 단일 값으로 채워 넣는 단순 대체보다, 불확실성을 반영해 여러 개의 그럴듯한 데이터셋을 만들어 결과를 종합하는 다중대체법이 더 엄밀한 방법으로 선호되는 경향이 있습니다.

주의할 점

결측치가 있는 사례를 아무 설명 없이 통째로 빼버리는 방식(목록별 삭제)은 간단하지만, 결측이 무작위로 생긴 것이 아니라 특정 응답 경향과 관련되어 있다면 선택편향과 비슷한 방식으로 결과를 왜곡시킬 수 있습니다. 따라서 결측치가 왜 생겼는지, 어떤 방식으로 처리했는지를 논문에 명시하는 것이 중요합니다.

헷갈리기 쉬운 용어

‘값이 없다’에도 여러 종류가 있어 처리도 다릅니다.

용어뜻처리
결측치측정·응답이 되지 않아 값을 모름결측 기제를 따져 대체·최대우도 등으로 처리
이상치값은 있지만 다른 값들과 동떨어짐오류인지 실제 값인지 확인 후 결정
무응답설문에 응답하지 않음(단위 또는 문항)가중치 보정이나 대체 등
중도절단(검열)생존분석에서 관찰이 끝났을 때까지 사건이 없었음결측이 아니라 ‘그 시점 이후’라는 정보. 생존분석 방법으로 처리
리틀의 MCAR 검정결측이 완전 무작위인지 검정기제 중 MCAR만 검토할 수 있음

결측치 처리의 첫 단계는 ‘채우는 방법’이 아니라 ‘왜 비었는지’를 이해하는 일입니다.

참고 문헌

  1. Rubin, D. B. (1976). Inference and missing data. Biometrika, 63(3), 581–592.
  2. Little, R. J. A., & Rubin, D. B. (2019). Statistical Analysis with Missing Data (3rd ed.). Wiley.
  3. Schafer, J. L., & Graham, J. W. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7(2), 147–177.
  4. Enders, C. K. (2010). Applied Missing Data Analysis. Guilford Press.
  5. Little, R. J. A. (1988). A test of missing completely at random for multivariate data with missing values. Journal of the American Statistical Association, 83(404), 1198–1202.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

개념 계통

하위 개념

분야 전체 개념 지도 보기 →

관련 용어