무선오차와 체계적오차
쉽게 풀면
체중계로 같은 사람의 몸무게를 하루에 다섯 번 잰다고 해봅시다. 잴 때마다 62.1kg, 61.9kg, 62.3kg처럼 미세하게 다르게 나온다면, 이는 발을 딛는 위치나 순간적인 흔들림 같은 우연적 요인 때문입니다. 이런 식으로 특정 방향 없이 무작위로 흩어지는 오차를 무선오차라고 합니다. 그런데 만약 체중계 자체가 고장 나서 항상 실제보다 2kg 더 무겁게 나온다면, 다섯 번을 재도 매번 똑같이 2kg씩 부풀려집니다. 이렇게 항상 같은 방향과 크기로 값을 치우치게 만드는 오차를 체계적오차라고 합니다. 무선오차는 여러 번 측정해서 평균을 내면 어느 정도 상쇄되지만, 체계적오차는 아무리 여러 번 재도 저울을 고치지 않는 한 절대 사라지지 않습니다.
왜 중요한가
무선오차와 체계적오차의 구분은 측정 결과를 어떻게 개선하고 해석해야 하는지를 결정하는 출발점입니다. 무선오차가 큰 측정은 표본 수를 늘리거나 반복 측정으로 어느 정도 보완할 수 있지만, 체계적오차는 표본을 아무리 늘려도 사라지지 않고 결과를 특정 방향으로 왜곡시킵니다. 이 때문에 심리검사 개발, 설문 설계, 실험 계측 등 측정을 다루는 거의 모든 논문에서 신뢰도(무선오차 관련)와 타당도·편향(체계적오차 관련)을 구분해 보고하는 것이 방법론의 기본 요건으로 다뤄집니다.
논문에서는 이렇게 쓰입니다
이 문장은 "문항 간 일관성을 높여 우연적으로 흔들리는 오차는 줄였지만, 응답자가 항상 좋게 보이려고 답하는 경향처럼 일정한 방향으로 치우치는 오차는 신뢰도 지표만으로는 잡히지 않으므로 따로 확인했다"는 뜻입니다.
실험 장비를 알려진 표준값과 비교해 항상 일정 방향으로 치우치는 오차를 미리 바로잡고, 여러 번 측정해 얼마나 들쭉날쭉한지는 별도로 수치화했다는 뜻입니다.
조금 더 깊게 보면
통계적으로 무선오차는 측정의 정밀도(precision)와, 체계적오차는 정확도(accuracy)와 연결되는 개념으로 흔히 설명됩니다. 무선오차의 크기는 반복 측정값들의 표준편차나 표준오차로 나타낼 수 있는 반면, 체계적오차는 알려진 참값이나 표준 물질과 비교해야만 드러나기 때문에 측정 도구를 표준 기준으로 교정하는 과정이 중요하게 다뤄집니다. 심리측정 분야에서는 무선오차와 관련된 개념이 신뢰도(reliability)로, 체계적오차와 관련된 개념이 타당도(validity) 중에서도 특히 편향(bias) 문제로 이어진다는 점이 자주 강조됩니다.
주의할 점
신뢰도를 높이는 작업(문항 수를 늘리거나 표현을 통일하는 것)은 주로 무선오차를 줄이는 데 효과가 있을 뿐, 체계적오차(편향)에는 거의 도움이 되지 않습니다. 검사의 신뢰도 지표인 크론바흐 알파가 높다고 해서 그 검사에 체계적 편향이 없다고 오해해서는 안 됩니다.