신뢰도 (Reliability)
쉽게 풀면
같은 사람이 같은 체중계에 5분 간격으로 세 번 올라갔는데 매번 몸무게가 5kg씩 다르게 나온다면, 그 체중계는 신뢰도가 낮은 것입니다. 반대로 매번 거의 똑같은 값을 보여준다면 신뢰도가 높다고 말합니다. 신뢰도는 "정확히 맞았는가"가 아니라 "얼마나 일관되게 같은 결과를 내는가"에 대한 것입니다. 설문지도 마찬가지로, 같은 사람이 비슷한 시기에 다시 응답했을 때 비슷한 점수가 나와야 신뢰할 수 있는 도구라고 할 수 있습니다.
왜 중요한가
측정 도구가 매번 다른 결과를 내놓는다면 그 위에서 세운 어떤 이론적 결론도 신뢰할 수 없기 때문에, 신뢰도는 설문·척도·실험 측정 등 데이터를 수집하는 거의 모든 실증 연구에서 결과의 신뢰성을 뒷받침하는 기본 전제로 다뤄집니다. 특히 새로운 척도를 개발하거나 기존 척도를 다른 집단·문화권에 적용할 때는 신뢰도 검증이 논문의 필수 절차로 요구되며, 이는 후속 연구자들이 해당 도구를 안심하고 재사용할 수 있는 근거가 됩니다.
논문에서는 이렇게 쓰입니다
설문 문항들이 서로 일관되게 비슷한 방향으로 응답되었다는 뜻으로, 측정 도구의 신뢰도가 높다는 것을 의미합니다.
주관적 판단이 개입되는 질적 평가나 관찰 연구에서, 서로 다른 평가자들이 얼마나 일관된 판단을 내리는지를 신뢰도로 검증하는 사례입니다.
시간이 지나도 측정값이 크게 흔들리지 않는지를 확인하는 검사-재검사 신뢰도의 예로, 성격이나 태도처럼 비교적 안정적이라고 가정되는 특성을 측정하는 연구에서 자주 쓰입니다.
조금 더 깊게 보면
신뢰도는 측정하는 방식에 따라 여러 종류로 나뉩니다. 같은 도구를 시간을 두고 다시 실시했을 때의 일관성을 보는 검사-재검사 신뢰도, 여러 문항이 같은 개념을 얼마나 일관되게 측정하는지를 보는 내적 일관성 신뢰도(대표적으로 Cronbach's α), 그리고 서로 다른 평가자들의 판단이 얼마나 일치하는지를 보는 평가자 간 신뢰도가 대표적입니다. 어떤 유형의 신뢰도를 보고하느냐에 따라 검증하려는 일관성의 성격이 다르므로, 논문을 읽을 때는 어떤 신뢰도 지표를 사용했는지와 그 값이 해당 분야에서 통상 받아들여지는 수준인지를 함께 살펴보는 것이 좋습니다.
주의할 점
신뢰도가 높다고 해서 그 도구가 재려는 것을 제대로 재고 있다는 보장은 없습니다. 매번 똑같이 틀린 값을 낼 수도 있기 때문입니다. 신뢰도는 타당도의 필요조건일 뿐, 충분조건은 아닙니다.