검사-재검사 신뢰도 (Test-Retest Reliability)
쉽게 풀면
체중계를 하나 샀다고 해봅시다. 오늘 아침 몸무게를 재고, 몸무게에 별다른 변화가 없었을 내일 아침 같은 조건으로 다시 재봤을 때 비슷한 숫자가 나와야 그 저울을 믿을 수 있겠죠. 만약 오늘은 60kg, 내일은 75kg처럼 들쭉날쭉하다면 그 저울은 고장난 것입니다. 심리검사도 마찬가지입니다. 우울감이나 성격 특성처럼 단기간에 크게 변하지 않는 것을 재는 척도라면, 몇 주 간격을 두고 같은 사람에게 다시 실시했을 때도 비슷한 점수가 나와야 "믿을 만한(신뢰할 수 있는)" 검사라고 할 수 있습니다. 이 일관성의 정도를 수치화한 것이 검사-재검사 신뢰도입니다.
왜 중요한가
새로운 척도나 검사 도구를 개발할 때, 그 도구가 시간이 지나도 안정적으로 같은 특성을 측정하는지 보여주는 것은 타당화 절차의 핵심 단계입니다. 검사-재검사 신뢰도가 낮으면 그 척도로 측정한 변화가 실제 심리적·행동적 변화인지, 아니면 측정 자체의 불안정성인지 구분할 수 없기 때문에, 종단연구나 개입 효과 연구에서 신뢰도 확보는 결과 해석의 전제조건이 됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 같은 참가자들에게 4주 간격을 두고 동일한 검사를 두 번 실시했을 때, 두 시점의 점수가 상관계수 .82라는 상당히 높은 일관성을 보였으며, 따라서 이 척도가 시간에 따라 안정적으로 같은 특성을 측정하고 있다고 볼 수 있다는 뜻입니다.
스포츠과학이나 재활 연구에서는 신체 수행능력 측정 도구의 안정성을 확인할 때도 검사-재검사 신뢰도가 흔히 보고됩니다.
인지검사처럼 반복 시행 시 학습효과가 개입될 수 있는 도구에서는 신뢰도 보고와 함께 연습효과에 대한 언급이 함께 이루어지는 경우가 많습니다.
조금 더 깊게 보면
검사-재검사 신뢰도는 보통 두 시점 점수 간 상관계수(피어슨 상관 또는 급내상관계수, ICC)로 산출되며, 연속형 점수뿐 아니라 범주형 판정에서는 코헨의 카파 같은 지표가 대신 쓰이기도 합니다. 재검사 간격이 너무 짧으면 기억·연습 효과로 신뢰도가 과대추정되고, 너무 길면 측정 대상 자체가 실제로 변화해 신뢰도가 과소추정될 수 있으므로, 논문에서 제시한 간격이 측정 대상의 안정성 수준에 비추어 적절한지 함께 살펴보는 것이 좋습니다.
주의할 점
검사-재검사 신뢰도는 같은 검사 문항들이 서로 얼마나 일관된 답을 이끌어내는지를 한 시점에서 측정하는 내적 일관성 신뢰도(대표적으로 Cronbach's alpha)와 자주 혼동됩니다. 전자는 "시간이 지나도 결과가 안정적인가"를, 후자는 "문항들끼리 같은 것을 재고 있는가"를 따진다는 점에서 서로 다른 질문에 답하는 지표입니다. 또한 검사-재검사 간격이 너무 짧으면 응답자가 이전 답을 기억해 그대로 반복 응답하는 효과 때문에 리커트척도 등에서 신뢰도가 실제보다 부풀려질 수 있다는 점에도 유의해야 합니다.