쿠더-리처드슨 신뢰도 (Kuder-Richardson Reliability)
쉽게 풀면
반분신뢰도는 문항을 두 묶음으로 나눠서 비교해야 하는데, 어떻게 나누느냐에 따라 값이 조금씩 달라진다는 단점이 있습니다. 쿠더-리처드슨 신뢰도(대표적으로 KR-20, KR-21 공식)는 문항을 따로 나눌 필요 없이, 모든 문항이 "맞으면 1점, 틀리면 0점"처럼 두 가지 값으로만 채점되는 검사에 한해 한 번의 검사 데이터만으로 신뢰도를 계산해 줍니다. 쉽게 말해 크론바흐알파를 이분 채점 문항에 맞게 특수화한 버전이라고 볼 수 있습니다.
왜 중요한가
객관식·OX형 시험처럼 정답 여부만으로 채점되는 검사는 교육평가, 심리검사 개발, 인사 선발 등 여러 분야에서 흔히 쓰이는데, 이런 검사의 품질을 검증하려면 신뢰도 계산이 필수적입니다. 쿠더-리처드슨 신뢰도는 이런 이분 채점 검사에 특화된 계산법을 제공해, 검사 도구의 타당성을 논하는 논문에서 신뢰도 지표로 자주 보고됩니다.
계산과 범위
문항이 0/1로만 채점될 때, 문항 수 k, 문항별 정답률 pi(오답률 qi = 1 − pi), 총점 분산 σ²X로
- KR-20 = k/(k − 1) × [1 − Σpiqi ÷ σ²X]
- KR-21 = k/(k − 1) × [1 − M(k − M) ÷ (kσ²X)] (M은 총점 평균. 모든 문항의 난이도가 같다고 가정)
두 식은 Kuder와 Richardson(1937)이 제안했고, 이분 문항에서 크론바흐 알파와 같은 값을 줍니다(Cronbach, 1951). 문항 분산과 총점 분산은 같은 분모(n)로 계산해야 합니다.
가상의 예: 10명이 6문항을 풀어 아래 결과가 나왔습니다(1 = 정답).
| 사람 | 1 | 2 | 3 | 4 | 5 | 6 | 총점 |
|---|---|---|---|---|---|---|---|
| A | 1 | 1 | 1 | 1 | 0 | 1 | 5 |
| B | 1 | 1 | 1 | 0 | 0 | 0 | 3 |
| C | 1 | 0 | 1 | 1 | 1 | 1 | 5 |
| D | 0 | 0 | 1 | 0 | 0 | 0 | 1 |
| E | 1 | 1 | 1 | 1 | 1 | 1 | 6 |
| F | 0 | 1 | 0 | 0 | 0 | 0 | 1 |
| G | 1 | 1 | 0 | 1 | 1 | 1 | 5 |
| H | 0 | 0 | 0 | 1 | 0 | 0 | 1 |
| I | 1 | 1 | 1 | 1 | 0 | 1 | 5 |
| J | 1 | 0 | 0 | 0 | 0 | 1 | 2 |
문항별 정답률은 .7, .6, .6, .6, .3, .6이므로 Σpq = 1.380입니다. 총점의 평균은 3.4, 분산은 3.640입니다. 따라서 KR-20 = 6/5 × (1 − 1.380 ÷ 3.640) = .745, KR-21 = 6/5 × [1 − 3.4 × 2.6 ÷ (6 × 3.640)] = .714입니다(코드로 계산). 문항 난이도가 제각각이므로 KR-21이 KR-20보다 낮게 나왔습니다.
해석 기준
- 값이 클수록 내적 일관성이 높습니다. 흔히 인용되는 기준은 Nunnally와 Bernstein(1994)의 .70(탐색)·.80(기초)·.90(중요한 결정) 정도이며 관례입니다.
- KR-21은 계산이 쉬운 근사식이라 KR-20 이하로만 나옵니다. 컴퓨터가 흔한 지금은 KR-20을 보고하는 것이 일반적입니다.
- 문항 수가 늘면 값이 커지고, 문항이 너무 쉽거나 어려워 정답률이 한쪽으로 쏠리면 낮아집니다.
- 속도검사(시간 제한이 빡빡해 뒷문항을 못 푸는 검사)에서는 일관성이 부풀 수 있습니다. 한 차원만 잰다는 보증도 아닙니다(Cortina, 1993).
- 0/1이 아닌 다분 문항에는 크론바흐 알파를 씁니다.
보고 방법
- 문항 수, 표본 수, 채점 방식(0/1), 계산한 공식(KR-20/KR-21)을 적습니다.
- 평균 정답률(난이도)과 총점 평균·표준편차를 함께 싣습니다.
- 하위 영역이 있으면 영역별 값도 제시합니다.
- (가상의 문장) “6문항 객관식 검사의 내적 일관성은 KR-20 = .75 (n = 10)였다.”
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "문항들이 서로 얼마나 일관되게 같은 능력을 재고 있는지를, 이분 채점 문항에 맞는 공식으로 계산했더니 .84라는 비교적 높은 값이 나왔다"는 뜻입니다.
인사·조직 분야에서는 채용 및 적성검사 문항을 개발할 때 쿠더-리처드슨 신뢰도를 활용해 문항들이 일관된 능력을 측정하는지 검증하는 경우가 많습니다.
교육학 분야에서는 문항 난이도가 서로 크게 다르지 않은 경우 계산이 더 간단한 KR-21 공식으로 신뢰도를 근사적으로 추정하기도 합니다.
조금 더 깊게 보면
KR-20은 문항별 난이도(정답률)를 모두 고려해 정확하게 계산하는 공식인 반면, KR-21은 모든 문항의 난이도가 비슷하다고 가정하고 전체 평균과 분산만으로 신뢰도를 근사하는 더 단순한 공식입니다. 따라서 문항 난이도 차이가 크면 KR-21의 추정치는 실제 KR-20 값보다 낮게 나오는 경향이 있습니다.
크론바흐알파의 특수한 경우로 볼 수 있다는 점에서, 이분 채점이 아닌 다분 채점 문항이 섞여 있을 때는 KR 공식 대신 크론바흐알파를 사용해야 한다는 점도 함께 기억해 둘 필요가 있습니다.
주의할 점
쿠더-리처드슨 신뢰도는 문항이 정답/오답처럼 완전히 이분적으로 채점될 때만 사용할 수 있습니다. 리커트 척도처럼 문항 하나에 여러 단계(예: 1~5점)로 응답하는 검사에는 이 공식을 적용할 수 없으며, 이런 경우에는 크론바흐 알파를 사용해 신뢰도를 계산해야 합니다.
헷갈리기 쉬운 용어
이분 문항 신뢰도에는 비슷한 이름이 많습니다.
| 지표 | 문항 형태 | 특징 |
|---|---|---|
| KR-20 | 0/1 문항 | 문항 난이도를 모두 반영 |
| KR-21 | 0/1 문항 | 난이도가 같다고 가정한 근사. KR-20 이하 |
| 크론바흐 알파 | 다분 문항 포함 | 이분이면 KR-20과 같음 |
| 반분신뢰도 | 모든 형태 | 반으로 나누는 방식에 따라 달라짐 |
참고 문헌
- Kuder, G. F., & Richardson, M. W. (1937). The theory of the estimation of test reliability. Psychometrika, 2, 151–160.
- Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297–334.
- Cortina, J. M. (1993). What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology, 78, 98–104.
- Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric Theory (3rd ed.). McGraw-Hill.
- Crocker, L., & Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.