동형검사 신뢰도 (Parallel-Forms Reliability)
쉽게 풀면
영어 단어 시험을 볼 때 A형과 B형 시험지를 따로 만드는 경우가 있습니다. 문제는 다르지만 난이도와 범위는 똑같이 맞춰서 만들죠. 만약 같은 학생이 A형과 B형을 둘 다 풀었을 때 점수가 거의 비슷하게 나온다면, 이 두 시험지는 "동형(parallel forms)"이라고 부를 만하고, 그 점수 일치 정도가 곧 신뢰도입니다.
같은 시험지를 시간 간격을 두고 두 번 보는 검사-재검사 신뢰도와 달리, 동형검사 신뢰도는 아예 다른 두 세트의 문항을 사용하기 때문에 참가자가 "전에 봤던 문제라 답을 기억한다"는 식의 학습효과 문제를 피할 수 있습니다.
왜 중요한가
측정도구가 신뢰할 만한지를 검증하는 것은 모든 정량 연구의 기초이며, 특히 같은 검사를 반복 실시할 수 없는 학습효과 민감 영역(어휘력, 문제해결능력 등)에서는 동형검사 신뢰도가 유용한 대안이 됩니다. 이 방법은 교육평가, 심리측정, 표준화 검사 개발 연구에서 검사도구의 품질을 보증하는 절차로 자주 활용되며, 신뢰도 확보 여부는 이후 그 검사를 활용한 모든 연구 결과의 타당성과 직결됩니다.
계산과 범위
동형검사 신뢰도는 같은 사람이 A형과 B형을 치른 점수 사이의 피어슨 상관계수 r로 구합니다. 이 값을 동등성 계수(coefficient of equivalence)라고도 부릅니다. 두 형을 같은 날 이어서 치르면 “문항이 달라서 생기는 오차”만 반영하고, 일정한 간격을 두고 치르면 시간에 따른 변동까지 함께 반영합니다(이때는 안정성과 동등성을 함께 보는 계수가 됩니다).
- 범위: 이론상 −1~1이지만 실제 검사에서는 0~1 사이에 놓입니다. 1에 가까울수록 두 형의 순위가 같다는 뜻입니다.
- 엄밀한 의미의 동형(parallel)은 고전검사이론에서 두 형의 참점수와 오차분산이 같은 경우를 말합니다(Lord & Novick, 1968). 실제로는 이 조건을 완전히 확인할 수 없어 “거의 동형(alternate forms)”으로 다룹니다.
- 상관계수는 순위의 일치만 보므로 B형이 전체적으로 더 쉬워도 r은 그대로일 수 있습니다. 그래서 두 형의 평균·표준편차 비교(대응표본 t검정 등)를 함께 봅니다.
작은 계산 예(가상의 예, 8명). 같은 8명의 A형·B형 점수가 아래와 같을 때 r = 0.94입니다. 평균은 A형 14.38, B형 14.50, 표준편차는 각각 3.66, 3.42로 두 형의 난이도가 거의 같습니다.
| 응답자 | A형 점수 | B형 점수 |
|---|---|---|
| 1 | 12 | 13 |
| 2 | 15 | 14 |
| 3 | 9 | 10 |
| 4 | 18 | 19 |
| 5 | 14 | 12 |
| 6 | 20 | 19 |
| 7 | 11 | 12 |
| 8 | 16 | 17 |
실제 연구에서는 8명으로는 추정이 너무 불안정하므로 훨씬 큰 표본을 씁니다.
해석 기준
신뢰도 계수에 법칙 같은 기준은 없고, 관례를 따릅니다. 널리 인용되는 것은 Nunnally와 Bernstein(1994)의 제안으로, 탐색 단계의 연구에는 .70 안팎, 기초 연구에는 .80 정도, 개인에 대한 중요한 결정에 쓰는 검사에는 .90 이상을 바란다는 것입니다. 이는 관례적 가이드이며 검사의 목적에 따라 달라집니다.
| 상황 | 읽는 법 |
|---|---|
| r이 높고 두 형의 평균·표준편차가 비슷 | 두 형을 서로 바꿔 써도 된다는 근거가 됩니다. |
| r은 높은데 평균이 크게 다름 | 순위는 같지만 난이도가 다릅니다. 점수를 그대로 비교하면 안 되고 동등화(equating)가 필요합니다. |
| r이 낮음 | 문항 표집 오차가 크거나, 두 형이 실제로는 다른 것을 잰다는 신호입니다. 검사가 나쁘다고 단정하기 전에 두 형이 동등하게 설계되었는지부터 확인합니다. |
| 간격을 두고 실시했는데 r이 낮음 | 문항 차이와 시간 경과에 따른 변화가 섞여 있어 원인을 따로 가를 수 없습니다. |
보고 방법
다음 항목을 적으면 읽는 사람이 계수의 의미를 판단할 수 있습니다.
- 두 형을 어떻게 만들었는지(같은 문항 은행에서 무선 배정, 난이도·내용 사양표에 맞춰 제작 등)
- 표본 수, 두 형을 치른 순서(순서 상쇄 여부)와 두 실시 사이의 간격
- r과 함께 두 형의 평균과 표준편차
예시 문장. “A형과 B형을 같은 참가자 N명에게 순서를 상쇄하여 이틀 간격으로 실시한 결과, 두 형의 점수 상관은 r = .xx였고 두 형의 평균 차이는 유의하지 않았다.” (실제 값으로 바꿔 쓰십시오.)
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“넷째, 동형검사 신뢰도를 알아보기 위한 ‘동물’과 ‘식물’ 문항 간 스피어만 상관 계수는 독창성 항목을 제외하고 유의하게 나타났다.”
초등학생의 창의 과정과 산물의 관계를 탐색하기 위한 과학 창의성 검사 도구 개발 - 생명 영역을 중심으로 -, 초등과학교육, 2021 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 문항 구성만 다른 A형과 B형 검사를 같은 참가자들에게 실시한 뒤, 두 점수 사이의 상관관계를 계산해 신뢰도를 검증했다는 뜻입니다. 값이 1에 가까울수록 두 형태가 사실상 같은 것을 재고 있다고 볼 수 있습니다.
같은 참가자에게 검사를 두 번 실시해야 하는 실험연구에서, 첫 번째 검사를 기억해서 두 번째 검사 점수가 높아지는 문제를 피하기 위해 동형검사를 활용했다는 뜻입니다.
해마다 문제가 바뀌는 시험이라도 난이도와 측정 내용이 동등하게 유지되도록 설계함으로써, 서로 다른 해의 점수를 공정하게 비교할 수 있게 했다는 교육평가 분야의 예시입니다.
조금 더 깊게 보면
동형검사를 실시할 때는 두 형태를 실시하는 순서가 결과에 영향을 줄 수 있어, 참가자 절반은 A형을 먼저, 나머지 절반은 B형을 먼저 풀게 하는 균형화(counterbalancing) 절차를 함께 적용하는 경우가 많습니다.
신뢰도 계수는 보통 두 형태 점수 간 피어슨 상관계수로 산출하며, 계수가 어느 정도 이상이면 양호하다고 볼지는 검사의 목적과 분야 관행에 따라 다르게 판단됩니다. 검사 개발 단계에서 두 형태의 문항 난이도와 변별도를 사전에 통계적으로 맞추는 문항반응이론(item response theory) 기법이 함께 쓰이기도 합니다.
주의할 점
동형검사 신뢰도가 낮게 나왔다고 해서 반드시 검사 자체에 문제가 있는 것은 아닙니다. 두 형태의 난이도가 완벽히 동등하게 설계되지 않았을 수도 있기 때문입니다. 또한 이 방법은 애초에 동형 문항 세트를 두 개나 만들어야 하므로 비용과 노력이 많이 들어, 실제 논문에서는 반분신뢰도나 크론바흐 알파처럼 하나의 검사만으로 신뢰도를 추정하는 방법이 더 자주 쓰입니다.
헷갈리기 쉬운 용어
신뢰도 추정 방법은 “어떤 오차를 잡아내는가”로 구분하면 덜 헷갈립니다.
| 용어 | 검사와 실시 횟수 | 주로 반영하는 오차 |
|---|---|---|
| 동형검사 신뢰도 | 서로 다른 두 형, 두 번 실시 | 문항 표집 오차(간격을 두면 시간 변동 포함) |
| 검사-재검사 신뢰도 | 같은 검사를 간격을 두고 두 번 | 시간에 따른 변동(기억·학습 효과 위험) |
| 반분신뢰도 | 한 검사를 한 번 실시한 뒤 반으로 나눔 | 문항 표집 오차(나누는 방식에 따라 값이 달라짐) |
| 크론바흐 알파 | 한 검사를 한 번 실시 | 문항 간 일관성 |
| 평가자 간 신뢰도 | 같은 대상을 여러 평가자가 평가 | 평가자 차이 |
참고 문헌
- Anastasi, A., & Urbina, S. (1997). Psychological Testing (7th ed.). Prentice Hall.
- Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric Theory (3rd ed.). McGraw-Hill.
- Lord, F. M., & Novick, M. R. (1968). Statistical Theories of Mental Test Scores. Addison-Wesley.
- Gulliksen, H. (1950). Theory of Mental Tests. Wiley.
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing. American Educational Research Association.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.