용어 목록 > 일반화가능도이론 (Generalizability Theory)

일반화가능도이론 (Generalizability Theory)

쉽게 풀면

고전적인 신뢰도 이론은 점수의 오차를 하나로 뭉뚱그려 "이 정도는 오차겠지"라고 계산합니다. 하지만 실제로는 오차의 원인이 "어떤 평가자가 채점했는지", "어떤 문항이 나왔는지", "언제 측정했는지" 등 여러 가지일 수 있습니다. 일반화가능도이론(G이론)은 이 여러 오차 원인을 따로따로 분리해서, 각각이 전체 점수 변동에 얼마나 영향을 미치는지 통계적으로 나눠서 계산하는 방법입니다.

왜 중요한가

측정 도구를 개발하거나 평가 체계를 설계하는 연구에서는 "신뢰도가 낮다"는 결과만으로는 무엇을 개선해야 할지 알기 어렵습니다. 일반화가능도이론은 오차의 원인을 평가자, 문항, 시점 등으로 쪼개어 각각의 기여도를 보여주기 때문에, 교육평가·심리측정·임상평가처럼 여러 평가자나 반복 측정이 개입되는 연구에서 측정 설계를 개선하는 실질적 근거를 제공합니다. 이 때문에 새로운 척도나 채점 체계를 검증하는 논문의 방법론 부분에서 자주 다뤄집니다.

핵심 주장

• 고전검사이론은 관찰점수의 변동을 ‘참점수 대 오차’ 둘로만 나눕니다. 일반화가능도이론(G이론)은 이를 분산분석으로 여러 원천으로 쪼갭니다. 원천은 측정 대상(보통 사람), 그리고 평가자·문항·시점 같은 측면(facet)과 그 상호작용입니다.
• 관찰은 ‘허용되는 관찰의 전체(universe)’에서 뽑은 표본이며, 질문은 “이 점수가 같은 전체의 다른 관찰로 얼마나 일반화되는가”입니다.
• G연구는 분산 성분을 추정하고, D연구는 평가자 수·문항 수를 바꾸면 신뢰도가 어떻게 달라질지 예측합니다.
• 사람의 상대 순위가 중요한 결정이면 일반화가능도 계수(Eρ²), 절대 점수 수준이 중요한 결정(합격선 등)이면 의존성 지수(Φ)를 씁니다. 평가자의 엄격함 차이는 Φ에는 오차로 들어가고 Eρ²에는 들어가지 않습니다.

근거와 대표 연구

(가상의 예) 사람 20명을 평가자 3명이 모두 채점한 ‘사람 × 평가자’ 설계에서 분산분석 평균제곱이 사람 12.0, 평가자 9.0, 잔차(사람×평가자·오차) 2.0이었다고 합시다. 기댓값 관계 E(MS_사람) = σ²_pr,e + n_rσ²_p, E(MS_평가자) = σ²_pr,e + n_pσ²_r에서

• σ²_p = (12.0 − 2.0) ÷ 3 = 3.333
• σ²_r = (9.0 − 2.0) ÷ 20 = 0.350
• σ²_pr,e = 2.0

D연구로 평가자 수 n′에 따른 계수를 계산하면 다음과 같습니다(코드로 계산).

평가자를 늘릴수록 계수가 오르되 증가폭은 줄어듭니다. 이렇게 ‘몇 명으로 충분한가’를 계산하는 것이 이 이론이 쓰이는 대표적인 방식입니다. 이론의 출발은 Cronbach, Rajaratnam, Gleser(1963)와 Cronbach 등(1972)의 저서이고, 입문서로 Shavelson과 Webb(1991), 포괄적인 설명으로 Brennan(2001)이 알려져 있습니다. 수행평가에서는 과제 표집에 따른 변동이 크게 나타난 사례가 보고되었습니다(Shavelson, Baxter, & Gao, 1993).

비판과 한계

• 설계 선택에 따른 결과: 평가자·문항을 무선(표본)으로 볼지 고정으로 볼지, 교차인지 내포인지에 따라 같은 자료에서도 계수가 달라집니다. 일반화하려는 범위는 연구자가 정합니다.
• 추정의 불안정성: 분산 성분은 대상·측면 수가 작으면 불안정하고 음수로 추정되기도 하며, 보통 0으로 처리합니다.
• 복잡성: 측면이 늘면 설계와 해석이 어려워집니다. 전용 프로그램이나 분산 성분 추정 도구가 필요합니다.
• 지표의 한계: 계수가 높아도 타당도를 보장하지 않습니다. 평가자 간 일치만 궁금하다면 급내상관계수가 더 간단합니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 서술형 답안 점수가 채점자에 따라 얼마나 달라지는지, 평가 시점에 따라 얼마나 달라지는지를 각각 따로 계산했다는 뜻입니다. 이를 통해 어떤 요인을 개선해야 신뢰도를 가장 효율적으로 높일 수 있는지 알 수 있습니다.

교육평가 논문에서는 실제 평가 체계를 설계하기 전에, 채점자나 문항 수를 몇 개로 구성해야 충분한 신뢰도를 확보할 수 있는지 사전에 시뮬레이션하는 목적으로 이 이론을 활용합니다.

임상연구 논문에서는 여러 변동 요인(평가자, 시점, 장소 등)이 동시에 존재하는 임상 측정치의 신뢰도를 종합적으로 검토할 때 이 접근을 사용합니다.

조금 더 깊게 보면

일반화가능도이론은 흔히 두 단계로 진행되는데, 여러 오차 요인이 전체 점수 변동에 얼마나 기여하는지 분산 성분을 추정하는 G연구(generalizability study)와, 그 결과를 바탕으로 실제 평가 상황(채점자 수, 문항 수 등)을 다르게 설계했을 때 신뢰도가 어떻게 달라질지 예측하는 D연구(decision study)로 구성됩니다. 통계적으로는 분산분석의 틀을 확장한 것으로 볼 수 있으며, 절대적 기준에 따른 판단이 중요한지 상대적 서열이 중요한지에 따라 서로 다른 형태의 일반화가능도계수를 계산해 사용합니다.

주의할 점

일반화가능도이론은 크론바흐 알파와 같은 고전적 신뢰도 지수를 대체한다기보다, 오차의 원인을 세분화해서 보여주는 확장된 틀에 가깝습니다. 평가자 간 일치도만 보고 싶다면 평가자간 신뢰도나 급내상관계수가 더 간단한 선택일 수 있습니다.

헷갈리기 쉬운 용어

신뢰도를 다루는 도구는 오차를 몇 갈래로 나누느냐가 다릅니다.

G이론의 특수한 경우로 알파나 급내상관계수를 볼 수 있습니다.

참고 문헌

1. Cronbach, L. J., Rajaratnam, N., & Gleser, G. C. (1963). Theory of generalizability: a liberalization of reliability theory. British Journal of Statistical Psychology, 16, 137–163.
2. Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles. Wiley.
3. Shavelson, R. J., & Webb, N. M. (1991). Generalizability Theory: A Primer. SAGE.
4. Brennan, R. L. (2001). Generalizability Theory. Springer.
5. Shavelson, R. J., Baxter, G. P., & Gao, X. (1993). Sampling variability of performance assessments. Journal of Educational Measurement, 30, 215–232.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어