플라이스 카파 (Fleiss' Kappa)
쉽게 풀면
영화 심사위원 5명이 각 작품을 "합격/불합격"으로 판정한다고 해봅시다. 심사위원들의 판정이 자주 일치한다면 심사 기준이 명확하다는 뜻이고, 제각각이라면 기준이 애매하다는 뜻입니다. 그런데 아무렇게나 찍어도 우연히 일치하는 경우가 생길 수 있죠.
플라이스 카파는 이 "우연히 맞아떨어진 부분"을 제외하고 진짜로 평가자들의 의견이 얼마나 일치하는지를 숫자로 알려줍니다(보통 0~1 사이이며, 우연보다 못하게 일치하면 음수도 나옵니다). 값이 1에 가까울수록 평가자들이 서로 비슷하게 판단했다는 뜻이고, 0에 가까우면 우연히 일치한 정도와 별 차이가 없다는 뜻입니다.
왜 중요한가
여러 평가자가 참여하는 코딩이나 분류 작업의 결과를 신뢰할 수 있으려면, 평가자들이 서로 독립적으로도 비슷한 판단에 도달하는지를 수치로 검증할 필요가 있습니다. 플라이스 카파는 세 명 이상의 평가자가 참여하는 상황에 맞춰 이 평가자 간 신뢰도를 계량화해주기 때문에, 콘텐츠 분석이나 질적 코딩을 사용하는 커뮤니케이션학, 의학 영상 판독, 교육 평가 등 다양한 분야의 논문에서 방법론적 타당성을 뒷받침하는 근거로 흔히 보고됩니다.
계산과 범위
세 명 이상의 평가자가 각 대상을 범주 중 하나로 분류했을 때, 우연히 맞을 만큼을 제외한 일치도입니다.
κ = (P̄ − P̄e) ÷ (1 − P̄e)
- P̄: 대상마다 평가자 쌍이 얼마나 일치했는지를 구해 평균한 값(관측 일치도)
- P̄e: 범주별 전체 비율의 제곱합(우연 일치도)
- 범위: 1에서 완전 일치, 0은 우연 수준, 음수는 우연보다 못한 일치입니다.
- 한 대상을 평가한 사람 수는 모든 대상에서 같아야 합니다. 평가자가 같은 사람들일 필요는 없습니다.
작은 예(가상의 자료, 계산 결과). 10건을 4명이 3개 범주 중 하나로 분류했습니다. 범주별 전체 비율은 0.35, 0.35, 0.30이므로 우연 일치도는 0.335, 관측 일치도는 0.583이고 κ = (0.583 − 0.335) ÷ (1 − 0.335) ≈ 0.37입니다. 단순 일치율로 보면 높아 보이지만 우연을 걷어내면 보통 이하입니다.
해석 기준
Landis & Koch(1977)가 제시한 구간이 가장 자주 인용됩니다. 그러나 이는 저자들 스스로 임의적이라고 밝힌 관례입니다.
| κ | 표현(Landis & Koch) |
|---|---|
| < 0 | 우연보다 낮음 |
| 0.01 ~ 0.20 | 약간(slight) |
| 0.21 ~ 0.40 | 보통 이하(fair) |
| 0.41 ~ 0.60 | 중간(moderate) |
| 0.61 ~ 0.80 | 상당함(substantial) |
| 0.81 ~ 1.00 | 거의 완벽(almost perfect) |
- 위 예의 0.37은 이 표에서 ‘보통 이하’에 해당합니다.
- 일치율이 매우 높아도 한 범주에 응답이 쏠리면 κ가 낮게 나오는 ‘카파의 역설’이 알려져 있습니다(Feinstein & Cicchetti, 1990). 범주별 분포를 함께 제시하세요.
- 범주의 수와 분포, 대상의 특성에 따라 같은 κ의 의미가 달라지므로 다른 연구와 단순 비교하기 어렵습니다.
보고 방법
평가자 수, 대상 수, 범주, κ와 95% 신뢰구간을 적습니다. 서열 범주(경증/중등도/중증)라면 가중 카파나 급내상관계수가 더 적합할 수 있음을 검토합니다.
세 명의 평가자(N = 60 영상)가 판독한 병변 분류의 일치도는 Fleiss의 κ = 0.62(95% CI 0.51–0.73)로 상당한 수준이었다(Landis & Koch 기준). (형식을 보여 주려는 가상의 문장)
- 어떤 해석 기준을 썼는지 인용합니다.
- 범주별 κ와 단순 일치율을 함께 싣는 것이 독자에게 친절합니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "세 명 이상이 참여한 분류 작업에서, 우연이 아니라 실제로 평가자들의 판단이 상당히 일치했다"는 뜻입니다. 질적 연구에서 여러 명이 텍스트나 영상을 코딩할 때 신뢰도를 보고하는 데 자주 사용됩니다.
의학 영상 판독처럼 여러 전문가가 동일 대상을 독립적으로 평가하는 상황에서의 활용 예이다.
커뮤니케이션학의 콘텐츠 분석 연구에서 코딩 체계 자체의 신뢰도를 검증한 예이다.
조금 더 깊게 보면
플라이스 카파 값은 흔히 랜디스와 코흐(Landis & Koch)가 제안한 기준 등을 참고해 낮음, 중등도, 높음과 같은 구간으로 해석되지만, 이런 기준은 절대적인 것이 아니라 관행적으로 참고되는 수준이라는 점을 유의해야 합니다.
코헨의 카파가 정확히 두 명의 평가자를 전제로 하는 것과 달리, 플라이스 카파는 평가자가 세 명 이상이어도 계산할 수 있도록 확장된 지표입니다. 대상마다 평가한 사람이 달라도 되지만, 한 대상을 평가한 사람 수는 모든 대상에서 같아야 합니다.
범주 수가 많거나 특정 범주에 응답이 심하게 쏠려 있으면 카파 값이 실제 일치 수준보다 낮게 나타날 수 있어, 논문에서는 원자료의 범주 분포도 함께 살펴보는 것이 해석에 도움이 됩니다.
주의할 점
플라이스 카파는 평가자가 정확히 2명일 때 쓰는 코헨의 카파와 이름은 비슷하지만 다른 지표입니다. 평가자가 3명 이상이거나 평가자마다 채점하는 대상이 달라질 수 있는 상황에서는 코헨의 카파가 아니라 플라이스 카파를 써야 합니다. 또한 범주 수가 적거나 한쪽 범주로 응답이 쏠려 있으면 실제 일치도보다 값이 낮게 나올 수 있어 해석에 주의가 필요합니다.
헷갈리기 쉬운 용어
‘일치도’ 지표는 평가자 수와 자료 유형에 따라 갈립니다.
| 지표 | 평가자 수 | 자료 유형 |
|---|---|---|
| 코헨의 카파 | 정확히 2명 | 범주형 |
| Fleiss의 카파 | 3명 이상(대상마다 같은 수) | 범주형 |
| 급내상관계수(ICC) | 2명 이상 | 연속형(또는 서열을 점수로 볼 때) |
| 크론바흐 알파 | — | 문항 간 내적 일관성. 평가자 일치도와는 다른 개념 |
| 단순 일치율 | 제한 없음 | 우연으로 맞은 몫을 걷어내지 않음 |
카파는 ‘우연 보정 일치도’, ICC는 ‘점수의 일치·일관성’, 크론바흐 알파는 ‘문항 신뢰도’입니다.
참고 문헌
- Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
- Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
- Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543–549.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.