코헨의 카파 (Cohen's Kappa)
쉽게 풀면
두 사람이 자료를 있음/없음처럼 몇 개의 범주로 분류할 때, 단순히 몇 퍼센트가 일치했는지만 보면 우연히 같은 답을 고른 경우까지 포함되어 일치도가 과장될 수 있습니다. 코헨의 카파는 우연히 일치했을 확률을 빼고 난 뒤에 실제로 얼마나 더 잘 일치했는지를 계산한 값으로, 보통 0(우연 수준)에서 1(완벽 일치) 사이의 값을 가집니다. 값이 0.6~0.8이면 상당한 일치, 0.8 이상이면 거의 완벽한 일치로 흔히 해석됩니다. 질적 코딩이나 진단 분류처럼 사람이 직접 범주를 판단하는 연구에서 신뢰도를 보고할 때 자주 쓰입니다.
왜 중요한가
연구에서 사람이 직접 자료를 범주로 분류하거나 코딩하는 절차는 필연적으로 주관이 개입할 여지가 있습니다. 코헨의 카파는 이런 판단 절차가 얼마나 믿을 만한지를 수치로 검증하는 도구이기 때문에, 질적 연구의 코딩 신뢰도 보고, 의료 영상이나 임상 진단의 판독자 간 일치도 평가, 자연어처리 데이터셋 구축 시 레이블러 간 일치도 검증 등 다양한 상위 연구주제와 연결됩니다. 논문 심사자들도 분류 결과를 신뢰하기 전에 이 값을 먼저 확인하는 경우가 많아, 방법론의 타당성을 뒷받침하는 핵심 근거로 자주 인용됩니다.
계산과 범위
관찰된 일치 비율 po에서 우연히 일치했을 비율 pe를 빼고, 우연 일치를 뺀 최대치로 나눕니다.
κ = (po − pe) / (1 − pe), pe = Σ (평가자 A가 범주 i를 고른 비율 × 평가자 B가 범주 i를 고른 비율)
- 범위: 최대 1(완전 일치). 0이면 우연 수준의 일치, 음수이면 우연보다도 덜 일치합니다. 범주 분포에 따라 도달 가능한 최댓값이 1보다 작을 수 있습니다.
- 두 평가자가 같은 대상들을 서로 독립적으로 범주(명목 척도)로 분류했을 때 씁니다.
작은 예 1. 100건을 두 사람이 ‘있음/없음’으로 분류해 둘 다 있음 40, 둘 다 없음 40, 서로 엇갈림 20(10+10)이었다면 po = .80입니다. 각자 ‘있음’을 50%씩 골랐으므로 pe = .5 × .5 + .5 × .5 = .50, κ = (.80 − .50)/(1 − .50) = .60입니다.
작은 예 2 (치우친 분포). 둘 다 있음 85, 둘 다 없음 5, 엇갈림 10(5+5)이면 po = .90으로 일치율은 더 높습니다. 그러나 각자 ‘있음’을 90%나 골라서 pe = .9 × .9 + .1 × .1 = .82가 되고 κ = (.90 − .82)/(1 − .82) ≈ .44입니다. 한쪽 범주가 압도적으로 많으면 일치율이 높아도 κ가 낮게 나오는 이 현상을 ‘카파의 역설’이라고 부릅니다.
해석 기준
해석 기준은 모두 관례이며 학자마다 다릅니다. 가장 많이 인용되는 것은 Landis와 Koch(1977)의 구분인데, 이들 스스로도 경계가 임의적이라고 밝혔습니다. 의학·진단 연구에서는 이보다 엄격한 McHugh(2012)의 기준을 인용하기도 합니다.
| κ | Landis & Koch(1977) | McHugh(2012) |
|---|---|---|
| 0 미만 | 우연보다 나쁨(poor) | (별도 구간 없음) |
| 0 ~ .20 | 약간(slight) | 없음(none) |
| .21 ~ .40 | 어느 정도(fair) | .21~.39 미미함 |
| .41 ~ .60 | 보통(moderate) | .40~.59 약함 |
| .61 ~ .80 | 상당함(substantial) | .60~.79 보통 |
| .81 ~ 1.00 | 거의 완벽(almost perfect) | .80~.90 강함, .90 초과 거의 완벽 |
같은 κ = .70이라도 Landis & Koch로는 ‘상당함’, McHugh로는 ‘보통’이 됩니다. 어떤 기준을 인용했는지 밝히고, 기준에 따른 이름표보다 κ 값과 신뢰구간을 먼저 제시하는 것이 안전합니다. 임상 판정처럼 오분류의 비용이 큰 경우에는 더 높은 κ를 요구해야 합니다.
보고 방법
κ 값, 신뢰구간, 표본 수, 범주 수와 평가자 수를 적고, 각 범주의 분포가 심하게 치우쳤다면 일치율(po)도 함께 보고합니다. (수치는 위의 작은 예 1의 값이며, 신뢰구간은 근사식 SE ≈ √[po(1 − po) / (n(1 − pe)²)]로 계산했습니다.)
두 평가자 간 일치도는 보통 수준이었다(Cohen’s κ = .60, 95% CI [.44, .76], n = 100, 일치율 80%).
한국어 논문에서는 “카파 계수” 또는 “Kappa 값 0.82로 매우 높은 일치도”처럼 한 줄로 쓰는 경우가 많고, 검사 간 일치도(진단 도구 비교)나 코딩 신뢰도(질적 자료의 범주화)를 보고할 때 방법 절에 평가자가 몇 명이고 몇 건을 이중 코딩했는지 함께 적습니다. 순서가 있는 범주는 가중 카파, 세 명 이상은 Fleiss의 카파를 쓰며 어떤 변형인지 밝혀야 합니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“연구결과, 초음파 영상 소견과 조직 내 감쇠 지수 간 일치도 분석 결과 Kappa 값이 0.82(p<0.05)로 두 검사 방법 간 매우 높은 일치도를 보였다.”
초음파 검사 영상의 정량적인 측정 연구를 통한 지방간 분석, 한국방사선학회논문지, 2022 · KCI 한국학술지인용색인 · 원문 보기 ↗
“또한 전문의 2명에 의한 화질 평가의 경우 Cohen's Kappa 값이 K=0.814로 판독에 영향이 없는 것으로 나타났다.”
영상의학 검사 시 탄소섬유 발열매트의 유용성 평가, 한국콘텐츠학회 논문지, 2024 · KCI 한국학술지인용색인 · 원문 보기 ↗
“수기법의 R15와 비교하여 자동화 검사법의 R15는 4개의 검체(kappa value 0.904) 또는 3개의 검체(kappa value 0.880)를 이용하여도 좋은 일치도를 보였다.”
자동화학분석기를 이용한 인도시아닌 그린(ICG) R15 검사의 수행능 평가, Laboratory Medicine Online, 2016 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
두 평가자가 매긴 진단 분류가 우연을 감안하고도 상당히 일치했다는 것을 카파값으로 보여준 것입니다.
질적 연구에서 두 코더가 인터뷰 자료를 나눠 코딩한 뒤, 그 결과가 우연 이상으로 일치했음을 카파값을 근거로 밝힌 것입니다.
의료 영상 판독처럼 전문가의 시각적 판단이 중요한 영역에서도, 판독자 간 결과가 매우 높은 수준으로 일치했음을 카파값으로 제시한 예입니다.
조금 더 깊게 보면
카파값의 해석 기준(예: 0.6 이상을 상당한 일치로 보는 구간 구분)은 학자마다 조금씩 다르게 제시되어 왔으므로, 논문을 읽을 때는 저자가 어떤 기준을 인용했는지 함께 살펴보는 것이 좋습니다. 평가자가 셋 이상이거나 범주에 순서가 있는 경우에는 각각 Fleiss' 카파, 가중 카파(weighted kappa) 같은 변형 지표가 쓰이므로, 어떤 상황에 어떤 지표를 썼는지 구분해서 볼 필요가 있습니다. 또한 카파값 자체와 함께 신뢰구간이나 표본 크기를 함께 보고하는 논문이 있는데, 이는 카파값이 특정 범주 비율이나 평가자 수에 따라 불안정해질 수 있다는 점을 보완하기 위한 것입니다.
주의할 점
카파값은 범주별 비율이 한쪽으로 크게 치우쳐 있으면 실제 일치도가 높아도 낮게 계산되는 역설이 나타날 수 있어 해석에 주의가 필요합니다.
헷갈리기 쉬운 용어
‘일치도’를 재는 지표는 자료 유형과 평가자 수에 따라 달라집니다.
| 지표 | 자료 | 평가자 수 | 특징 |
|---|---|---|---|
| 단순 일치율 | 범주 | 2명 이상 | 계산이 쉽지만 우연 일치를 포함해 과대평가 |
| 코헨의 카파 | 명목 범주 | 2명 | 우연 일치를 보정, 분포가 치우치면 낮게 나옴 |
| 가중 카파 | 순서 있는 범주 | 2명 | 큰 불일치에 더 큰 벌점 |
| 플라이스의 카파 | 명목 범주 | 3명 이상 | 여러 평가자로 확장 |
| 급내상관계수(ICC) | 연속형 점수 | 2명 이상 | 점수의 일관성·일치를 분산 비율로 평가 |
평가자 간 신뢰도 전반은 평가자 간 신뢰도를 참고하세요.
참고 문헌
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
- Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213–220.
- Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
- McHugh, M. L. (2012). Interrater reliability: The kappa statistic. Biochemia Medica, 22(3), 276–282.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.