코헨의 카파 (Cohen's Kappa)
쉽게 풀면
두 사람이 자료를 있음/없음처럼 몇 개의 범주로 분류할 때, 단순히 몇 퍼센트가 일치했는지만 보면 우연히 같은 답을 고른 경우까지 포함되어 일치도가 과장될 수 있습니다. 코헨의 카파는 우연히 일치했을 확률을 빼고 난 뒤에 실제로 얼마나 더 잘 일치했는지를 계산한 값으로, 보통 0(우연 수준)에서 1(완벽 일치) 사이의 값을 가집니다. 값이 0.6~0.8이면 상당한 일치, 0.8 이상이면 거의 완벽한 일치로 흔히 해석됩니다. 질적 코딩이나 진단 분류처럼 사람이 직접 범주를 판단하는 연구에서 신뢰도를 보고할 때 자주 쓰입니다.
왜 중요한가
연구에서 사람이 직접 자료를 범주로 분류하거나 코딩하는 절차는 필연적으로 주관이 개입할 여지가 있습니다. 코헨의 카파는 이런 판단 절차가 얼마나 믿을 만한지를 수치로 검증하는 도구이기 때문에, 질적 연구의 코딩 신뢰도 보고, 의료 영상이나 임상 진단의 판독자 간 일치도 평가, 자연어처리 데이터셋 구축 시 레이블러 간 일치도 검증 등 다양한 상위 연구주제와 연결됩니다. 논문 심사자들도 분류 결과를 신뢰하기 전에 이 값을 먼저 확인하는 경우가 많아, 방법론의 타당성을 뒷받침하는 핵심 근거로 자주 인용됩니다.
논문에서는 이렇게 쓰입니다
두 평가자가 매긴 진단 분류가 우연을 감안하고도 상당히 일치했다는 것을 카파값으로 보여준 것입니다.
질적 연구에서 두 코더가 인터뷰 자료를 나눠 코딩한 뒤, 그 결과가 우연 이상으로 일치했음을 카파값을 근거로 밝힌 것입니다.
의료 영상 판독처럼 전문가의 시각적 판단이 중요한 영역에서도, 판독자 간 결과가 매우 높은 수준으로 일치했음을 카파값으로 제시한 예입니다.
조금 더 깊게 보면
카파값의 해석 기준(예: 0.6 이상을 상당한 일치로 보는 구간 구분)은 학자마다 조금씩 다르게 제시되어 왔으므로, 논문을 읽을 때는 저자가 어떤 기준을 인용했는지 함께 살펴보는 것이 좋습니다. 평가자가 셋 이상이거나 범주에 순서가 있는 경우에는 각각 Fleiss' 카파, 가중 카파(weighted kappa) 같은 변형 지표가 쓰이므로, 어떤 상황에 어떤 지표를 썼는지 구분해서 볼 필요가 있습니다. 또한 카파값 자체와 함께 신뢰구간이나 표본 크기를 함께 보고하는 논문이 있는데, 이는 카파값이 특정 범주 비율이나 평가자 수에 따라 불안정해질 수 있다는 점을 보완하기 위한 것입니다.
주의할 점
카파값은 범주별 비율이 한쪽으로 크게 치우쳐 있으면 실제 일치도가 높아도 낮게 계산되는 역설이 나타날 수 있어 해석에 주의가 필요합니다.