코헨의 카파 (Cohen's Kappa)
쉽게 풀면
두 명의 채점자가 100장의 답안지를 각각 "합격/불합격"으로 채점했는데 90장에서 의견이 같았다고 해봅시다. 꽤 잘 맞는 것처럼 보이지만, 만약 두 채점자가 답안지를 보지도 않고 그냥 대충 찍었어도 우연히 상당수는 일치할 수 있습니다(합격/불합격 두 선택지뿐이니까요). 코헨의 카파는 "단순히 몇 % 일치했는가"가 아니라 "우연히 일치했을 가능성을 빼고 나면 실제로 얼마나 더 잘 일치하는가"를 계산한 값입니다. 값은 보통 -1에서 1 사이이며, 1에 가까울수록 완벽한 일치, 0에 가까우면 우연 수준의 일치를 뜻합니다.
왜 중요한가
사람이 직접 판단해서 범주를 매기는 연구(의료 진단, 설문 응답 코딩, 텍스트 라벨링 등)는 그 판단이 얼마나 신뢰할 만한지를 먼저 증명해야 결과를 믿을 수 있습니다. 코헨의 카파는 이런 주관적 채점 과정의 신뢰도를 하나의 숫자로 요약해 보여주기 때문에, 새로운 진단 기준이나 코딩 체계를 제안하는 논문에서 그 기준이 실제로 쓸 만한지를 뒷받침하는 근거로 자주 등장합니다. 최근에는 사람이 만든 정답 라벨과 기계학습 모델의 예측을 비교하거나, 여러 명이 나눠 작업한 데이터셋의 품질을 검증할 때도 널리 활용됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 두 평가자가 대상을 분류한 결과가 단순 우연으로 설명되지 않을 만큼 서로 잘 맞아떨어졌다는 뜻이며, 그 일치 정도를 하나의 표준화된 숫자(κ)로 보고한 것입니다.
텍스트 라벨링처럼 사람이 직접 범주를 매기는 작업에서는 코더 간 판단이 갈릴 수 있는데, 카파 값을 통해 그 라벨이 얼마나 일관성 있게 매겨졌는지를 먼저 확인하고, 값이 낮으면 기준을 다시 논의해 데이터 품질을 높이는 절차를 거칩니다.
사람의 판단을 정답으로 놓고 모델의 예측이 그와 얼마나 일치하는지를 볼 때도 카파가 쓰이며, 이는 모델 성능을 단순 정확도가 아니라 우연을 배제한 일치도 관점에서 평가하려는 목적입니다.
조금 더 깊게 보면
평가자가 셋 이상이거나 범주가 서열을 가질 때는 코헨의 카파를 그대로 쓰기 어려워, 대체로 여러 평가자를 다루는 확장 지표나 순서가 있는 범주에서 큰 오차에 더 큰 벌점을 주는 가중 카파(weighted kappa) 같은 변형이 함께 언급됩니다. 또한 카파 값이 어느 정도면 "충분히 일치한다"고 볼 수 있는지에 대해서는 학자들 사이에 완전히 합의된 기준은 없고, 대체로 값의 구간에 따라 낮음·중간·상당함·거의 완벽함 등으로 정성적으로 해석하는 관행이 통용됩니다. 논문을 읽을 때는 카파 값 자체뿐 아니라, 표본 크기나 범주 비율의 쏠림 같은 조건에 따라 같은 정도의 실제 일치도라도 카파 수치가 다르게 나타날 수 있다는 점을 함께 살펴보는 것이 중요합니다.
주의할 점
카파 값을 단순히 "일치율(percent agreement)"과 같은 것으로 오해하는 경우가 많은데, 둘은 다릅니다. 카파는 우연에 의한 일치를 통계적으로 걸러낸 값이라서 일치율보다 항상 낮거나 같게 나옵니다. 또한 평가 범주의 비율이 한쪽으로 심하게 쏠려 있으면(예: 대부분이 "정상"으로 분류되는 경우) 카파 값이 실제 일치 수준보다 낮게 왜곡되어 보일 수 있어 해석에 주의가 필요합니다. 두 평가자 간 일치를 보는 더 넓은 개념은 평가자간 신뢰도 문서를 참고하세요.