플라이스 카파 (Fleiss' Kappa)
쉽게 풀면
영화 심사위원 5명이 각 작품을 "합격/불합격"으로 판정한다고 해봅시다. 심사위원들의 판정이 자주 일치한다면 심사 기준이 명확하다는 뜻이고, 제각각이라면 기준이 애매하다는 뜻입니다. 그런데 아무렇게나 찍어도 우연히 일치하는 경우가 생길 수 있죠. 플라이스 카파는 이 "우연히 맞아떨어진 부분"을 제외하고 진짜로 평가자들의 의견이 얼마나 일치하는지를 0~1 사이 숫자로 알려줍니다. 값이 1에 가까울수록 평가자들이 서로 비슷하게 판단했다는 뜻이고, 0에 가까우면 우연히 일치한 정도와 별 차이가 없다는 뜻입니다.
왜 중요한가
여러 평가자가 참여하는 코딩이나 분류 작업의 결과를 신뢰할 수 있으려면, 평가자들이 서로 독립적으로도 비슷한 판단에 도달하는지를 수치로 검증할 필요가 있습니다. 플라이스 카파는 세 명 이상의 평가자가 참여하는 상황에 맞춰 이 평가자 간 신뢰도를 계량화해주기 때문에, 콘텐츠 분석이나 질적 코딩을 사용하는 커뮤니케이션학, 의학 영상 판독, 교육 평가 등 다양한 분야의 논문에서 방법론적 타당성을 뒷받침하는 근거로 흔히 보고됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 "세 명 이상이 참여한 분류 작업에서, 우연이 아니라 실제로 평가자들의 판단이 상당히 일치했다"는 뜻입니다. 질적 연구에서 여러 명이 텍스트나 영상을 코딩할 때 신뢰도를 보고하는 데 자주 사용됩니다.
의학 영상 판독처럼 여러 전문가가 동일 대상을 독립적으로 평가하는 상황에서의 활용 예이다.
커뮤니케이션학의 콘텐츠 분석 연구에서 코딩 체계 자체의 신뢰도를 검증한 예이다.
조금 더 깊게 보면
플라이스 카파 값은 흔히 랜디스와 코흐(Landis & Koch)가 제안한 기준 등을 참고해 낮음, 중등도, 높음과 같은 구간으로 해석되지만, 이런 기준은 절대적인 것이 아니라 관행적으로 참고되는 수준이라는 점을 유의해야 합니다. 코헨의 카파가 정확히 두 명의 평가자를 전제로 하는 것과 달리, 플라이스 카파는 평가자 수가 매 대상마다 달라도 계산할 수 있도록 확장된 지표입니다. 범주 수가 많거나 특정 범주에 응답이 심하게 쏠려 있으면 카파 값이 실제 일치 수준보다 낮게 나타날 수 있어, 논문에서는 원자료의 범주 분포도 함께 살펴보는 것이 해석에 도움이 됩니다.
주의할 점
플라이스 카파는 평가자가 정확히 2명일 때 쓰는 코헨의 카파와 이름은 비슷하지만 다른 지표입니다. 평가자가 3명 이상이거나 평가자마다 채점하는 대상이 달라질 수 있는 상황에서는 코헨의 카파가 아니라 플라이스 카파를 써야 합니다. 또한 범주 수가 적거나 한쪽 범주로 응답이 쏠려 있으면 실제 일치도보다 값이 낮게 나올 수 있어 해석에 주의가 필요합니다.