평가자간 신뢰도 (Inter-rater Reliability)

한 줄 정의: 서로 다른 평가자들이 같은 대상을 독립적으로 평가했을 때, 그 결과가 얼마나 서로 일치하는지를 나타내는 지표입니다.

쉽게 풀면

피겨스케이팅 경기를 떠올려 보세요. 심사위원 여러 명이 같은 선수의 연기를 보고 각자 점수를 매깁니다. 만약 심사위원들의 점수가 서로 비슷하다면 "이 채점 기준이 믿을 만하구나"라고 생각할 수 있지만, 점수가 제각각이라면 채점 기준 자체를 의심하게 되겠죠. 연구에서도 관찰이나 면접, 행동 코딩처럼 사람이 직접 판단해야 하는 측정을 할 때, 두 명 이상의 평가자가 독립적으로 같은 자료를 평가하게 한 뒤 그 일치 정도를 계산합니다. 이것이 평가자간 신뢰도이며, 코헨의 카파(Cohen's kappa)나 급내상관계수(ICC) 같은 지표로 표현됩니다.

왜 중요한가

사람의 주관적 판단이 개입되는 질적 코딩, 임상 진단, 관찰 평가는 측정 자체의 신뢰성이 담보되지 않으면 이후 분석 결과 전체가 의미를 잃습니다. 평가자간 신뢰도는 "이 측정이 평가자 개인의 주관에 좌우되지 않는다"는 것을 보여주는 근거이기 때문에, 질적연구 방법론이나 심리측정, 의료영상 판독 연구에서 결과의 타당성을 뒷받침하는 필수 절차로 자리 잡고 있습니다.

논문에서는 이렇게 쓰입니다

"두 명의 독립적인 코더가 전체 인터뷰 자료의 20%를 무작위로 선정하여 코딩하였으며, 평가자간 신뢰도는 코헨의 카파 계수 .82로 우수한 수준이었다(κ = .82)."

이 문장은 "서로 다른 두 사람이 같은 자료를 평가했는데도 판단이 거의 일치했으므로, 이 코딩 방식과 결과를 신뢰할 수 있다"는 뜻입니다.

"세 명의 영상의학과 전문의가 동일한 흉부 CT 영상을 독립적으로 판독하였으며, 급내상관계수(ICC)는 .91로 평가자 간 판독 일치도가 매우 높은 것으로 나타났다."

의료영상 판독처럼 연속적인 척도로 평가하는 경우에는 카파 대신 급내상관계수를 사용하며, 값이 높을수록 여러 전문의의 판독 결과가 서로 잘 맞아떨어진다는 의미입니다.

조금 더 깊게 보면

평가자간 신뢰도 지표는 자료의 형태에 따라 다르게 선택됩니다. 범주형 자료(예/아니오, 유목 분류)에는 코헨의 카파나 세 명 이상일 때 사용하는 플라이스 카파(Fleiss' kappa)가, 연속형·순위형 자료에는 급내상관계수가 주로 쓰입니다. 카파 계수는 우연히 일치할 확률을 보정한 값이기 때문에 단순 일치율(percent agreement)보다 엄격한 지표로 여겨지며, 일반적으로 .60 이상이면 양호, .80 이상이면 우수한 수준으로 해석하는 기준이 통용되지만 분야나 척도에 따라 판단 기준은 다소 달라질 수 있습니다.

주의할 점

평가자간 신뢰도는 같은 시점에 서로 다른 사람들이 평가한 결과의 일치도를 보는 것으로, 같은 사람이 시간을 두고 반복 측정했을 때의 일관성을 보는 검사-재검사 신뢰도와는 다른 개념입니다. 두 개념을 혼용해서 보고하면 검토자에게 오해를 줄 수 있으므로 구분해서 명시해야 합니다.