급내상관계수 (Intraclass Correlation Coefficient)
쉽게 풀면
체중계 3대로 같은 사람의 몸무게를 각각 재본다고 생각해봅시다. 세 저울이 모두 65.2kg 근처의 값을 보여준다면 저울들이 서로 잘 맞는다고 할 수 있고, 하나는 60kg, 하나는 70kg을 가리킨다면 저울들을 믿기 어렵겠죠. 급내상관계수(ICC)는 이런 상황을 점수로 표현한 것으로, 여러 평가자나 여러 측정 시점에서 나온 연속적인 점수들이 서로 얼마나 비슷하게 움직이는지를 계산합니다. 값이 1에 가까울수록 평가자들 사이의 일치도가 높다는 뜻이고, 보통 .75 이상이면 우수한 수준으로 봅니다.
왜 중요한가
측정이나 평가가 사람(관찰자, 평가자)에 의해 이루어지는 연구에서는 그 측정 자체가 얼마나 믿을 만한지를 먼저 확인하지 않으면 이후 분석 결과 전체의 타당성이 흔들립니다. ICC는 이런 측정 신뢰도를 정량화하는 표준적 방법이기 때문에 심리검사 개발, 임상 평가 도구 검증, 영상 판독 연구 등 사람이 개입하는 측정이 있는 거의 모든 분야에서 보고됩니다. 신뢰도가 낮은 측정 도구로는 이후의 효과 검증이나 상관 분석 결과 자체를 신뢰하기 어렵기 때문입니다.
논문에서는 이렇게 쓰입니다
이 문장은 "두 평가자가 매긴 점수가 서로 매우 비슷하게 움직였으므로, 이 채점 결과를 신뢰할 수 있다"는 뜻입니다.
재활의학이나 운동생리학 연구에서는 같은 평가자가 시간 간격을 두고 반복 측정한 값들의 일치도를 확인할 때도 ICC를 사용합니다.
영상 판독처럼 전문가의 주관적 해석이 개입되는 측정에서도 ICC를 통해 판독자 간 일치도를 확인하고, 낮은 값이 나오면 판독 기준을 재검토해야 한다는 근거로 삼습니다.
조금 더 깊게 보면
ICC는 하나의 공식이 아니라 여러 유형(모형)이 있으며, 평가자를 무작위표본으로 볼지 고정된 대상으로 볼지, 단일 평가자의 값을 볼지 여러 평가자의 평균값을 볼지에 따라 One-way, Two-way random, Two-way mixed 등으로 구분됩니다. 같은 데이터라도 어떤 모형을 적용했는지에 따라 값이 달라질 수 있으므로, 논문을 읽을 때는 신뢰구간과 함께 어떤 모형과 유형의 ICC를 사용했는지 확인하는 것이 중요합니다. 대체로 .5 미만은 낮음, .5~.75는 보통, .75~.9는 좋음, .9 이상은 매우 우수한 수준으로 해석하는 기준이 널리 쓰입니다.
주의할 점
ICC는 연속적인 점수(예: 척도 총점)의 일치도를 볼 때 쓰이며, "합격/불합격"처럼 범주형 판정의 일치도를 볼 때 쓰는 코헨의 카파와는 계산 방식이 다릅니다. 또한 ICC는 평가자간 신뢰도를 확인하는 여러 방법 중 하나이며, 어떤 산출 공식(모형)을 썼는지에 따라 같은 데이터에서도 값이 달라질 수 있으므로 논문에서 어떤 유형의 ICC를 사용했는지 함께 확인하는 것이 좋습니다.