내적일관성 신뢰도 (Internal Consistency Reliability)
쉽게 풀면
"우울감"을 측정하는 설문지에 문항이 10개 있다고 해봅시다. 만약 이 척도가 정말 우울감이라는 하나의 개념을 잘 재고 있다면, 우울감이 높은 사람은 10개 문항 대부분에서 높은 점수를, 우울감이 낮은 사람은 대부분에서 낮은 점수를 보여야 합니다. 그런데 어떤 사람이 1번 문항에서는 매우 우울하다고 답하면서 3번 문항에서는 전혀 우울하지 않다고 답하는 식으로 문항끼리 답이 들쭉날쭉하다면, 이 척도는 뭔가 문제가 있는 것입니다. 내적일관성 신뢰도는 이렇게 척도 안의 문항들이 서로 얼마나 발맞춰 움직이는지를 확인해서, 그 척도가 하나의 개념을 안정적으로 재고 있는지를 판단하는 신뢰도입니다.
왜 중요한가
설문이나 척도를 이용한 연구는 그 측정도구가 실제로 의도한 개념을 안정적으로 재고 있다는 전제 위에서만 결과 해석이 의미를 갖습니다. 내적일관성 신뢰도는 이 전제를 검증하는 가장 기본적인 절차이기 때문에, 심리학·교육학·경영학처럼 자기보고식 척도를 널리 사용하는 분야의 논문에서는 척도를 소개할 때 거의 예외 없이 함께 보고됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 척도를 구성하는 문항들이 서로 높은 일관성을 보이며 같은 개념을 재고 있다는 뜻으로, 이 값이 보통 .70 이상이면 신뢰할 만하다고 판단합니다.
하나의 척도 안에 여러 하위요인(하위척도)이 있을 때는 전체 척도뿐 아니라 각 하위요인별로도 내적일관성을 따로 확인해야 한다는 것을 보여주는 예시입니다.
조금 더 깊게 보면
내적일관성 신뢰도를 계산하는 대표적인 방법이 크론바흐 알파이지만, 이는 문항들이 하나의 단일 개념만을 측정한다는 가정(단일차원성)에 의존하기 때문에, 척도가 여러 하위요인으로 구성되어 있다면 전체가 아니라 하위요인별로 따로 계산하는 것이 원칙입니다. 최근에는 크론바흐 알파의 한계(문항 간 동일한 가중치 가정 등)를 보완하기 위해 맥도날드의 오메가(McDonald's omega) 계수를 함께 보고하는 논문도 늘고 있으며, 확인적 요인분석과 결합해 척도의 구조적 타당성을 함께 검증하는 경우도 흔합니다.
주의할 점
내적일관성 신뢰도가 높다고 해서 척도가 무조건 좋은 것은 아닙니다. 문항 수가 많아지면 이 값이 인위적으로 높아지는 경향이 있고, 서로 표현만 살짝 다른 문항을 중복해서 넣어도 값이 높게 나올 수 있습니다. 또한 이 신뢰도는 같은 시점에 한 번 측정한 자료만으로 계산하며, 시간이 지나도 결과가 안정적인지를 보는 검사-재검사 신뢰도와는 확인하는 대상이 다릅니다.