설문도구 타당화 (Survey Instrument Validation)
쉽게 풀면
새로운 설문지를 만들었다고 해서 그것이 원하는 것을 제대로 측정한다고 바로 믿을 수는 없습니다. 설문도구 타당화는 그 설문지가 실제로 측정하고자 하는 개념(예: 우울, 만족도)을 정확히 반영하는지, 반복 측정 시 일관된 결과가 나오는지 등을 여러 통계적, 절차적 방법으로 확인하는 과정입니다. 여기에는 내용타당도, 구성타당도, 크론바흐 알파 검증 등이 포함됩니다. 다른 언어로 번역한 척도를 쓸 때는 역번역 등 추가적인 타당화 절차가 필요합니다.
왜 중요한가
설문도구가 제대로 타당화되지 않으면 그 척도로 얻은 모든 후속 연구 결과의 신뢰성이 흔들리기 때문에, 심리학·교육학·간호학처럼 자기보고식 척도를 많이 사용하는 분야에서는 새 척도 개발이나 기존 척도의 번역·적용 자체가 하나의 독립된 연구로 다뤄집니다. 국제비교 연구가 늘면서 외국에서 개발된 척도를 국내 맥락에 맞게 타당화하는 연구도 꾸준히 이루어지고 있습니다.
논문에서는 이렇게 쓰입니다
새로 만든 설문지가 통계적으로 의미 있는 구조를 가지고 있고 일관되게 측정되는지를 확인하는 절차를 거쳤다는 뜻입니다.
간호학·보건학 분야에서는 외국 척도를 번역해 국내에 도입할 때, 원척도의 요인구조가 번역판에서도 그대로 재현되는지를 확인하는 절차가 흔히 포함됩니다.
교육심리학 분야에서는 전통적인 신뢰도·타당도 검증 외에 문항반응이론(IRT)을 활용해 개별 문항의 성능을 정교하게 분석하는 연구도 늘고 있습니다.
조금 더 깊게 보면
타당화 과정에서는 흔히 탐색적 요인분석(EFA)으로 척도의 하위 구조를 먼저 파악한 뒤, 독립된 표본을 대상으로 확인적 요인분석(CFA)을 실시해 그 구조가 재현되는지를 검증하는 2단계 접근이 사용됩니다. 신뢰도 역시 내적 일관성(크론바흐 알파)뿐 아니라 시간 간격을 두고 반복 측정하는 검사-재검사 신뢰도, 서로 다른 평가자 간 일치도를 보는 평가자 간 신뢰도 등 여러 측면에서 함께 확인되는 것이 일반적입니다.
주의할 점
타당화는 한 번의 연구로 완전히 끝나는 것이 아니라, 다른 표본과 맥락에서도 반복적으로 검증되어야 그 신뢰성이 누적됩니다.