내용타당도 (Content Validity)
쉽게 풀면
기말고사를 생각해보면 쉽습니다. 한 학기 동안 5개 단원을 배웠는데 시험 문제가 전부 1단원에서만 나온다면, 그 시험은 "이 학기 내용을 제대로 평가한다"고 보기 어렵습니다. 내용타당도는 바로 이런 것을 따집니다.
예를 들어 "직무 만족도"를 측정하는 설문이 급여 관련 질문만 있고 인간관계, 업무 환경, 성장 가능성 같은 다른 요소를 전혀 묻지 않는다면, 직무 만족도라는 개념을 충분히 대표하지 못한 것이므로 내용타당도가 낮다고 봅니다.
보통 통계적으로 계산하기보다는 해당 분야 전문가들이 문항을 검토하고 "이 정도면 개념을 골고루 다뤘다"고 판단하는 방식으로 확인합니다.
왜 중요한가
새로 개발한 설문이나 검사 도구가 논문에 등장할 때, 독자가 가장 먼저 묻는 질문은 "이 문항들이 측정하려는 개념을 제대로 대표하는가"입니다.
내용타당도가 확보되지 않은 척도는 결과를 아무리 정교하게 통계 분석해도 애초에 엉뚱한 것을 재고 있을 위험이 있기 때문에, 척도 개발 및 타당화 연구에서 가장 먼저 점검하는 항목으로 다뤄집니다.
특히 심리학, 교육학, 간호학, 경영학 등 자기보고식 설문을 많이 쓰는 분야에서는 새 척도를 제안할 때 내용타당도 검증 절차를 논문 초반부에 명시하는 것이 관례처럼 자리 잡고 있습니다.
핵심 정리
- 문항이 측정하려는 개념의 내용 영역을 빠짐없이, 균형 있게 담았는지에 대한 증거입니다. 계산이 아니라 영역의 정의, 문항 명세, 전문가 판단에 기초합니다(Haynes, Richard, & Kubany, 1995).
- 보통 순서는 ① 개념과 하위 영역 정의, ② 영역별 문항 배분표(명세표) 작성, ③ 전문가 패널의 문항 평정, ④ 수정입니다.
- 정량화하는 대표 지표는 두 가지입니다.
| 지표 | 계산 | 제안자 |
|---|---|---|
| 내용타당도 비(CVR) | (‘필수’라고 답한 전문가 수 − N/2) ÷ (N/2). −1~1 | Lawshe(1975) |
| 내용타당도 지수(I-CVI, S-CVI) | 4점 척도에서 3·4점으로 답한 전문가 비율 | Lynn(1986), Polit & Beck(2006) |
예시로 보기
(가상의 예) 전문가 6명이 문항 5개의 관련성을 4점 척도(1 = 관련 없음 … 4 = 매우 관련 있음)로 평정했습니다.
| 문항 | 전문가 1~6의 점수 | 3·4점 수 | I-CVI |
|---|---|---|---|
| 1 | 4, 4, 3, 4, 4, 3 | 6 | 1.00 |
| 2 | 4, 3, 4, 4, 2, 4 | 5 | .83 |
| 3 | 3, 4, 2, 2, 4, 3 | 4 | .67 |
| 4 | 4, 4, 4, 4, 4, 4 | 6 | 1.00 |
| 5 | 1, 2, 3, 2, 4, 3 | 3 | .50 |
I-CVI의 평균인 S-CVI/Ave = (1.00 + .83 + .67 + 1.00 + .50) ÷ 5 = .80입니다(코드로 계산). Lynn(1986)의 기준에서는 전문가가 6명이면 I-CVI가 .83 이상이어야 하므로 문항 1·2·4는 유지되고 문항 3·5는 수정이나 삭제 후보입니다. Polit와 Beck(2006)은 S-CVI/Ave .90 이상을 권하므로 이 척도는 전체로도 기준에 못 미칩니다.
CVR로 보면 전문가 10명 중 ‘필수’가 7명이면 CVR = .40, 8명이면 .60, 9명이면 .80입니다. Lawshe(1975)의 표에서 N = 10일 때 기준값은 .62이므로 8명(.60)은 기준에 못 미치고 9명(.80)이면 통과합니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| CVI가 높으면 타당도가 증명된다. | 전문가 판단일 뿐 통계적 구조는 아닙니다. 구조 증거는 구성타당도 분석에서 따로 확인합니다. |
| 전문가가 많을수록 좋다. | 수보다 전문성의 다양성과 평정 지침이 중요합니다. 평정 기준이 불명확하면 일치도가 높아도 의미가 약합니다. |
| 안면타당도와 같다. | 안면은 겉보기에 적절한가이고, 내용은 영역 대표성입니다. 응답자 의견과 전문가 판단이라는 차이도 있습니다. |
| CVI는 기준치만 넘으면 된다. | 우연히 일치할 확률을 보정하지 않는다는 비판이 있어 수정 카파 같은 보완이 제안됩니다(Polit 등, 2007). |
| 한번 정한 문항 구성은 영구적이다. | 개념 정의나 대상이 바뀌면 다시 검토해야 합니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“문항의 내용타당도는 Lawshe (1975)와 Lynn (1986)이 각각 제안한 CVR (content validity ratio; 내용타당도 비)와 CVI (content validity index; 내용타당도 지수)를 적용하여 검증하였다.”
‘무대공연불안척도’의 내용타당도 검증, 한국체육측정평가학회지, 2021 · KCI 한국학술지인용색인 · 원문 보기 ↗
“구안한 문항에 대한 전문가의 검토로 내용타당도를 검증하였고, 요인분석을 통해 구인타당도를 검증하였다.”
초등교사 행위주체성 측정 도구 개발, 교원교육, 2024 · KCI 한국학술지인용색인 · 원문 보기 ↗
“문항 개발 단계에서는 선행연구를 참조하여 96개 예비문항을 개발하였고, 전문가의 내용타당도 검증을 실시하여 50개 문항으로 축소되었으며, 이후 실제 연구대상자들의 인터뷰를 통해 안면타당도를 검증하였다.”
중고령자 은퇴준비도 진단도구 개발, 취업진로연구, 2022 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "설문지에 있는 문항들이 측정하려는 개념(예: 직무 만족도)을 빠짐없이, 편중되지 않게 다루고 있는지를 전문가들이 검토해서 확인했다"는 뜻입니다.
간호학이나 교육학 등에서는 전문가 판단을 단순 서술에 그치지 않고, 각 문항이 개념을 얼마나 잘 대표하는지를 전문가들이 점수로 평가한 뒤 이를 수치화한 지수로 보고하는 경우가 많습니다. 이 문장은 그런 수치화 절차를 거쳐 부적절한 문항을 걸러냈다는 뜻입니다.
경영학이나 조직행동 연구처럼 하나의 개념이 여러 하위 차원으로 이루어진 경우, 특정 하위 영역에만 문항이 몰려 있지는 않은지를 점검하는 맥락에서도 내용타당도라는 표현이 쓰입니다.
조금 더 깊게 보면
내용타당도를 좀 더 체계적으로 다루고 싶을 때 흔히 언급되는 개념이 내용타당도 지수(Content Validity Index, CVI)입니다. 이는 전문가들에게 각 문항이 개념을 얼마나 잘 대표하는지 등급을 매기게 한 뒤, 그 결과를 문항 단위(I-CVI) 또는 척도 전체 단위(S-CVI)로 정리한 지표입니다.
또한 문항 개발 초기에는 측정하려는 개념의 정의와 하위 구성요소를 명세표(specification table) 형태로 미리 정리해두고, 각 문항이 그중 어느 부분을 다루는지 매핑해보는 방식도 자주 쓰입니다.
다만 내용타당도는 어디까지나 전문가 판단에 기반한 질적 평가이므로, 통계적 근거가 필요한 경우에는 구성타당도 검증(예: 요인분석)이 함께 보고되는 경우가 일반적입니다.
주의할 점
내용타당도는 준거타당도와 자주 혼동됩니다. 내용타당도는 "문항이 개념의 내용을 잘 대표하는가"를 전문가 판단으로 질적으로 평가하는 반면, 준거타당도는 그 검사 결과가 실제 외부 기준(예: 시험 점수, 실제 성과)과 얼마나 일치하는지를 수치로 비교하는 것입니다. 둘 다 "타당도"지만 확인하는 방식과 기준이 다릅니다.
헷갈리기 쉬운 용어
‘타당도’로 끝나는 비슷한 용어가 많습니다.
| 용어 | 누가 판단하나 | 핵심 질문 |
|---|---|---|
| 내용타당도 | 분야 전문가 패널 | 문항이 영역을 빠짐없이 대표하는가 |
| 안면타당도 | 응답자·비전문가 | 겉보기에 적절해 보이는가 |
| 준거타당도 | 자료(통계) | 외부 기준과 일치하는가 |
| 구성타당도 | 자료와 이론 | 이론이 말하는 구조와 맞는가 |
참고 문헌
- Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563–575.
- Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35, 382–385.
- Polit, D. F., & Beck, C. T. (2006). The content validity index: are you sure you know what's being reported? Critique and recommendations. Research in Nursing & Health, 29, 489–497.
- Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30, 459–467.
- Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: a functional approach to concepts and methods. Psychological Assessment, 7, 238–247.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.