다중특성-다중방법 행렬 (Multitrait-Multimethod Matrix)
쉽게 풀면
"불안"과 "우울"이라는 두 개념을, 각각 설문·행동관찰·생리 측정(심박수)이라는 세 가지 방법으로 재본다고 해봅시다. 이 결과를 격자 모양의 표로 정리하면 두 가지를 동시에 확인할 수 있습니다.
첫째, 같은 개념을 다른 방법으로 쟀을 때도 서로 높은 상관을 보이는지(예: 설문 불안과 생리 불안이 비슷하게 나오는지 → 수렴타당도), 둘째, 다른 개념은 같은 방법으로 재도 서로 낮은 상관을 보이는지(예: 설문 불안과 설문 우울이 실제로는 구분되는지 → 판별타당도).
이 표 하나로 "측정 방법 때문에 생긴 착시"와 "개념 자체의 차이"를 구분해낼 수 있는 것이 이 기법의 핵심입니다.
왜 중요한가
MTMM은 새로운 척도를 개발하거나 기존 척도의 타당성을 검증할 때, 측정 결과가 실제 개념을 반영하는지 아니면 단순히 사용한 측정 방법의 특성을 반영하는 것인지를 구분해주기 때문에 심리측정학과 척도 개발 연구에서 핵심적인 검증 절차로 다뤄집니다.
설문, 관찰, 생리지표처럼 서로 다른 방법으로 측정한 결과가 얼마나 일치하는지를 보여주므로, 단일 방법에만 의존한 연구의 한계를 보완하는 다중방법 연구설계의 근거로도 자주 인용됩니다. 최근에는 구조방정식모형과 결합되어 더 정교한 구성타당도 검증 틀로 확장되고 있습니다.
어떤 절차인가
- 설계: 둘 이상의 특성(예: 불안, 우울)을 둘 이상의 방법(예: 자기보고, 면접 평정)으로 모두 측정합니다. 모든 특성-방법 조합을 같은 사람들에게 측정해야 합니다.
- 행렬 작성: 모든 조합 사이의 상관을 한 표에 정리합니다.
- 네 칸을 구분해 읽습니다(Campbell & Fiske, 1959).
| 칸 | 의미 | 기대 |
|---|---|---|
| 같은 특성-같은 방법 | 신뢰도 계수(대각선) | 높음 |
| 같은 특성-다른 방법 | 타당도 계수(수렴) | 유의하게 0보다 크고 충분히 높음 |
| 다른 특성-같은 방법 | 방법 효과가 섞인 상관 | 타당도 계수보다 낮음. 높으면 공통 방법 편의 의심 |
| 다른 특성-다른 방법 | 판별의 기준선 | 가장 낮음 |
언제 쓰고 무엇을 얻나
Campbell과 Fiske가 제시한 기준은 대략 네 가지입니다: (1) 타당도 계수가 0보다 유의하게 크다, (2) 타당도 계수가 같은 행·열의 다른 특성-다른 방법 상관보다 크다, (3) 타당도 계수가 같은 방법으로 잰 다른 특성 사이의 상관보다 크다, (4) 모든 삼각형에서 특성 사이 상관의 패턴이 비슷하다.
작은 예(가상의 값). 불안(A)과 우울(D)을 자기보고(S)와 면접 평정(I)으로 쟀습니다.
| A-자기 | D-자기 | A-면접 | D-면접 | |
|---|---|---|---|---|
| A-자기 | (.88) | |||
| D-자기 | .45 | (.85) | ||
| A-면접 | .62 | .18 | (.82) | |
| D-면접 | .2 | .58 | .33 | (.8) |
- 괄호는 신뢰도, 굵은 글씨는 타당도 계수(같은 특성-다른 방법)입니다.
- 타당도 계수(.62, .58)가 다른 특성-다른 방법 상관(.2, .18)보다 큽니다: 충족.
- 타당도 계수가 같은 방법의 다른 특성 상관(자기보고 .45, 면접 .33)보다도 큽니다: 충족.
- 같은 방법의 다른 특성 상관(.45, .33)이 방법이 다른 상관(.2, .18)보다 크므로 방법 효과가 어느 정도 있다고 해석합니다.
원리상 2×2부터 가능하지만 판단 근거가 약해, 보통 3개 이상의 특성과 방법을 사용합니다. 행렬은 눈으로 보는 판단이어서 “충분히 높다·낮다”의 기준이 모호하다는 한계가 있습니다.
논문에는 이렇게 적는다
- 어떤 특성을 어떤 방법으로 측정했는지(도구 이름 포함)와 표본 수를 밝히고, 전체 행렬을 표로 제시합니다. 대각선에는 신뢰도를 넣습니다.
- 수렴 근거(타당도 계수), 판별 근거(다른 칸과의 비교), 방법 효과(같은 방법 칸이 더 큰지)를 따로 서술합니다.
- 최근에는 행렬을 확인적 요인분석으로 분석해 특성 분산과 방법 분산을 나눠 추정하는 논문도 많으며(예: Widaman, 1985의 모형 비교), 이 경우 사용한 모형과 적합도를 적습니다.
예시 문장. “다중특성-다중방법 행렬에서 같은 특성을 다른 방법으로 측정한 상관(r = .xx~.xx)은 다른 특성을 다른 방법으로 측정한 상관(r = .xx~.xx)보다 컸다.” (실제 값으로 바꿔 쓰십시오.)
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 같은 개념을 다른 방법으로 측정했을 때의 상관관계가, 서로 다른 개념·다른 방법을 섞어 측정했을 때의 상관관계보다 뚜렷하게 높게 나타나, 측정도구가 개념을 제대로 구분해 재고 있음을 확인했다는 뜻입니다.
이 문장은 같은 측정 방법을 썼을 때 서로 다른 개념끼리도 상관이 높게 나오는 현상이 발견되었다는 것으로, 이는 개념 자체보다 측정 방법의 공통 요인이 결과에 영향을 미쳤을 가능성을 시사합니다. 조직심리학 연구에서 자주 지적되는 문제입니다.
이 문장은 발달심리학 연구에서 여러 정보 제공자(부모, 교사, 관찰자)의 평가를 비교함으로써 측정도구가 신뢰할 만하다는 것을 확인했다는 뜻입니다.
조금 더 깊게 보면
MTMM 행렬을 해석할 때는 크게 네 가지 상관계수 유형, 즉 동일특성-동일방법(신뢰도 계수), 동일특성-이형방법(수렴타당도), 이형특성-동일방법(방법효과 확인), 이형특성-이형방법(가장 낮아야 하는 판별타당도) 간의 상대적 크기를 비교합니다.
전통적으로는 이 상관계수들을 눈으로 비교하는 방식이 쓰였지만, 해석 기준이 모호하다는 한계 때문에 최근에는 확인적 요인분석을 이용해 특성 요인과 방법 요인을 분리해 추정하는 상관 특성-상관 방법(correlated trait-correlated method) 모형 등 구조방정식 기반 접근이 더 널리 쓰입니다.
이런 모형을 통해 측정값의 분산 중 얼마가 실제 개념(특성)에 의한 것이고 얼마가 측정 방법에 의한 것인지를 수치로 분리해낼 수 있습니다.
주의할 점
MTMM 행렬은 만들기는 간단하지만, 상관계수들을 비교해 "충분히 수렴했다" 또는 "충분히 구분됐다"고 판단하는 명확한 기준이 없어 해석에 주관이 개입되기 쉽습니다. 최근 논문에서는 이를 보완하기 위해 확인적 요인분석 기반의 합성신뢰도 계산이나 구조방정식 모형을 함께 사용하는 경우가 많습니다.
헷갈리기 쉬운 용어
MTMM 행렬은 방법이고, 수렴·판별타당도는 그 행렬이 보여 주는 근거입니다.
| 용어 | 무엇인가 | 행렬과의 관계 |
|---|---|---|
| 다중특성-다중방법 행렬 | 여러 특성×여러 방법의 상관을 한 표로 정리한 틀 | — |
| 수렴타당도 | 같은 특성을 다른 방법으로 재도 높은 상관 | 행렬의 “같은 특성-다른 방법” 칸에서 확인 |
| 판별타당도 | 다른 특성은 구별됨 | “다른 특성” 칸이 타당도 계수보다 낮은지로 확인 |
| 공통방법편의 | 같은 방법으로 측정해서 생기는 상관의 부풀림 | “다른 특성-같은 방법” 칸이 클 때 의심 |
참고 문헌
- Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81–105.
- Widaman, K. F. (1985). Hierarchically nested covariance structure models for multitrait-multimethod data. Applied Psychological Measurement, 9(1), 1–26.
- Podsakoff, P. M., MacKenzie, S. B., Lee, J.-Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research: A critical review of the literature and recommended remedies. Journal of Applied Psychology, 88(5), 879–903.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.