다중특성-다중방법 행렬 (Multitrait-Multimethod Matrix)

한 줄 정의: 여러 개념을 여러 방법으로 동시에 측정한 뒤, 그 상관관계들을 한 표로 정리해 수렴·판별타당도를 함께 검증하는 방법입니다.

쉽게 풀면

"불안"과 "우울"이라는 두 개념을, 각각 설문·행동관찰·생리 측정(심박수)이라는 세 가지 방법으로 재본다고 해봅시다. 이 결과를 격자 모양의 표로 정리하면 두 가지를 동시에 확인할 수 있습니다. 첫째, 같은 개념을 다른 방법으로 쟀을 때도 서로 높은 상관을 보이는지(예: 설문 불안과 생리 불안이 비슷하게 나오는지 → 수렴타당도), 둘째, 다른 개념은 같은 방법으로 재도 서로 낮은 상관을 보이는지(예: 설문 불안과 설문 우울이 실제로는 구분되는지 → 판별타당도). 이 표 하나로 "측정 방법 때문에 생긴 착시"와 "개념 자체의 차이"를 구분해낼 수 있는 것이 이 기법의 핵심입니다.

왜 중요한가

MTMM은 새로운 척도를 개발하거나 기존 척도의 타당성을 검증할 때, 측정 결과가 실제 개념을 반영하는지 아니면 단순히 사용한 측정 방법의 특성을 반영하는 것인지를 구분해주기 때문에 심리측정학과 척도 개발 연구에서 핵심적인 검증 절차로 다뤄집니다. 설문, 관찰, 생리지표처럼 서로 다른 방법으로 측정한 결과가 얼마나 일치하는지를 보여주므로, 단일 방법에만 의존한 연구의 한계를 보완하는 다중방법 연구설계의 근거로도 자주 인용됩니다. 최근에는 구조방정식모형과 결합되어 더 정교한 구성타당도 검증 틀로 확장되고 있습니다.

논문에서는 이렇게 쓰입니다

"다중특성-다중방법 행렬(MTMM) 분석 결과, 동일 특성 간 상관계수가 이형 방법-이형 특성 간 상관계수보다 일관되게 높아 구성타당도가 지지되었다."

이 문장은 같은 개념을 다른 방법으로 측정했을 때의 상관관계가, 서로 다른 개념·다른 방법을 섞어 측정했을 때의 상관관계보다 뚜렷하게 높게 나타나, 측정도구가 개념을 제대로 구분해 재고 있음을 확인했다는 뜻입니다.

"자기보고식 설문, 동료평가, 관리자 평가로 측정한 직무만족과 조직몰입의 MTMM 분석에서 동일 방법으로 측정된 서로 다른 특성 간 상관이 예상보다 높게 나타나 공통방법편의(common method bias) 가능성이 제기되었다."

이 문장은 같은 측정 방법을 썼을 때 서로 다른 개념끼리도 상관이 높게 나오는 현상이 발견되었다는 것으로, 이는 개념 자체보다 측정 방법의 공통 요인이 결과에 영향을 미쳤을 가능성을 시사합니다. 조직심리학 연구에서 자주 지적되는 문제입니다.

"아동의 정서조절 능력을 부모보고, 교사보고, 관찰코딩의 세 가지 방법으로 측정한 MTMM 분석에서 수렴타당도와 판별타당도가 모두 양호한 수준으로 확인되었다."

이 문장은 발달심리학 연구에서 여러 정보 제공자(부모, 교사, 관찰자)의 평가를 비교함으로써 측정도구가 신뢰할 만하다는 것을 확인했다는 뜻입니다.

조금 더 깊게 보면

MTMM 행렬을 해석할 때는 크게 네 가지 상관계수 유형, 즉 동일특성-동일방법(신뢰도 계수), 동일특성-이형방법(수렴타당도), 이형특성-동일방법(방법효과 확인), 이형특성-이형방법(가장 낮아야 하는 판별타당도) 간의 상대적 크기를 비교합니다. 전통적으로는 이 상관계수들을 눈으로 비교하는 방식이 쓰였지만, 해석 기준이 모호하다는 한계 때문에 최근에는 확인적 요인분석을 이용해 특성 요인과 방법 요인을 분리해 추정하는 상관 특성-상관 방법(correlated trait-correlated method) 모형 등 구조방정식 기반 접근이 더 널리 쓰입니다. 이런 모형을 통해 측정값의 분산 중 얼마가 실제 개념(특성)에 의한 것이고 얼마가 측정 방법에 의한 것인지를 수치로 분리해낼 수 있습니다.

주의할 점

MTMM 행렬은 만들기는 간단하지만, 상관계수들을 비교해 "충분히 수렴했다" 또는 "충분히 구분됐다"고 판단하는 명확한 기준이 없어 해석에 주관이 개입되기 쉽습니다. 최근 논문에서는 이를 보완하기 위해 확인적 요인분석 기반의 합성신뢰도 계산이나 구조방정식 모형을 함께 사용하는 경우가 많습니다.