혼합설계 (Mixed Design)
쉽게 풀면
새로운 학습법의 효과를 성별에 따라 비교하고 싶다고 해봅시다. "성별"은 한 사람이 남성이면서 동시에 여성일 수 없으니, 남학생 그룹과 여학생 그룹으로 나눠서 비교할 수밖에 없습니다(피험자간 요인). 반면 "학습 전후 점수 변화"는 같은 학생을 학습 전과 후에 반복해서 측정하면 됩니다(피험자내 요인).
이렇게 한 요인은 사람을 나눠서 비교하고, 다른 요인은 같은 사람을 반복 측정해서 비교하는 방식을 한 연구 안에서 같이 쓰는 것이 혼합설계입니다. 피험자간설계와 피험자내설계의 장점을 한 번에 활용할 수 있어 실험 연구에서 매우 흔하게 쓰입니다.
왜 중요한가
실제 연구 현장에서는 집단 간 비교와 시간에 따른 변화 관찰을 동시에 하고 싶은 경우가 매우 흔합니다. 혼합설계는 하나의 실험으로 두 질문에 동시에 답할 수 있게 해주기 때문에, 실험 참가자를 새로 모집하는 데 드는 비용과 시간을 절약하면서도 통계적 검정력을 높일 수 있습니다. 이런 효율성 때문에 심리학, 교육학, 의학 등 개입(intervention) 효과를 검증하는 다양한 분야의 논문에서 널리 채택됩니다.
어떤 절차인가
- 피험자 간 요인을 정합니다: 참가자를 서로 다른 집단에 배정하는 요인(예: 처치군/대조군).
- 피험자 내 요인을 정합니다: 모든 참가자가 겪거나 반복해서 측정하는 요인(예: 사전·사후·추적 시점).
- 배정과 측정: 참가자를 집단에 (가능하면 무작위로) 배정하고, 모두를 같은 시점들에서 측정합니다.
- 분석: 혼합 분산분석(mixed ANOVA) 또는 혼합효과모형으로 세 가지 효과를 검정합니다.
가상의 예: 처치군·대조군 각 20명(N = 40)을 사전·사후·추적의 3시점에 측정하는 2 × 3 혼합설계. 혼합 분산분석에서 검정하는 효과와 자유도:
| 효과 | 의미 | 자유도 |
|---|---|---|
| 집단 주효과 | 시점을 합쳤을 때 두 집단이 다른가 | F(1, 38) |
| 시점 주효과 | 집단을 합쳤을 때 시점 간 변화가 있는가 | F(2, 76) |
| 집단 × 시점 상호작용 | 두 집단의 변화 양상이 다른가 | F(2, 76) |
언제 쓰고 무엇을 얻나
- 쓰는 경우: 개입 효과를 집단 비교와 시간에 따른 변화로 함께 보고 싶을 때(사전-사후 통제집단 설계 등).
- 핵심은 상호작용: 처치 효과는 보통 집단 주효과가 아니라 집단 × 시점 상호작용에서 읽습니다. 처치군만 사후에 점수가 변했다면 상호작용이 유의합니다. 사전 점수에서 이미 집단 차이가 있다면 집단 주효과는 처치 효과가 아닙니다.
- 가정: 피험자 내 요인의 수준이 3개 이상이면 구형성(수준 쌍마다 차이 점수의 분산이 같다는 조건)을 검토합니다. 위배되면 Greenhouse–Geisser 같은 자유도 보정을 씁니다(Greenhouse & Geisser, 1959; Mauchly 검정). 집단 간 공분산 행렬이 같다는 가정(Box의 M)도 확인합니다.
- 대안: 결측이 많거나 측정 시점이 사람마다 다르면 혼합효과모형이 유연합니다.
- 같은 이름으로 쓰이는 ‘혼합설계’가 양적과 질적 자료를 섞는 혼합연구설계를 뜻하는 경우도 있습니다. 문맥으로 구분해야 합니다.
논문에는 이렇게 적는다
- 설계를 “2(집단: 처치, 대조; 피험자 간) × 3(시점: 사전, 사후, 추적; 피험자 내) 혼합설계”처럼 요인과 수준으로 밝힙니다.
- 구형성 검정 결과와 사용한 보정(Greenhouse–Geisser 등)을 적습니다.
- 세 효과 모두 F값, 두 자유도, p값, 효과크기(예: 부분 η² 또는 일반화 η²)를 보고합니다. Bakeman(2005)은 반복측정이 포함된 설계에서 일반화 η²를 권고합니다.
- 상호작용이 유의하면 단순 주효과 분석(시점별 집단 비교, 집단별 시점 변화)과 그래프로 해석을 뒷받침합니다.
문장의 예(가상): “집단 × 시점 상호작용이 유의하였다(Greenhouse–Geisser 보정 F(1.8, 68.4) = 7.35, p = .002). 단순 주효과 분석에서 처치군은 사전에서 사후로 점수가 유의하게 증가한 반면 대조군은 변화가 없었다.”
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 참가자를 두 집단으로 나누어 비교하는 동시에, 같은 참가자를 사전과 사후 두 시점에 반복 측정해 변화를 함께 분석했다는 뜻입니다.
이는 인지신경과학 연구에서 흔히 쓰이는 방식으로, 서로 다른 약물을 투여받은 집단 간 비교와 함께 같은 참가자가 여러 자극 조건을 모두 경험하도록 설계했다는 의미입니다.
교육학 연구에서는 이처럼 서로 다른 소속 집단 간 비교와 같은 학생의 시간에 따른 변화를 함께 살펴보는 데 혼합설계가 자주 활용됩니다.
조금 더 깊게 보면
혼합설계 자료는 흔히 혼합 분산분석(mixed ANOVA)으로 분석하는데, 이때 피험자내 요인에 대해서는 구형성(sphericity) 가정을 만족하는지 확인해야 하며, 가정이 위배되면 그린하우스-가이서(Greenhouse-Geisser) 보정과 같은 자유도 조정 절차를 적용하는 경우가 많습니다. 최근에는 개체별 편차를 더 유연하게 반영할 수 있는 혼합효과모형을 활용해 혼합설계 자료를 분석하는 경우도 늘고 있습니다.
주의할 점
혼합설계는 두 유형의 요인을 함께 다루므로, 분석 시에도 일반적인 요인설계용 분산분석과는 다른 혼합 분산분석(mixed ANOVA) 절차를 써야 합니다. 두 요인을 같은 방식으로 분석하면 오차 구조를 잘못 계산해 결과가 왜곡될 수 있습니다.
헷갈리기 쉬운 용어
‘혼합’이 들어간 용어들입니다.
| 용어 | 무엇이 섞이나 | 분석 |
|---|---|---|
| 혼합설계(mixed design) | 피험자 간 요인 + 피험자 내 요인 | 혼합 분산분석 |
| 반복측정설계 | 같은 참가자를 여러 번 측정 (피험자 내만) | 반복측정 분산분석 |
| 혼합연구방법 | 양적 자료 + 질적 자료 | 자료 통합 분석 |
참고 문헌
- Keppel, G., & Wickens, T. D. (2004). Design and Analysis: A Researcher's Handbook (4th ed.). Pearson.
- Maxwell, S. E., Delaney, H. D., & Kelley, K. (2018). Designing Experiments and Analyzing Data: A Model Comparison Perspective (3rd ed.). Routledge.
- Greenhouse, S. W., & Geisser, S. (1959). On methods in the analysis of profile data. Psychometrika, 24(2), 95–112.
- Bakeman, R. (2005). Recommended effect size statistics for repeated measures designs. Behavior Research Methods, 37(3), 379–384.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.