혼합효과모형 (Mixed-Effects Model)

한 줄 정의: 모든 개체에 공통으로 적용되는 고정효과와, 개체나 집단마다 다르게 나타나는 무선효과(임의효과)를 함께 포함하는 통계모형입니다.

쉽게 풀면

여러 반 학생들의 시험 점수를 분석한다고 해봅시다. "공부 시간이 길수록 점수가 높다"는 규칙은 모든 학생에게 공통으로 적용될 수 있지만(고정효과), 동시에 어떤 반은 선생님이 잘 가르쳐서 반 전체 점수가 원래 높고 어떤 반은 낮을 수도 있습니다(무선효과).

이런 반별 차이를 무시하고 그냥 전체를 하나로 뭉쳐 분석하면 잘못된 결론이 나올 수 있습니다.

혼합효과모형은 "공부 시간의 효과"처럼 모두에게 적용되는 부분과 "반마다 다른 출발점"처럼 집단별로 다른 부분을 동시에 반영해서, 같은 집단에 속한 사람들의 자료가 서로 닮아있다는 점(반복측정, 학급, 학교 등으로 묶인 자료의 특성)을 제대로 고려하는 방법입니다.

왜 중요한가

현실의 데이터는 학생이 학급에, 학급이 학교에 속하는 것처럼 여러 층위로 묶여 있거나 같은 개체를 여러 번 반복 측정한 형태인 경우가 많습니다. 이런 자료의 위계 구조나 개체 간 상관을 무시하고 일반적인 회귀분석을 적용하면 표준오차가 왜곡되어 잘못된 결론에 이를 위험이 있습니다.

혼합효과모형은 이런 구조를 명시적으로 반영할 수 있어 교육학, 심리학, 생태학, 의학 등 위계적·반복측정 자료를 다루는 거의 모든 분야에서 표준적인 분석 도구로 자리잡았습니다.

언제 쓰나

관측치들이 서로 독립이 아닐 때, 곧 한 묶음(학교, 병원, 사람) 안의 관측치가 서로 닮을 때 씁니다. 일반 회귀를 그대로 쓰면 표준오차가 지나치게 작아져 p값이 실제보다 좋게 나옵니다.

학생이 학급에, 학급이 학교에 속한 자료(위계 자료, 다층모형이라고도 부름).
같은 사람을 여러 시점에 측정한 종단·반복측정 자료. 시점 수나 간격이 사람마다 달라도, 일부가 빠져도 쓸 수 있다는 점이 반복측정 분산분석과 다릅니다(결측이 무작위로 생겼다는 가정 아래 최대우도 추정을 쓰는 경우).
실험 참가자와 자극 항목이 모두 무작위로 뽑힌 설계처럼 무선효과가 교차하는 자료.

구성은 두 부분입니다. 고정효과는 모두에게 공통인 평균적 관계(예: 공부 시간의 효과)이고, 무선효과는 묶음마다 다르게 나타나는 부분(예: 학교마다 다른 출발점=무선절편, 학교마다 다른 기울기=무선기울기)을 분산으로 추정합니다.

결과는 이렇게 읽는다

가상의 예: 5개 학교에서 6명씩 뽑아 점수를 쟀습니다. 학교 평균은 63.3, 71.5, 56.2, 66.2, 60.5입니다.

분산 분해(균형 설계의 분산분석 추정): 학교 간 분산 32.6, 학교 내 분산 5.12. 전체 변동 중 학교가 차지하는 비율인 급내상관계수(ICC) = 32.6 / (32.6 + 5.12) = .86입니다. 같은 학교 학생끼리 매우 닮았다는 뜻입니다.
설계효과 = 1 + (학교당 인원 − 1) × ICC = 1 + 5 × .86 = 5.3. 30명의 자료가 독립 관측치 약 5.6명분의 정보밖에 주지 못한다는 뜻입니다.
그래서 30명을 독립이라 보고 전체 평균의 표준오차를 구하면 1.03이지만, 학교 평균 5개를 기준으로 하면 2.59로 2.5배 큽니다. 묶음을 무시한 분석이 위험한 이유입니다.
혼합모형 출력에서는 고정효과표(계수, SE, 자유도, t, p)와 무선효과표(절편·기울기의 분산 또는 SD, 상관)를 따로 봅니다. 자유도와 p는 Satterthwaite나 Kenward-Roger 근사로 구하기도 합니다(Kuznetsova 외, 2017).
추정법은 대개 제한최대우도(REML)이며, 고정효과가 다른 두 모형을 우도비로 비교할 때는 REML이 아니라 최대우도(ML)로 적합한 값을 써야 합니다.
무선효과 구조가 자료에 비해 너무 복잡하면 ‘수렴하지 않음’이나 ‘특이 적합(분산이 0, 상관이 ±1)’ 경고가 뜹니다.

논문에는 이렇게 보고한다

모형 식(어느 변수가 고정·무선인지), 소프트웨어와 추정법, 묶음 수와 관측치 수, 고정효과와 무선효과 추정치, ICC, 모형 선택 근거를 적습니다.

학생(Level 1)이 학교(Level 2, 5개교)에 속한 구조를 반영하여 무선절편 선형혼합모형을 적합하였다(REML, lme4 패키지). 학교 간 분산은 32.6, 학교 내 분산은 5.12로 급내상관계수는 .86이었다.

무선효과를 무엇으로 정했는지 이유를 적습니다. 실험 자료에서는 가능한 한 설계에 맞는 무선효과 구조를 먼저 적합하고, 수렴이 안 되면 단순화하는 순서를 쓰자는 제안이 있습니다(Barr 외, 2013).
묶음 수가 적으면(위 예의 5개처럼) 무선효과 분산 추정이 불안정합니다. 필요한 묶음 수는 설계와 목적에 따라 다르니 표본 수 근거를 밝힙니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

“ECT군이 약물치료군에 비해 ECT 시행 후 MMN 진폭 또 는 잠복기에 유의한 차이를 보였는지를 평가하기 위해, 반복 측정을 위한 혼합모형(mixed models for repeated measures) 을 사용하여 MMN 진폭 및 잠복기의 군-시간 상호작용을 추 정하였다.”
정신증 환자에서 전기경련치료가 불일치음전위와 양성 증상에 미치는 정상화 효과, Korean Journal of Schizophrenia Research, 2026 · KoreaMed Synapse · 원문 보기 ↗
“이로 인한 집단 구성의 가변성을 통계적으로 제어하고 데 이터의 활용도를 극대화하여 구강건강교육 사업의 연도별 성과를 분 석하기 위해 선형혼합모형(Linear Mixed-effects Model, LMM)을 시 행하였다.”
유치원 기반 구강건강교육 사업을 통한 구강위생 개선과 치아우식 예방 효과 분석, Journal of Korean Academy of Oral Health, 2026 · KoreaMed Synapse · 원문 보기 ↗
“이때 사용하는 방법이 경시적 자료 분석 (longitudinal data analysis) 또는혼합모형 (mixed model) 분석이다.”
환경생태 자료 분석을 위한 시계열 분석 방법 연구, 환경생물, 2016 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"참가자 개인차를 무선효과로 처리한 혼합효과모형(mixed-effects model)을 사용하여 반복측정 자료를 분석하였다."

이 문장은 "같은 참가자에게서 여러 번 측정한 값들이 서로 독립적이지 않다는 점을 감안해, 참가자별 차이는 무선효과로 두고 관심 있는 처치 효과는 고정효과로 추정했다"는 뜻입니다. 학생-학급-학교처럼 위계적으로 묶인 자료나 시간에 따라 반복 측정한 자료를 분석할 때 자주 쓰입니다.

"학교를 무선효과로 지정한 다층 혼합효과모형을 적용하여 학급 규모가 학업성취도에 미치는 영향을 추정하였다."

교육학 연구에서는 학생이 특정 학급이나 학교에 속해 있다는 위계 구조를 무선효과로 반영함으로써, 학교 간 차이를 통제한 채 관심 있는 변수의 순수한 효과를 추정할 수 있습니다.

"관측 지점을 무선효과로 포함한 혼합효과모형을 통해 서식지 유형이 종 다양성에 미치는 영향을 분석하였다."

생태학 연구에서는 여러 조사 지점에서 반복적으로 수집한 자료를 다룰 때, 지점 간 고유한 차이를 무선효과로 처리해 서식지 효과를 보다 정확하게 추정하는 방식으로 흔히 활용됩니다.

조금 더 깊게 보면

혼합효과모형에서 무선효과는 흔히 절편(random intercept)뿐 아니라 기울기(random slope)로도 확장할 수 있어, 개체마다 처치 효과 자체가 다르게 나타나는 경우까지 반영할 수 있습니다. 모형의 적합은 대개 최대우도추정(ML)이나 제한최대우도추정(REML) 방식을 사용하며, 무선효과 구조가 복잡해질수록 모형이 수렴하지 않거나 추정이 불안정해질 수 있어 자료 크기와 무선효과의 복잡도 사이에서 균형을 잡는 것이 중요합니다.

주의할 점

혼합효과모형에서는 어떤 변수를 무선효과로 넣을지 결정하는 것이 결과에 큰 영향을 줍니다. 무선효과를 빠뜨리면 반복측정설계 자료의 개체 간 상관을 무시하게 되어 유의확률이 실제보다 과소평가될 수 있고, 반대로 표본 수에 비해 무선효과를 너무 복잡하게 넣으면 모형이 수렴하지 않을 수도 있습니다.

헷갈리기 쉬운 용어

묶인 자료를 다루는 방법은 여러 가지입니다.

방법	하는 일	한계
반복측정 분산분석	같은 대상의 반복 측정 비교	결측이 있으면 대상을 통째로 제외하는 경우가 많음, 구형성 필요
혼합효과모형(다층모형)	고정효과와 묶음별 무선효과를 함께 추정	무선효과 구조를 정해야 하고 수렴 문제 가능
군집 강건 표준오차	계수는 그대로 두고 표준오차만 보정	묶음별 차이를 모형으로 설명하지는 않음
위계적 회귀	변수 블록을 단계별로 투입	이름에 ‘위계’가 있어도 묶음 구조를 다루는 방법이 아님

‘다층모형’, ‘위계선형모형(HLM)’, ‘무선효과모형’은 같은 계열을 가리키는 이름으로 쓰이는 일이 많습니다.

참고 문헌

Laird, N. M., & Ware, J. H. (1982). Random-effects models for longitudinal data. Biometrics, 38(4), 963–974.
Raudenbush, S. W., & Bryk, A. S. (2002). Hierarchical linear models: Applications and data analysis methods (2nd ed.). Sage.
Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge University Press.
Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1), 1–48.
Barr, D. J., Levy, R., Scheepers, C., & Tily, H. J. (2013). Random effects structure for confirmatory hypothesis testing: Keep it maximal. Journal of Memory and Language, 68(3), 255–278.
Kuznetsova, A., Brockhoff, P. B., & Christensen, R. H. B. (2017). lmerTest package: Tests in linear mixed effects models. Journal of Statistical Software, 82(13), 1–26.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.