설계효과 (Design Effect)

한 줄 정의: 층화나 군집표집처럼 복잡한 표본설계를 사용했을 때, 그 분산이 단순무작위표집에 비해 몇 배나 커지는지를 나타내는 비율입니다.

쉽게 풀면

전국 성인 1000명의 의견을 조사한다고 해봅시다. 만약 전국에서 완전히 무작위로 1000명을 뽑았다면 이상적이지만, 현실적으로는 비용 때문에 몇 개 지역(학교, 마을 등)을 먼저 고르고 그 안에서 사람을 뽑는 "군집표집"을 많이 씁니다. 문제는 같은 학교나 마을 사람들은 성향이 서로 비슷한 경우가 많아서, 1000명을 뽑아도 실제로는 완전 무작위 1000명만큼의 "정보량"이 나오지 않는다는 점입니다. 설계효과(Deff)는 이렇게 "실제 표본설계의 분산"이 "단순무작위표집이었다면 나왔을 분산"에 비해 몇 배인지를 나타냅니다. 예를 들어 Deff가 2라면, 같은 정확도를 얻으려면 단순무작위표집보다 표본을 2배 더 뽑아야 한다는 뜻입니다.

왜 중요한가

설계효과를 무시하면 조사 결과의 정밀도를 실제보다 과대평가하게 되므로, 여론조사·보건조사·국가통계처럼 복합표본설계를 쓰는 대규모 조사 연구에서는 결과의 신뢰성을 담보하는 필수 보정 요소로 다뤄집니다. 표본크기 설계 단계에서도 설계효과를 미리 반영해야 목표한 정밀도를 실제로 달성할 수 있기 때문에, 조사방법론 논문에서 자주 논의됩니다.

논문에서는 이렇게 쓰입니다

"본 조사는 2단계 층화군집표집으로 설계되었으며, 설계효과(Deff = 1.8)를 반영하여 유효표본크기를 재계산한 결과 신뢰구간이 단순무작위표집 가정 대비 다소 넓어졌다."

이 문장은 복잡한 표본설계 때문에 발생하는 분산 증가를 미리 계산에 반영해, 실제보다 결과를 과신하지 않도록 신뢰구간을 보정했다는 뜻입니다.

"국민건강영양조사와 같은 국가 단위 건강조사에서는 표본설계 단계부터 예상 설계효과를 고려하여 목표 표본크기를 산정한다."

보건학 분야의 대규모 국가조사에서는 조사를 시작하기 전부터 예상되는 설계효과를 반영해 필요한 표본크기를 넉넉히 계획하는 경우가 많습니다.

"학교를 1차 표집단위로 하는 교육정책 조사에서는 학생 수준의 개별 응답이라도 같은 학교 학생 간 유사성으로 인해 설계효과가 크게 나타날 수 있음을 밝혔다."

교육학 연구에서는 학교나 학급처럼 위계적 구조를 가진 표집에서 같은 집단 내 응답자들이 서로 비슷한 경향을 보이는 정도가 설계효과 크기에 직접 영향을 미친다는 점이 자주 지적됩니다.

조금 더 깊게 보면

설계효과는 군집 내 응답자들이 서로 얼마나 비슷한 성향을 보이는지를 나타내는 급내상관계수(intraclass correlation, ICC)와 평균 군집크기에 의해 결정되며, 군집 내 유사성이 높을수록, 군집 크기가 클수록 설계효과도 커지는 경향이 있습니다. 실제 분석에서는 이를 반영한 유효표본크기(effective sample size, 명목표본크기를 설계효과로 나눈 값)를 계산해 표준오차와 신뢰구간을 다시 산출하며, 이러한 보정은 복합표본설계 전용 통계 소프트웨어나 패키지를 통해 수행되는 경우가 많습니다.

주의할 점

설계효과를 무시하고 단순무작위표집을 가정한 공식으로 표준오차나 신뢰구간을 계산하면, 실제보다 결과를 더 정확한 것처럼 과대평가하게 됩니다. 층화표집이나 군집표집을 쓴 조사라면 설계효과를 반드시 함께 보고해야 합니다.