실험설계 (Experimental Design)
쉽게 풀면
같은 반죽으로 빵을 굽는데 한쪽에는 설탕을 넣고 다른 쪽에는 넣지 않고, 나머지 재료와 오븐 온도는 완전히 똑같이 맞춘다고 해봅시다. 이렇게 하면 두 빵의 맛 차이가 오직 "설탕 유무" 때문이라고 자신 있게 말할 수 있습니다. 실험설계는 바로 이런 "비교를 위한 사전 설계도"입니다.
누구를 어떤 집단에 넣을지, 무엇을 조작하고 무엇을 똑같이 맞출지, 결과를 언제 어떻게 잴지를 미리 계획해두는 것이지요. 이 설계가 허술하면 나중에 "그 차이가 진짜 처치 때문인지, 다른 이유 때문인지" 확신할 수 없게 됩니다.
왜 중요한가
실험설계는 상관관계와 인과관계를 구분하는 핵심 도구이기 때문에, 처치나 개입의 효과를 주장하려는 논문이라면 반드시 근거로 제시해야 하는 부분입니다. 잘 짜인 설계는 결과의 신뢰성과 재현가능성을 뒷받침하고, 심사자나 독자가 결론을 신뢰할 수 있는 근거를 제공합니다. 의학, 심리학, 교육학, 공학 등 개입 효과를 검증하는 거의 모든 실증 연구 분야에서 실험설계의 타당성이 논문 평가의 핵심 기준이 됩니다.
어떤 절차인가
- 질문과 가설: 어떤 처치가 어떤 결과에 영향을 주는지 사전에 정합니다.
- 독립변수 조작: 연구자가 처치를 배정합니다(수준과 비교 조건 정의).
- 무작위 배정: 참가자(또는 집단)를 우연으로 조건에 배정하여 두 집단이 평균적으로 비슷하게 만듭니다.
- 통제: 통제집단(또는 비교 조건), 눈가림, 환경 표준화로 처치 외 요인을 줄입니다.
- 측정과 분석: 같은 방법으로 결과를 측정하고 사전에 정한 분석으로 비교합니다.
Fisher(1935)는 좋은 실험의 기본으로 무작위화, 반복, 블록화(층별 비교)를 꼽았습니다. 무작위화가 있어야 처치 외 요인이 우연으로만 갈린다고 말할 수 있습니다.
언제 쓰고 무엇을 얻나
| 설계 | 구조 | 쓰는 경우 |
|---|---|---|
| 피험자 간 설계 | 참가자마다 한 조건만 겪음 | 이월효과가 걱정될 때 |
| 피험자 내 설계 | 모든 참가자가 모든 조건을 겪음 | 개인차가 클 때, 표본이 적을 때 (순서 효과는 역균형화로 통제) |
| 요인설계 | 독립변수 둘 이상을 교차 (예: 2 × 3 = 6조건) | 상호작용이 궁금할 때 |
| 무작위대조시험 | 임상·정책에서의 무작위 배정 실험 | 처치 효과의 확정적 검증 |
- 얻는 것: 인과 추론의 신뢰도. 무작위 배정이 이뤄지면 평균적으로 비교 가능한 집단을 만들 수 있다는 점이 핵심입니다.
- 한계: 인위적 환경이 일상과 달라 외적타당도가 낮을 수 있고, 윤리·비용 문제로 불가능한 질문이 많습니다. 그럴 때 준실험설계를 씁니다.
논문에는 이렇게 적는다
- 설계 유형(예: 2 × 2 피험자 간 요인설계), 독립변수와 수준, 종속변수를 명확히 씁니다.
- 배정 방식(무작위화 방법), 눈가림 여부, 표본 크기의 근거를 적습니다.
- 참가자 흐름(모집, 배정, 탈락, 분석 포함)을 흐름도로 보입니다.
- 무작위 대조시험은 CONSORT 2010 보고 지침을 따릅니다(Schulz 등, 2010).
문장의 예(가상): “참가자 80명을 무작위로 두 조건에 40명씩 배정하는 피험자 간 설계를 적용하였다. 무작위 배정은 컴퓨터로 생성한 순열 블록(블록 크기 4)을 사용하였다.”
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“최종 결과물로 욕창 예방을 위한 욕창예방양말(BBS: Bed Sore Socks)이 개발되었고, 욕창예방양말의 효과를 검증하기 위해 요양병원에 입원 중인 와상환자에게 무작위 대조군 실험설계로 BBS를 7일간 적용하여 욕창 발병과 욕창위험 점수를 평가 하였다.”
간호학에 적용한 캡스톤 디자인의 적용사례 및 결과, 한국콘텐츠학회 논문지, 2017 · KCI 한국학술지인용색인 · 원문 보기 ↗
“본 연구는 비동등성 대조군 전후 실험설계이며, 연구 대상자는 실험군 35명과 대조군 46명의 2학년 간호 대학생이었다.”
간호 대학생의 임상 시나리오를 적용한 기본간호학실습 프로그램 효과에 대한 융합 연구 -자기효능감, 의사소통능력, 간호 술기 능력 중심으로-, 한국융합학회논문지, 2018 · KCI 한국학술지인용색인 · 원문 보기 ↗
“연구방법은 단일군 전・후 실험설계연구이며, 2018년 4월 5일에서 5월 17일까지 B시 간호학과 3학년 학생들에게 TBL 수업 후 시행되었다.”
성인간호학 수업에 팀 기반 학습 적용의 효과, 디지털융복합연구, 2019 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 연구자가 참가자를 실험군과 통제군으로 나누고, 프로그램 실시 전과 후에 같은 방식으로 측정하여 두 집단의 변화량을 비교했다는 뜻입니다. 이러한 설계 덕분에 "프로그램 자체의 효과"를 다른 요인과 구분해서 볼 수 있습니다.
약리학·재활 연구에서는 여러 처치 요인을 동시에 조작해 각 요인의 단독 효과뿐 아니라 요인 간 상호작용까지 살펴보는 방식으로 실험설계를 확장하기도 합니다.
인간-컴퓨터 상호작용 연구에서는 참가자 수가 제한적일 때 개인차의 영향을 줄이기 위해 같은 참가자가 여러 조건을 모두 거치는 설계를 택하기도 합니다.
조금 더 깊게 보면
실험설계를 평가할 때는 흔히 내적 타당도(처치와 결과 간 인과관계를 얼마나 확신할 수 있는가)와 외적 타당도(그 결과를 다른 상황·대상에도 일반화할 수 있는가)를 함께 고려합니다.
무작위배정, 통제집단, 눈가림(blinding) 여부는 내적 타당도를 높이는 대표적인 장치이며, 표본의 대표성과 실험 환경의 현실성은 외적 타당도와 관련됩니다.
논문을 읽을 때는 설계 자체의 이름보다, 이런 타당도를 위협할 만한 혼입변수(confounding variable)를 저자가 어떻게 통제했는지를 살펴보는 것이 더 실질적인 평가 기준이 됩니다.
주의할 점
실험설계라고 해서 모두 무작위대조시험인 것은 아닙니다. 참가자를 무작위로 배정하지 못하는 상황에서는 준실험설계를 사용하는데, 이 경우 인과관계 해석에 더 신중해야 합니다.
헷갈리기 쉬운 용어
연구 설계의 이름은 비슷하지만 무엇을 통제했는지가 다릅니다.
참고 문헌
- Fisher, R. A. (1935). The Design of Experiments. Oliver and Boyd.
- Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
- Schulz, K. F., Altman, D. G., & Moher, D. (2010). CONSORT 2010 statement: updated guidelines for reporting parallel group randomised trials. BMJ, 340, c332.
- Montgomery, D. C. (2017). Design and Analysis of Experiments (9th ed.). Wiley.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.