사전사후검사 통제집단설계 (Pretest-Posttest Control Group Design)

한 줄 정의: 참가자를 실험집단과 통제집단에 무작위로 배정한 뒤, 두 집단 모두에게 사전검사와 사후검사를 실시해 처치 효과를 비교하는 진실험설계입니다.

쉽게 풀면

새로운 학습법의 효과를 알고 싶다고 해봅시다. 그냥 학습법을 적용한 뒤 점수만 재면, "원래 실력이 좋았던 학생들이라 점수가 높은 건 아닐까"라는 의심을 지울 수 없습니다. 사전사후검사 통제집단설계는 이 문제를 해결하기 위해 참가자를 무작위로 두 집단(실험집단, 통제집단)에 나누고, 처치 전에 두 집단 모두 사전검사를 봅니다. 그런 다음 실험집단에만 새로운 학습법을 적용하고, 처치가 끝난 뒤 두 집단 모두 사후검사를 봅니다. 두 집단이 무작위로 나뉘었으니 처치 전 실력은 비슷했을 것이고, 사후검사 점수 차이(정확히는 사전-사후 변화량의 차이)는 순수하게 학습법 때문이라고 볼 수 있습니다. 무작위배정과 사전검사를 모두 갖춘 이 설계는 인과관계를 밝히는 가장 튼튼한 형태의 실험설계 중 하나로 꼽힙니다.

왜 중요한가

이 설계는 무작위배정과 사전검사를 동시에 갖춰 처치 이외의 다른 요인(성숙, 시대적 흐름, 사전-사후 간 우연한 변화 등)이 결과에 영향을 줄 가능성을 최소화하기 때문에, 인과관계를 주장하려는 심리학·교육학·보건학 논문의 방법론에서 가장 신뢰받는 기본 틀로 자주 채택됩니다. 새로운 프로그램이나 치료법의 효과를 검증하는 대다수의 개입 연구가 이 설계 또는 그 변형을 기반으로 합니다.

논문에서는 이렇게 쓰입니다

"본 연구는 사전사후검사 통제집단설계(pretest-posttest control group design)를 사용하여 프로그램의 효과를 검증하였다."

이 문장은 "참가자를 실험집단과 통제집단에 무작위로 나누고, 두 집단 모두 처치 전후에 검사를 실시해 그 변화량을 비교하는 방식으로 연구를 설계했다"는 뜻입니다.

"운동 중재 프로그램의 효과를 검증하기 위해 사전사후검사 통제집단설계를 적용한 결과, 실험집단의 체력 점수 향상폭이 통제집단보다 유의하게 컸다."

이 문장은 스포츠과학 연구에서 새로운 운동 프로그램이 체력에 미치는 순수한 효과를 무작위 배정과 사전-사후 비교를 통해 검증했다는 뜻입니다.

"금연 교육 프로그램의 효과를 사전사후검사 통제집단설계로 평가한 결과, 실험집단에서 흡연에 대한 태도 점수의 개선이 더 크게 나타났다."

이 문장은 보건 교육 분야에서도 이 설계가 프로그램의 실질적 효과를 인과적으로 검증하는 데 널리 쓰인다는 것을 보여줍니다.

조금 더 깊게 보면

이 설계에서 처치 효과는 흔히 두 집단의 사전-사후 변화량 차이(차이의 차이, difference-in-differences)로 분석하거나, 사전검사 점수를 공변량으로 통제하는 공분산분석(ANCOVA)으로 검증합니다. 어떤 분석 방법을 쓰느냐에 따라 통계적 검정력과 결과 해석이 달라질 수 있으므로, 논문에서 어떤 방식으로 효과를 산출했는지 확인하는 것이 중요합니다.

주의할 점

사전검사를 실시하면 참가자가 검사 문항 자체에 익숙해지거나 민감해져서 사후검사 점수에 영향을 줄 수 있는데, 이를 검사효과(testing effect)라고 합니다. 이 문제를 피하려면 사전검사를 아예 생략하는 사후검사통제집단설계나, 두 방식을 결합한 솔로몬 4집단 설계를 고려할 수 있습니다.