순서효과 (order effect)

한 줄 정의: 여러 조건을 반복측정하는 실험에서, 참가자가 조건을 경험하는 순서 자체가 결과에 영향을 미치는 현상이다.

쉽게 풀면

같은 사람이 여러 조건을 차례로 경험하는 실험에서는, 단순히 순서상 먼저 나왔는지 나중에 나왔는지에 따라서도 결과가 달라질 수 있습니다. 예를 들어 실험 초반에는 참가자가 낯설고 긴장해서 수행이 낮다가, 뒤로 갈수록 익숙해져 수행이 좋아지는 학습효과나, 반대로 지치고 집중력이 떨어지는 피로효과가 나타날 수 있습니다. 이런 순서 자체의 영향을 순서효과라고 합니다.

왜 중요한가

순서효과를 통제하지 않으면 조건 간 차이가 실제 처치 효과인지, 아니면 단순히 먼저 나왔는지 나중에 나왔는지에 따른 인공적 결과인지 구분할 수 없어 연구의 내적 타당도가 크게 훼손됩니다. 그래서 반복측정 설계, 실험심리학, 임상시험의 교차설계(crossover design) 등 같은 참가자가 여러 조건을 경험하는 모든 연구 방법론 논문에서 순서효과 통제는 필수적으로 논의되는 주제입니다. 이를 제대로 다루지 않은 연구는 결과 해석 자체가 의심받을 수 있습니다.

논문에서는 이렇게 쓰입니다

"순서효과를 통제하기 위해 처치 조건의 제시 순서를 참가자 간 라틴방격법으로 균형화하였다."

조건 제시 순서로 인한 편향을 통제하기 위한 설계 기법을 설명하는 문장이다.

"두 약물의 효과를 비교하는 교차시험에서 순서효과의 가능성을 배제하기 위해 참가자를 두 투여 순서 집단으로 무작위 배정하였다."

임상시험의 교차설계 연구에서, 약물을 투여하는 순서 자체가 결과에 영향을 줄 가능성을 사전에 통제했다는 뜻이다.

"설문 문항의 제시 순서에 따라 응답 패턴이 달라지는 순서효과가 관찰되어, 이후 분석에서는 문항 제시 순서를 통제 변수로 포함하였다."

설문조사 방법론 연구에서, 문항 순서가 응답에 미치는 영향을 확인하고 이를 통계적으로 보정한 사례를 보여주는 예문이다.

조금 더 깊게 보면

순서효과는 학습효과나 피로효과처럼 시간이 지나며 누적되는 일반적 변화와, 특정 조건이 바로 앞 조건의 영향을 받는 이월효과로 세분화해 볼 수 있으며, 둘은 통제 방법이 다를 수 있습니다. 대표적인 통제 기법으로는 모든 참가자에게 순서를 무작위로 배정하는 방법, 가능한 순서 조합을 체계적으로 배분하는 라틴방격법(Latin square), 그리고 균형 라틴방격 설계처럼 각 조건이 모든 위치와 모든 선행 조건에 고르게 노출되도록 하는 정교한 설계가 있습니다.

주의할 점

순서효과와 이월효과는 종종 함께 나타나므로, 두 효과를 구분하려면 순서를 체계적으로 바꾸는 균형화 설계가 필요하다.