순열검정 (Permutation Test)
쉽게 풀면
두 반의 시험 평균 점수가 다르다고 해봅시다. "이 차이가 진짜 반 사이의 실력 차이일까, 아니면 그냥 우연히 이렇게 나뉜 걸까?"를 확인하고 싶습니다. 순열검정은 모든 학생의 점수는 그대로 둔 채, "어느 반에 속했는지"만 수천 번 무작위로 다시 섞어봅니다. 그렇게 무작위로 섞을 때마다 나오는 두 그룹의 평균 차이들을 모아보면, 실제로 관찰된 차이가 그 무작위 결과들 사이에서 얼마나 극단적인 값인지 알 수 있습니다. 극단적으로 드문 값이라면 "우연이 아니다"라고 판단하는 것입니다.
왜 중요한가
순열검정은 데이터가 정규분포 같은 특정 분포를 따른다고 가정하기 어려운 상황에서도 통계적 유의성을 판단할 수 있게 해주기 때문에, 표본 크기가 작거나 이상치가 많은 실제 데이터를 다루는 여러 분야에서 널리 쓰입니다. 특히 생물학·신경과학 실험처럼 표본 수를 늘리기 어려운 연구나, 복잡한 검정통계량이라 이론적 분포를 유도하기 힘든 경우에 대안적인 검정 방법으로 자주 채택됩니다. 계산 자원만 충분하다면 폭넓은 상황에 적용할 수 있다는 점도 이 방법이 꾸준히 논문에 등장하는 이유입니다.
논문에서는 이렇게 쓰입니다
이 문장은 표본이 작거나 데이터가 정규분포를 따른다고 보기 어려운 상황에서, 라벨을 만 번 무작위로 뒤섞어 얻은 결과와 실제 관측값을 비교해 유의확률을 계산했다는 뜻입니다. 이런 방식은 특정 분포를 가정하지 않아도 되기 때문에 비모수적 방법으로 분류됩니다.
신경영상 연구에서는 수많은 복셀(voxel)에 대해 동시에 검정을 수행해야 하므로, 순열검정을 활용해 다중비교로 인한 거짓양성을 통제하는 방식으로 유의한 영역을 찾아냅니다.
생태학에서는 군집 데이터처럼 다변량이면서 정규분포를 가정하기 어려운 자료에 대해, 순열검정을 확장한 방법으로 그룹 간 차이를 통계적으로 검증합니다.
조금 더 깊게 보면
순열검정의 결과는 반복 횟수에 따라 달라질 수 있는데, 반복 횟수가 적으면 계산 가능한 최소 p값 자체가 제한되므로 일반적으로 수천에서 수만 회 수준의 반복이 권장됩니다. 검정통계량으로는 평균 차이뿐 아니라 상관계수, F값, 카이제곱 통계량 등 다양한 지표가 쓰일 수 있으며, 다변량 자료에 적용할 때는 PERMANOVA처럼 거리·비유사도 행렬을 기반으로 확장된 형태가 활용되기도 합니다. 또한 순열검정은 원칙적으로 그룹 배정이 서로 교환 가능하다는 가정(exchangeability)에 의존하므로, 데이터에 시간적·공간적 상관구조가 있는 경우에는 이 가정이 성립하는지 별도로 검토해야 합니다.
주의할 점
순열검정은 데이터의 분포 형태를 가정하지 않는다는 장점이 있지만, 표본에서 값 자체를 다시 뽑는 부트스트랩과는 다른 방법입니다. 순열검정은 "그룹 배정이 무작위였다"는 가정 위에서 라벨만 섞는 것이고, 붓스트랩은 값 자체를 복원추출하여 표본분포를 추정하는 것이므로 목적과 절차가 다릅니다.