바닥효과 (Floor Effect)

한 줄 정의: 측정도구의 점수 하한이 너무 높아, 실제로는 수준 차이가 있는 사람들이 모두 최저점 근처에 몰려 서로 구별되지 않는 현상입니다.

쉽게 풀면

키를 재는 줄자의 눈금이 100cm부터 시작한다고 해봅시다. 키가 90cm인 아이도, 30cm인 아이도 줄자로는 똑같이 "0 이하"로만 표시될 뿐 실제 차이를 전혀 구분할 수 없습니다. 시험 문제가 너무 어려워서 대부분의 학생이 0점이나 그에 가까운 점수를 받는 경우도 마찬가지입니다. 실제로는 학생들 사이에 실력 차이가 있는데도, 시험(측정도구)이 그 차이를 바닥 근처에서 전혀 구별해내지 못하는 것입니다. 이것이 바로 바닥효과입니다.

왜 중요한가

바닥효과는 측정도구의 민감도(sensitivity) 문제로 이어져, 실제로는 존재하는 처치 효과나 집단 차이를 통계적으로 탐지하지 못하게 만들 수 있습니다. 그래서 심리검사, 임상 척도, 교육평가 등 점수 기반 측정을 사용하는 논문에서는 척도의 하한과 표본의 점수 분포를 함께 점검하는 것이 결과 해석의 타당성을 담보하는 데 필수적입니다. 이 개념을 알면 왜 어떤 연구에서 유의한 효과가 나오지 않았는지, 그 원인이 실제 효과 부재 때문인지 측정도구의 한계 때문인지를 구분하는 데 도움이 됩니다.

논문에서는 이렇게 쓰입니다

"통증 척도에서 사전 검사 시 참가자의 상당수가 최저점을 기록하는 바닥효과가 관찰되어, 처치 이후의 변화를 민감하게 탐지하기 어려웠다."

이 문장은 사용한 통증 척도가 낮은 점수 구간에서 참가자들을 제대로 구분하지 못했고, 그로 인해 처치 전후의 실제 변화를 척도가 충분히 잡아내지 못했을 가능성을 지적하는 것입니다.

"경도 우울 증상을 가진 표본에서 사용한 우울 척도는 다수의 참가자가 하한 점수에 몰리는 바닥효과를 보여, 개입 효과 검증에 더 민감한 척도로의 교체가 필요함을 시사한다."

임상심리학 연구에서 척도 선택의 적절성을 바닥효과를 근거로 논의한 예이다.

"초등 저학년을 대상으로 한 어휘력 검사에서 일부 문항이 지나치게 어려워 응답자 대부분이 0점에 가까운 점수를 기록하는 바닥효과가 확인되었다."

교육평가 연구에서 문항 난이도로 인해 발생한 바닥효과를 지적한 예이다.

조금 더 깊게 보면

바닥효과가 있는 자료는 분포가 한쪽으로 치우치고 분산이 인위적으로 줄어들기 때문에, 상관계수나 회귀계수 같은 통계치가 실제보다 과소추정될 위험이 있습니다. 이런 문제를 완화하기 위해 연구자는 사전에 문항의 난이도나 척도의 측정 범위를 예비조사로 점검하거나, 바닥효과가 의심되면 순위 기반 비모수 검정이나 검사 문항 자체를 재설계하는 방법을 고려합니다. 논문에서 바닥효과를 언급했다면, 그 결과가 실제 효과의 부재를 의미하는지 측정의 한계를 의미하는지 구분해서 읽는 것이 중요합니다.

주의할 점

바닥효과는 단순히 "평균 점수가 낮다"는 뜻이 아닙니다. 핵심은 점수가 하한 근처에 쏠려서 사람들 간의 실제 차이를 구별하는 능력(변별력)이 떨어진다는 데 있습니다. 반대로 점수가 상한 근처에 몰려 구별이 안 되는 경우는 천장효과라고 하며, 두 현상은 서로 대칭적인 개념입니다.