맹검 평가 (Blinded Assessment)
쉽게 풀면
만약 채점하는 사람이 어떤 참가자가 새로운 치료를 받았는지 알고 있다면, 무의식적으로 더 좋게 평가할 수도 있습니다. 맹검 평가는 이런 편향을 막기 위해 평가자에게 배정 정보를 알려주지 않고 결과를 판단하게 하는 방법입니다. 참가자 본인도 모르게 하면 이중맹검법이 되고, 평가자만 모르게 하면 단일맹검이라고 부릅니다. 약효 평가, 영상 판독, 행동 관찰 등 사람의 주관적 판단이 개입될 수 있는 연구에서 특히 중요합니다.
왜 중요한가
연구 결과가 신뢰받으려면 측정 자체가 배정 조건에 의해 오염되지 않았어야 합니다. 맹검 평가는 무작위 배정으로 확보한 집단 간 균형이 평가 단계에서 다시 무너지지 않도록 지켜주는 장치로, 임상시험뿐 아니라 영상 판독, 행동 관찰, 심리 평가처럼 사람이 직접 결과를 채점하는 모든 연구에서 핵심적으로 다뤄집니다. 그래서 많은 학술지가 논문 심사 시 맹검 여부와 그 유지 절차를 별도로 요구하며, 방법론 전반의 엄밀성을 평가하는 지표로도 활용됩니다.
논문에서는 이렇게 쓰입니다
평가하는 사람이 어느 참가자가 어떤 조건이었는지 모른 채 채점했다는 뜻으로, 평가자의 선입견이 결과에 영향을 주지 않도록 한 것입니다.
영상의학 연구에서 흔히 쓰이는 문장으로, 판독자가 환자의 치료 배정이나 임상 경과를 모른 채 영상만 보고 판정하게 하여 판독 결과가 사전 정보에 의해 흔들리지 않도록 한 절차를 설명합니다.
발달심리학이나 교육 연구에서 아동의 행동을 관찰·채점할 때, 관찰자가 실험군인지 대조군인지 미리 알면 은연중에 점수가 달라질 수 있어 이를 막기 위해 맹검 절차를 적용했다는 뜻입니다.
조금 더 깊게 보면
맹검 평가의 신뢰도를 높이기 위해 여러 논문은 평가자 간 일치도(inter-rater agreement)를 함께 보고합니다. 또한 맹검이 실제로 잘 유지되었는지를 사후에 점검하는 절차(맹검 유지 확인, blinding integrity check)를 두기도 하는데, 예를 들어 평가자에게 각 참가자가 어느 조건에 속했을지 추측하게 한 뒤 그 정답률이 우연 수준을 넘지 않는지 확인하는 방식입니다. 평가자를 완전히 배정 정보로부터 차단하기 어려운 상황(예: 부작용이 뚜렷이 드러나는 치료)에서는 평가자 맹검만 부분적으로 유지되었다는 한계를 별도로 명시하는 경우도 흔합니다.
주의할 점
맹검이 완전히 유지되었는지(예: 부작용 등으로 조건이 노출되지 않았는지) 확인하는 절차도 함께 보고하는 것이 바람직합니다.