주의확인 문항 (Attention Check Item)
쉽게 풀면
온라인 설문 중간에 "이 문항에는 '전혀 그렇지 않다'를 선택해 주세요"라거나 "3+5는 얼마인가요? 8을 고르세요"처럼, 내용을 읽지 않고 습관적으로 아무 번호나 누르면 반드시 틀리게 되어 있는 문항을 끼워 넣는 것입니다. 학교 시험에서 지시문을 안 읽고 문제만 풀다가 "위 지시사항대로 이름을 여기 쓰세요" 같은 함정에 걸리는 것과 비슷한 원리입니다. 이 문항을 틀리면 그 응답자는 설문 전체를 성의 없이 빠르게 클릭만 하고 넘어갔을 가능성이 높다고 보고, 분석에서 제외하는 근거로 삼습니다.
왜 중요한가
설문조사에 기반한 연구는 응답자가 문항을 성실하게 읽고 답했다는 전제 위에서 통계 분석 결과를 해석합니다. 그런데 온라인 조사가 늘어나면서 보상을 빨리 받으려고 문항을 제대로 읽지 않고 클릭만 하는 부주의 응답이 섞여 들어가는 경우가 흔해졌고, 이는 상관관계나 집단 차이를 왜곡해 잘못된 결론으로 이어질 수 있습니다. 그래서 심리학, 마케팅, 조직행동 등 설문을 많이 쓰는 분야의 논문에서는 자료의 신뢰도를 확보하는 절차로 주의확인 문항을 표준적으로 언급합니다.
논문에서는 이렇게 쓰입니다
이 문장은 설문 자료의 신뢰도를 높이기 위해, 성의 없이 응답했다고 의심되는 사람들을 사전에 정한 기준(주의확인 문항 오답)에 따라 걸러냈다는 뜻입니다.
마케팅이나 소비자행동 연구처럼 대규모 온라인 패널을 활용하는 논문에서는, 주의확인 문항을 여러 개 배치하고 이를 모두 통과한 응답만 사용했다는 점을 자료 수집 절차에서 밝히는 경우가 많습니다.
조직행동이나 인사관리 분야 논문에서는 반대로, 주의확인 문항 통과율이 높게 나온 것을 자료의 품질이 양호하다는 근거로 제시하기도 합니다.
조금 더 깊게 보면
주의확인 문항은 크게 지시문형(특정 응답을 고르라고 직접 지시하는 방식)과 논리형(문항 내용상 답이 자명하게 정해지는 방식)으로 나뉘며, 연구자에 따라 둘을 섞어 사용하기도 합니다. 이와 함께 응답 소요시간이 지나치게 짧은지, 같은 척도 문항에 계속 동일한 번호만 찍는 직선 응답(straightlining) 패턴이 있는지 등을 함께 살펴보는 것이 일반적이며, 이런 여러 지표를 종합해 부주의 응답자를 판단하는 접근을 흔히 응답 품질 관리라고 부릅니다. 다만 주의확인 문항 통과 여부만으로 응답자를 배제하는 것이 능사는 아니며, 최근에는 이 문항 하나로 응답을 제외하는 것이 오히려 특정 응답 성향을 가진 사람들을 체계적으로 배제할 수 있다는 우려도 함께 논의됩니다.
주의할 점
주의확인 문항을 너무 자주, 혹은 너무 쉽게 표시나게 넣으면 응답자가 그 순간부터 "이건 함정이구나"라고 눈치채고 오히려 이후 문항에 더 집중하지 않게 되는 역효과가 날 수 있습니다. 또한 온라인 패널조사처럼 응답 속도가 사례금과 연결된 조사에서는 이 문항 하나만으로 응답 품질을 다 걸러낼 수 없으므로, 응답 소요시간 등 다른 지표와 함께 판단하는 것이 안전합니다.