무성의응답 탐지
쉽게 풀면
온라인 설문에서는 참가자가 실제로 문항을 읽고 고민해서 답했는지 연구자가 직접 확인할 수 없습니다. 그런데 응답 참여 대가(사례금, 포인트 등)만 노리고 문항을 읽지 않은 채 아무 번호나 누르는 사람도 섞여 있을 수 있습니다. 무성의응답 탐지는 이런 응답을 사후에 걸러내기 위한 여러 지표를 종합적으로 활용하는 방법입니다. 예를 들어 전체 설문을 완료하는 데 걸린 시간이 비정상적으로 짧은 경우, 모든 문항에 똑같은 번호만 체크하는 "일자응답(스트레이트라이닝)" 패턴, 정반대로 표현된 두 문항에 똑같이 동의하는 등 응답 간 논리적 모순이 나타나는 경우 등을 계산해 의심스러운 응답을 표시하거나 제외합니다.
왜 중요한가
설문조사에 기반한 연구는 응답자가 문항을 성실히 읽고 답했다는 전제 위에서 통계 분석의 타당성이 성립합니다. 그런데 무성의응답이 섞여 있으면 변수 간 상관관계가 실제보다 약하게 나타나거나 반대로 우연히 강하게 나타나는 등 결과 자체가 왜곡될 수 있습니다. 이 때문에 온라인 패널이나 크라우드소싱 플랫폼을 통해 자료를 수집하는 심리학, 조직행동, 마케팅 등 여러 분야의 논문에서 자료 정제 절차의 일부로 무성의응답 탐지가 거의 필수적으로 다뤄집니다. 아울러 재현성 논의가 강조되면서 자료의 질을 어떻게 확보했는지 투명하게 밝히는 것 자체가 논문 심사에서 중요한 항목으로 취급되고 있습니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 단순히 응답이 있다고 해서 모두 자료로 쓰지 않고, 응답의 질을 사전에 정한 기준으로 걸러 신뢰할 수 있는 자료만 남겼다는 뜻입니다.
설문 중간에 "이 문항에는 '매우 그렇다'를 선택하십시오"와 같은 지시문을 심어두고, 이를 따르지 않은 응답을 무성의응답으로 간주해 걸러냈다는 의미입니다. 조직행동이나 소비자행동 연구에서 자주 쓰이는 방식입니다.
한 시점의 설문뿐 아니라 여러 시점에 걸쳐 반복 응답을 받는 종단연구에서도 무성의응답 탐지가 각 시점마다 적용될 수 있음을 보여주는 예문입니다.
조금 더 깊게 보면
무성의응답 탐지에 쓰이는 지표는 크게 응답 속도 기반 지표(전체 소요 시간, 문항당 평균 응답 시간)와 응답 패턴 기반 지표(장문 서술형 답변의 무의미성, 정반대로 표현된 문항 쌍에 대한 응답 불일치, 세로로 같은 번호만 이어서 찍는 일자응답 여부)로 나뉩니다. 논문에서는 이런 지표들을 단독으로 쓰기보다 여러 개를 조합해 종합 점수를 만들거나, 하나라도 기준을 벗어나면 제외하는 방식을 흔히 사용합니다. 최근에는 온라인 설문 플랫폼이 자체적으로 응답 로그(문항별 체류 시간, 페이지 이탈 여부 등)를 제공하는 경우가 많아, 이를 활용해 더 세밀한 탐지를 시도하는 연구도 늘고 있습니다. 다만 어떤 지표를 쓰든 절대적인 정답 기준이 있는 것은 아니므로, 연구 맥락에 맞게 기준을 설정하고 그 근거를 논문에 밝히는 것이 일반적으로 권장됩니다.
주의할 점
어떤 지표를 얼마나 엄격한 기준으로 적용하느냐에 따라 제외되는 응답자 수가 크게 달라질 수 있어, 분석 전에 제외 기준을 미리 정해두고 논문에 명시하는 것이 중요합니다. 또한 응답 시간이 짧다고 해서 반드시 불성실한 응답인 것은 아니므로(문항에 이미 익숙한 반복 참가자 등), 시간 지표 하나만으로 판단하기보다 여러 지표를 함께 고려해야 합니다.