최선-최악 척도법 (Best-Worst Scaling)
쉽게 풀면
설문에서 '매우 중요하다'를 열 개 항목에 모두 체크하는 응답자를 만나 본 적이 있으실 겁니다. 점수형 척도는 이렇게 응답자마다 후하거나 인색한 버릇이 섞여 들어 비교가 어려워집니다. 최선-최악 척도법은 아예 점수를 매기게 하지 않고, 네다섯 개씩 묶어 보여 준 뒤 '이 중 가장 중요한 것 하나와 가장 덜 중요한 것 하나'만 고르게 합니다. 반찬을 한 상에 차려 놓고 제일 손이 가는 것과 제일 손이 안 가는 것을 집어 보라고 하는 방식에 가깝습니다. 이런 묶음을 여러 번 반복하면 항목 전체의 순서가 자연스럽게 드러납니다.
왜 중요한가
소비자조사에서는 비교할 항목이 많고 응답자마다 척도를 쓰는 습관이 달라 중요도 비교가 왜곡되기 쉽습니다. 최선-최악 척도법은 선택에 기반한 자료이므로 응답 편향에 덜 취약하고, 확률적 효용모형을 통해 항목별 중요도를 하나의 비율 척도 위에 나란히 놓을 수 있어 속성 우선순위 도출과 정책 대안 평가에 널리 쓰입니다.
논문에서는 이렇게 쓰입니다
각 속성이 최선으로 뽑힌 횟수와 최악으로 뽑힌 횟수의 차이를 이용해 순위를 매긴 결과입니다. 응답자가 모든 항목에 높은 점수를 주는 문제가 없어 항목 간 서열이 뚜렷하게 드러납니다.
특정 항목이 더 자주 노출되어 유리해지는 일을 막기 위한 설계 절차입니다. 항목마다 등장 횟수와 함께 묶이는 상대가 균형을 이루어야 추정된 중요도를 신뢰할 수 있습니다.
선택 자료에서 개인 수준의 중요도를 추정한 뒤 이를 군집분석에 투입했다는 뜻으로, 측정에서 시장세분화로 이어지는 전형적인 분석 흐름을 보여 줍니다.
조금 더 깊게 보면
최선-최악 척도법은 응답자가 제시된 집합 안에서 효용 차이가 가장 큰 두 항목을 고른다는 최대차이 가정에 기반하며, 다항로짓 계열 모형으로 추정합니다. 흔히 세 유형으로 나뉘는데, 낱개 항목의 중요도를 재는 대상형, 하나의 프로파일 안에서 속성 수준을 비교하는 프로파일형, 여러 프로파일을 놓고 최선과 최악을 고르는 다중 프로파일형이 그것입니다. 간단히는 최선 횟수에서 최악 횟수를 뺀 점수를 쓰지만, 개인 수준의 효용을 추정하거나 세분화를 하려면 계층베이즈 추정이 선호됩니다. 항목 배치는 반드시 균형설계로 통제해야 결과를 신뢰할 수 있습니다.
주의할 점
최선-최악 척도법은 컨조인트 분석과 자주 혼동됩니다. 컨조인트는 속성을 조합한 제품 대안을 평가하게 하여 속성 수준별 효용과 지불의사액을 추정하는 데 강점이 있고, 최선-최악은 항목 간 상대적 중요도의 서열을 얻는 데 초점이 있습니다. 또한 결과값은 절대적 크기가 아니라 상대적 위치라는 점에 유의해야 합니다.