엘보우 기법 (Elbow Method)
쉽게 풀면
피자를 몇 조각으로 나눠야 다 같이 먹기 편할지 고민한다고 해봅시다. 1조각(안 나눔)에서 2조각으로 나누면 먹기가 훨씬 편해지고, 2에서 3조각으로 나눠도 꽤 편해집니다. 그런데 8조각에서 9조각으로 늘려봤자 편의성은 별 차이가 없습니다. 엘보우 기법도 똑같은 원리입니다. k-평균 군집화 군집분석에서 군집 수(k)를 1, 2, 3...으로 늘려가며 "각 데이터가 자기 군집 중심에서 얼마나 떨어져 있는가(오차)"를 계산해 그래프로 그리면, 처음에는 군집 수를 늘릴수록 오차가 급격히 줄다가 어느 지점부터는 줄어드는 폭이 확 작아집니다. 그래프 모양이 팔꿈치(elbow)처럼 꺾이는 그 지점을 "더 이상 나눠봐야 큰 이득이 없는 적당한 군집 수"로 선택하는 것입니다.
왜 중요한가
k-means 같은 군집분석 기법은 군집 수를 분석자가 미리 정해줘야 하는데, 이 값을 임의로 고르면 결과의 신뢰성을 의심받기 쉽습니다. 엘보우 기법은 그 선택 과정을 시각적이고 재현 가능한 절차로 만들어주기 때문에, 고객 세분화, 유전자 발현 패턴 분류, 이미지 압축 등 군집분석을 활용하는 다양한 응용 논문에서 군집 수 결정의 근거로 흔히 인용됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 "그래프에서 오차가 크게 줄다가 완만해지기 시작하는 지점을 찾아 그 값을 군집 수로 정했다"는 뜻입니다. k-means처럼 군집 수를 분석자가 직접 정해야 하는 기법에서 그 근거를 제시할 때 자주 쓰입니다.
마케팅 및 소비자행동 연구에서는 고객을 몇 개의 유형으로 나눌지 결정하는 데 엘보우 기법을 활용해 세분화 결과의 타당성을 뒷받침한다.
생물정보학 연구에서는 엘보우 기법을 단독으로 쓰기보다 다른 통계적 지표와 함께 교차 검증해 군집 수 추정의 신뢰도를 높이는 경우가 많다.
조금 더 깊게 보면
엘보우 기법에서 그래프의 세로축으로 쓰는 군집 내 제곱합(WCSS)은 군집 수가 늘어날수록 단조적으로 감소하는 값이기 때문에, "꺾이는 지점"을 사람이 눈으로 판단해야 한다는 주관성이 근본적인 한계로 지적됩니다. 이를 보완하기 위해 각 데이터가 자기 군집에 얼마나 잘 속해 있는지를 정량화하는 실루엣 계수, 또는 실제 데이터와 무작위 데이터의 군집 내 분산을 비교하는 갭 통계량(gap statistic) 같은 방법을 함께 사용해 최적 군집 수를 교차 검증하는 것이 일반적인 관행입니다.
주의할 점
엘보우 그래프의 꺾이는 지점이 항상 뚜렷하게 나타나는 것은 아니며, 완만하게 이어져 판단이 애매한 경우도 많습니다. 이럴 때는 실루엣 계수 같은 다른 지표를 함께 확인해 최종 군집 수를 정하는 것이 안전합니다.