엘보우 기법 (Elbow Method)
쉽게 풀면
피자를 몇 조각으로 나눠야 다 같이 먹기 편할지 고민한다고 해봅시다. 1조각(안 나눔)에서 2조각으로 나누면 먹기가 훨씬 편해지고, 2에서 3조각으로 나눠도 꽤 편해집니다. 그런데 8조각에서 9조각으로 늘려봤자 편의성은 별 차이가 없습니다.
엘보우 기법도 똑같은 원리입니다. k-평균 군집화 군집분석에서 군집 수(k)를 1, 2, 3...으로 늘려가며 "각 데이터가 자기 군집 중심에서 얼마나 떨어져 있는가(오차)"를 계산해 그래프로 그리면, 처음에는 군집 수를 늘릴수록 오차가 급격히 줄다가 어느 지점부터는 줄어드는 폭이 확 작아집니다.
그래프 모양이 팔꿈치(elbow)처럼 꺾이는 그 지점을 "더 이상 나눠봐야 큰 이득이 없는 적당한 군집 수"로 선택하는 것입니다.
왜 중요한가
k-means 같은 군집분석 기법은 군집 수를 분석자가 미리 정해줘야 하는데, 이 값을 임의로 고르면 결과의 신뢰성을 의심받기 쉽습니다. 엘보우 기법은 그 선택 과정을 시각적이고 재현 가능한 절차로 만들어주기 때문에, 고객 세분화, 유전자 발현 패턴 분류, 이미지 압축 등 군집분석을 활용하는 다양한 응용 논문에서 군집 수 결정의 근거로 흔히 인용됩니다.
언제 쓰나
k-평균처럼 군집 수 k를 먼저 정해야 하는 방법에서, k를 몇으로 할지 탐색적으로 어림할 때 씁니다. 군집이 어느 정도 뚜렷하게 나뉜 자료에서 가장 잘 작동하는 시각적 도구입니다.
- 세로축은 군집 내 제곱합(WCSS, inertia) Σ‖x − 군집 중심‖²입니다. k가 늘수록 항상 줄어들고(k = n이면 0), 그래서 값 자체가 아니라 감소 폭이 꺾이는 곳을 봅니다.
- 같은 개념으로 계층적 군집분석에서는 합병 높이가 크게 뛰는 곳을 찾습니다.
- 군집 구조가 없는 자료(균일 분포 등)에서도 곡선은 매끈하게 줄어듭니다. 꺾임이 없으면 군집이 없다는 신호일 수도 있습니다.
결과는 이렇게 읽는다
꺾임이 보이는 k가 “자료가 말하는 군집 수의 후보”입니다. 뚜렷하지 않으면 다른 기준과 함께 판단해야 합니다. 아래는 정해진 규칙이 아닙니다.
- 곡선이 가파르게 내려오다 완만해지는 지점을 찾습니다. 이 때 직전 k까지의 감소 비율이 크게 줄어드는 곳이 팔꿈치입니다.
- 실루엣 계수(−1~1)의 평균이 가장 큰 k를 보조 근거로 씁니다.
- 갭 통계량(Tibshirani 외, 2001): 실제 자료의 WCSS를 무작위 기준 자료와 비교해 객관적 기준을 줍니다.
- 군집 해석 가능성(연구 목적상 의미 있는 개수인가)도 최종 판단에 들어갑니다.
(가상의 예, 직접 계산) 세 개의 군집(각 50개)을 가진 2차원 모의 자료에 k-평균을 k = 1~8로 적합했습니다(k마다 20회 무작위 시작).
| k | WCSS | 전 단계 대비 감소율 |
|---|---|---|
| 1 | 1524.5 | — |
| 2 | 860.0 | 43.6% |
| 3 | 254.5 | 70.4% |
| 4 | 213.3 | 16.2% |
| 5 | 182.8 | 14.3% |
| 6 | 154.1 | 15.7% |
| 7 | 133.2 | 13.5% |
| 8 | 116.1 | 12.9% |
k = 2에서 3으로 갈 때 WCSS가 70% 줄고, 4부터는 매번 13~16% 정도씩만 줄어 k = 3에서 꺾임이 보입니다. 실루엣 평균도 k = 3일 때 0.65로 가장 큽니다(k = 2: 0.45, k = 4: 0.54). 이렇게 두 기준이 일치하면 설득력이 큽니다.
논문에는 이렇게 보고한다
엘보 그림(k–WCSS)을 그림으로 제시하고, 어느 k를 왜 골랐는지, 보조 기준(실루엣, 갭 통계량)을 함께 적습니다. (아래 문장은 형식을 보여 주는 가상의 예입니다.)
군집 수는 엘보 기법으로 정하였다(그림 3). WCSS는 k = 3에서 뚜렷하게 꺾였고 평균 실루엣 계수도 k = 3에서 가장 높았다(0.65). 따라서 3개 군집을 채택하였다.
- “꺾이는 지점”은 사람이 눈으로 정하므로, 어떻게 판단했는지 근거를 쓰고 가능하면 다른 기준을 곁들입니다.
- k-평균의 초기값에 따라 WCSS가 달라질 수 있으므로 반복 시작 횟수와 난수 시드를 적습니다.
- 변수 단위가 다르면 표준화 후 계산했는지 밝힙니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 "그래프에서 오차가 크게 줄다가 완만해지기 시작하는 지점을 찾아 그 값을 군집 수로 정했다"는 뜻입니다. k-means처럼 군집 수를 분석자가 직접 정해야 하는 기법에서 그 근거를 제시할 때 자주 쓰입니다.
마케팅 및 소비자행동 연구에서는 고객을 몇 개의 유형으로 나눌지 결정하는 데 엘보우 기법을 활용해 세분화 결과의 타당성을 뒷받침한다.
생물정보학 연구에서는 엘보우 기법을 단독으로 쓰기보다 다른 통계적 지표와 함께 교차 검증해 군집 수 추정의 신뢰도를 높이는 경우가 많다.
조금 더 깊게 보면
엘보우 기법에서 그래프의 세로축으로 쓰는 군집 내 제곱합(WCSS)은 군집 수가 늘어날수록 단조적으로 감소하는 값이기 때문에, "꺾이는 지점"을 사람이 눈으로 판단해야 한다는 주관성이 근본적인 한계로 지적됩니다. 이를 보완하기 위해 각 데이터가 자기 군집에 얼마나 잘 속해 있는지를 정량화하는 실루엣 계수, 또는 실제 데이터와 무작위 데이터의 군집 내 분산을 비교하는 갭 통계량(gap statistic) 같은 방법을 함께 사용해 최적 군집 수를 교차 검증하는 것이 일반적인 관행입니다.
주의할 점
엘보우 그래프의 꺾이는 지점이 항상 뚜렷하게 나타나는 것은 아니며, 완만하게 이어져 판단이 애매한 경우도 많습니다. 이럴 때는 실루엣 계수 같은 다른 지표를 함께 확인해 최종 군집 수를 정하는 것이 안전합니다.
헷갈리기 쉬운 용어
군집 수를 정하는 방법들입니다. 하는 일이 비슷하지만 판단 근거가 다릅니다.
| 용어 | 근거 | 특징 |
|---|---|---|
| 엘보 기법 | WCSS 곡선의 꺾임 | 가장 간단하지만 눈으로 판단해 주관적 |
| 실루엣 계수 | 군집 내 응집도 대비 군집 간 분리도 | 수치로 비교 가능. k마다 계산해 최댓값을 봄 |
| 갭 통계량 | 무작위 기준 자료와의 WCSS 차이 | 통계적 기준이 있으나 계산량이 큼 |
| k-평균 군집화 | — | 엘보 기법이 k를 정해 주는 대상 알고리즘 |
| 계층적 군집분석 | 덴드로그램 절단 높이 | k를 미리 정하지 않고 나중에 자름 |
참고 문헌
- Thorndike, R. L. (1953). Who belongs in the family? Psychometrika, 18(4), 267–276.
- Rousseeuw, P. J. (1987). Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. Journal of Computational and Applied Mathematics, 20, 53–65.
- Tibshirani, R., Walther, G., & Hastie, T. (2001). Estimating the number of clusters in a data set via the gap statistic. Journal of the Royal Statistical Society: Series B, 63(2), 411–423.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.