k-평균 군집화 (k-means clustering)
쉽게 풀면
여러 고객의 구매 데이터를 보고 "이 고객들을 몇 가지 유형으로 나눠보고 싶다"고 할 때, 미리 유형을 정해두지 않고도 데이터 스스로 비슷한 것끼리 모이게 할 수 있습니다. k-평균 군집화는 먼저 "그룹을 몇 개로 나눌지(k)"를 정한 다음, 각 그룹의 중심점을 임의로 찍고, 모든 데이터를 가장 가까운 중심점에 배정합니다. 그다음 각 그룹에 배정된 데이터들의 평균 위치로 중심점을 다시 옮기고, 이 과정을 데이터들의 소속이 더 이상 바뀌지 않을 때까지 반복합니다. 결과적으로 서로 비슷한 특징을 가진 데이터끼리 자연스럽게 뭉치게 됩니다.
왜 중요한가
k-평균 군집화는 정답 라벨 없이도 데이터 안에 숨어 있는 구조나 유형을 탐색적으로 발견할 수 있어, 마케팅의 고객 세분화, 생물학의 유전자 발현 패턴 분류, 이미지 압축, 사회과학의 유형 분류 연구 등 매우 폭넓은 분야에서 사용됩니다. 비지도학습의 대표 알고리즘으로서 다른 군집화 기법이나 차원축소 기법과 비교되는 기준점 역할을 하기도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 몇 개의 그룹으로 나누는 것이 가장 자연스러운지(k=4)를 사전에 탐색한 뒤, 그 기준에 따라 고객들을 4개의 유형으로 자동 분류했다는 뜻입니다. 실루엣 계수는 각 데이터가 자신이 속한 그룹과는 가깝고 다른 그룹과는 멀리 떨어져 있는지를 수치로 평가하는 지표입니다.
생물정보학 연구에서 세포나 유전자를 발현 패턴에 따라 자동으로 그룹화할 때 쓰이는 표현이다.
사회과학, 마케팅 연구에서 응답자 유형을 탐색적으로 분류할 때 흔히 사용되는 예문이다.
조금 더 깊게 보면
적절한 k값을 정하기 위해 흔히 엘보우 방법(군집 내 분산 합의 감소폭이 완만해지는 지점을 찾는 방법)이나 실루엣 계수를 활용합니다. k-평균은 각 데이터와 중심점 사이의 유클리드 거리를 기준으로 하기 때문에 변수 단위가 다르면 결과가 왜곡될 수 있어 사전에 표준화를 거치는 경우가 많습니다. 또한 초기 중심점 위치에 따라 결과가 지역 최적해에 머물 수 있어, k-means++와 같은 초기화 방법이나 여러 번의 반복 실행을 통해 안정성을 확보하는 것이 일반적입니다.
주의할 점
k-평균 군집화는 그룹 개수 k를 분석자가 미리 정해줘야 하며, 이 값에 따라 결과가 크게 달라질 수 있습니다. 또한 초기 중심점 위치에 따라 결과가 조금씩 달라질 수 있고, 그룹의 모양이 둥글지 않거나 그룹 간 크기 차이가 크면 잘 작동하지 않을 수 있습니다. 사람이 미리 정한 정답 그룹과 비교하는 분산분석 같은 확인적 방법과 달리, k-평균 군집화는 정답이 없는 상태에서 데이터의 숨은 구조를 탐색하는 방법이라는 점이 다릅니다.