계층적 군집분석 (Hierarchical Clustering)
쉽게 풀면
옷장을 정리한다고 생각해봅시다. 먼저 색이 비슷한 옷끼리 작은 무더기로 묶고, 그 무더기들을 다시 계절별로 묶고, 마지막엔 계절 무더기들을 "옷 전체"라는 하나의 큰 덩어리로 묶을 수 있습니다. 계층적 군집분석은 데이터에서 이런 일을 자동으로 해주는 방법입니다. 가장 비슷한 개체 두 개를 먼저 짝짓고, 그 짝을 다시 가장 가까운 것과 묶고... 이런 식으로 반복하며 나무(덴드로그램) 모양의 구조를 만듭니다. k-평균 군집화처럼 미리 "몇 개의 그룹으로 나눌지"를 정해둘 필요가 없고, 나무를 어느 높이에서 자르느냐에 따라 2개 그룹으로도, 5개 그룹으로도 볼 수 있다는 것이 특징입니다.
왜 중요한가
계층적 군집분석은 사전에 군집 수를 정하지 않아도 되고 결과를 덴드로그램으로 시각화할 수 있어, 탐색적 분석 단계에서 데이터의 구조를 파악하는 데 널리 쓰입니다. 유전자 발현 패턴을 유사도에 따라 묶는 생물정보학 연구, 소비자나 환자를 하위 유형으로 분류하는 마케팅·의학 연구 등 다양한 분야에서 등장하며, 이후 분석(예: 하위 그룹별 특성 비교)의 기초 단계로 활용되는 경우가 많습니다.
논문에서는 이렇게 쓰입니다
이 문장은 여러 소비 성향 문항 응답을 바탕으로, 서로 비슷한 응답 패턴을 보인 사람들을 계층적으로 묶어 나간 결과 크게 세 그룹으로 나뉘었다는 뜻입니다.
생물정보학에서 유전자 발현 데이터를 탐색적으로 분류할 때 흔히 사용되는 표현이다.
의학 연구에서 환자군을 특성에 따라 세분화해 예후 차이를 탐색할 때 등장하는 표현이다.
조금 더 깊게 보면
계층적 군집분석은 크게 개체를 하나씩 묶어 올라가는 응집형(agglomerative)과 전체를 나눠 내려가는 분리형(divisive)으로 나뉘며, 실무에서는 응집형이 훨씬 흔히 쓰입니다. 무더기를 합칠 때 쓰는 연결법에는 최단연결법, 최장연결법, 평균연결법, Ward 연결법 등이 있으며 각각 결과로 나오는 군집의 모양과 크기 경향이 달라, 논문에서는 어떤 연결법과 거리 척도를 사용했는지를 명시하는 것이 일반적입니다. 덴드로그램을 어느 높이에서 절단하느냐로 최종 군집 수가 결정되는데, 이 절단 지점은 보통 실루엣 계수 같은 보조 지표나 연구 목적에 따라 판단합니다.
주의할 점
계층적 군집분석의 결과는 개체 간 거리를 어떻게 계산하는지, 그리고 무더기와 무더기를 합칠 때 어떤 기준(연결법)을 쓰는지에 따라 크게 달라질 수 있습니다. 같은 데이터라도 방법을 바꾸면 다른 나무 구조가 나올 수 있으므로, 결과를 해석할 때는 사용한 거리 척도와 연결법을 함께 명시해야 합니다. 또한 표본이 매우 클 경우 계산량이 급격히 늘어나 k-평균 군집화 같은 다른 방법이 더 적합할 수 있습니다.