선형판별분석 (Linear Discriminant Analysis)

한 줄 정의: 여러 변수의 정보를 하나의 기준선으로 조합해, 개체를 미리 정해진 두 개 이상의 그룹 중 하나로 분류하는 통계 기법입니다.

쉽게 풀면

키, 혈압, 나이 등 여러 정보를 동시에 보고 "이 사람은 환자군일까, 정상군일까"를 가르고 싶다고 해봅시다. 변수 하나씩 따로 보면 그룹을 명확히 나누기 어렵지만, 여러 변수를 적절한 비율로 섞어 "하나의 점수"로 만들면 두 그룹을 가장 잘 갈라놓는 경계선을 찾을 수 있습니다. 선형판별분석(LDA)이 하는 일이 바로 이것입니다. 여러 변수를 가중치를 두어 합친 "판별함수"를 만들고, 그 점수가 특정 기준을 넘으면 A그룹, 넘지 않으면 B그룹으로 분류합니다. 흔히 각 그룹의 데이터가 정규분포를 따르고, 그룹 간 산포(공분산)가 비슷하다는 가정 위에서 작동합니다.

왜 중요한가

선형판별분석은 여러 변수를 동시에 고려해 집단을 구분하는 가장 오래되고 이해하기 쉬운 분류 기법 중 하나여서, 새로운 복잡한 분류 모델의 성능을 비교하는 기준선(baseline)으로 자주 활용됩니다. 또한 판별함수의 계수를 통해 어떤 변수가 그룹 구분에 크게 기여하는지 직접 해석할 수 있다는 장점 덕분에, 진단 지표 선별이나 변수 중요도 분석이 필요한 응용 연구에서 여전히 널리 쓰입니다. 이 때문에 의학, 생태학, 마케팅 등 그룹 분류가 필요한 다양한 분야의 논문에서 반복적으로 등장합니다.

논문에서는 이렇게 쓰입니다

"환자군과 정상군을 구분하기 위해 5개의 생체지표를 이용한 선형판별분석을 실시한 결과, 전체 분류 정확도는 87%였다."

이 문장은 여러 생체지표를 조합해 두 집단을 구분하는 판별함수를 만들고, 그 함수로 새로운 사람을 분류했을 때 87%의 확률로 올바르게 맞혔다는 뜻입니다.

"서식지 유형별 종 조성 차이를 시각화하기 위해 선형판별분석을 수행한 결과, 첫 번째 판별축이 습도와 관련된 변수들의 영향을 크게 반영하였다."

생태학 연구에서는 여러 서식지 집단을 구분하는 데 기여하는 환경 변수를 파악하는 목적으로 LDA가 활용되기도 합니다.

"필기체 숫자 이미지에서 추출한 특징 벡터에 선형판별분석을 적용해 차원을 축소한 뒤, 축소된 공간에서 분류기를 학습시켰다."

패턴 인식 분야에서는 LDA가 분류 자체보다 고차원 특징을 저차원으로 압축하는 차원 축소 기법으로 사용되기도 합니다.

조금 더 깊게 보면

LDA는 그룹 간 분산은 최대화하고 그룹 내 분산은 최소화하는 방향으로 판별축을 찾는데, 이는 주성분분석(PCA)이 그룹 정보 없이 전체 데이터의 분산만을 최대화하는 방향을 찾는 것과 대비됩니다. 그룹이 셋 이상일 경우 판별축도 여러 개 만들어질 수 있어, 이를 이용해 다차원 데이터를 2~3개의 축으로 시각화하는 데도 흔히 쓰입니다. 분류 성능은 정확도 외에도 민감도·특이도, 혼동행렬(confusion matrix) 등을 함께 보고해 어떤 그룹에서 오분류가 많이 발생하는지 확인하는 경우가 일반적입니다.

주의할 점

LDA는 각 그룹의 데이터가 정규분포를 따르고 그룹 간 공분산(산포의 형태)이 동일하다는 가정에 의존합니다. 이 가정이 크게 어긋나면 분류 정확도가 떨어질 수 있으며, 이런 경우 그룹마다 다른 공분산을 허용하는 이차판별분석(QDA)이나 가정이 덜 까다로운 로지스틱 회귀를 대안으로 검토해야 합니다.