이차판별분석 (Quadratic Discriminant Analysis)
쉽게 풀면
선형판별분석(LDA)은 "모든 집단이 똑같이 둥글게(또는 똑같은 모양으로) 퍼져 있다"고 가정하고 직선(또는 평면)으로 집단을 갈라냅니다. 하지만 실제 데이터에서는 한 집단은 좁고 뾰족하게 몰려 있고, 다른 집단은 넓게 퍼져 있는 경우가 많습니다. 이차판별분석(QDA)은 이렇게 "집단마다 퍼진 모양이 다르다"는 점을 인정하고, 각 집단별로 따로 분산과 공분산을 추정한 뒤 곡선(2차 함수) 형태의 경계선을 그어 분류합니다. 직선 자를 쓰던 LDA 대신, 각 집단의 모양에 맞춰 구부러지는 자를 쓴다고 생각하면 됩니다.
왜 중요한가
현실의 생물학적·사회적 데이터는 집단마다 변수들이 흩어진 모양과 상관구조가 다른 경우가 많아, 모든 집단이 같은 형태로 퍼져 있다고 가정하는 선형판별분석만으로는 분류 경계를 제대로 그리지 못할 수 있습니다. QDA는 이 이질성을 반영할 수 있어 진단 분류, 이미지·신호 패턴 분류, 마케팅에서의 고객군 분류 등 판별분석이 쓰이는 대부분의 연구 분야에서 LDA와 함께 비교 기법으로 자주 등장합니다. 또한 QDA는 각 집단을 정규분포로 모델링하는 통계적 판별분석과, 트리·서포트벡터머신 같은 비모수적 분류기 사이를 잇는 중간 지점으로 다뤄지기도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 "두 그룹의 데이터가 퍼진 모양 자체가 다르다고 판단해, 직선이 아니라 곡선 경계로 분류하는 방법을 썼고, 그 결과 새 데이터를 87.3% 정확도로 올바른 그룹에 배정할 수 있었다"는 뜻입니다.
토지피복 유형마다 분광값이 퍼진 정도가 다르다는 것을 반영해 QDA로 분류했더니, 직선 경계를 쓰는 LDA보다 잘못 분류되는 경우가 줄었다는 의미입니다.
고객군마다 구매 행동 변수들이 퍼진 양상이 다르다는 점을 확인하고, 이를 반영할 수 있는 QDA로 고객 세그먼트를 나누는 모형을 만들었다는 뜻입니다.
조금 더 깊게 보면
QDA는 각 집단이 다변량정규분포를 따른다고 가정하고, 집단별 평균벡터와 공분산행렬을 각각 추정해 판별함수를 이차식 형태로 구성합니다. 이 때문에 LDA와 달리 두 집단을 가르는 경계가 직선이 아니라 곡선(포물선, 타원 등)으로 나타납니다. 공분산행렬을 얼마나 개별적으로 추정할지에 따라 LDA와 QDA 사이에 정규화판별분석(RDA)과 같은 절충적 방법도 존재하며, 논문에서는 교차검증을 통한 분류 정확도나 AUC 등의 지표로 QDA와 다른 판별 기법의 성능을 비교하는 경우가 흔합니다.
주의할 점
QDA는 집단마다 별도의 공분산행렬을 추정해야 하므로 LDA보다 훨씬 더 많은 모수를 추정해야 하고, 표본 수가 적거나 변수(특징) 수가 많으면 추정이 불안정해지거나 과적합될 위험이 큽니다. 또한 각 집단이 다변량정규분포를 따른다는 가정이 크게 어긋나면 분류 성능이 떨어질 수 있으므로, 실제 적용 전에 데이터 분포를 확인하고 LDA와 교차검증 성능을 비교해보는 것이 바람직합니다.