통계학에서의 고유값 분해 (Eigenvalue Decomposition in Statistics)
쉽게 풀면
여러 변수가 얽혀 있는 공분산행렬을 그대로 보면 어느 방향으로 자료가 가장 많이 퍼져 있는지 파악하기 어렵지만, 고유값 분해를 하면 자료가 가장 많이 흩어져 있는 방향(고유벡터)과 그 방향으로 흩어진 정도(고유값)를 정확히 찾아낼 수 있다. 이렇게 찾아낸 방향들은 서로 직각을 이루며 독립적으로 해석할 수 있어, 원래 변수들보다 훨씬 이해하기 쉬운 형태로 자료의 구조를 요약할 수 있다. 주성분분석은 바로 이 고유값 분해를 공분산행렬에 적용한 결과라고 할 수 있다.
왜 중요한가
고차원 자료를 다루는 거의 모든 통계·머신러닝 분석은 변수 간 상관구조를 요약하는 문제로 귀결되는데, 고유값 분해는 이를 가장 근본적으로 해결하는 도구다. 주성분분석, 요인분석, 판별분석뿐 아니라 스펙트럴 군집화나 그래프 라플라시안 분석처럼 겉보기에 다른 방법론들도 결국 공분산행렬이나 유사행렬의 고유값 분해에 의존한다. 그래서 논문에서 차원 축소나 잠재 구조 추정을 다룰 때는 거의 예외 없이 고유값 분해가 이론적 배경으로 등장한다.
논문에서는 이렇게 쓰입니다
주성분분석이나 요인분석에서 고차원 자료의 변동을 몇 개의 핵심 축으로 축소하는 이론적 근거로 사용된다.
신경과학 분야에서는 뇌 영역 간 연결성 행렬을 고유값 분해하여 기능적 네트워크의 주요 패턴을 찾아내는 데 활용된다.
계량금융에서는 여러 자산의 수익률이 공유하는 공통 위험요인을 식별하는 데 고유값 분해가 널리 쓰인다.
조금 더 깊게 보면
실제 논문에서는 고유값을 크기순으로 나열한 스크리 도표(scree plot)를 통해 몇 개의 성분까지 유의미한지 판단하는 경우가 많으며, 각 고유값이 전체 분산에서 차지하는 비율(설명분산비)을 함께 보고하는 것이 관례다. 표본 수가 변수 수에 비해 부족하면 표본 공분산행렬의 고유값 분해가 불안정해지는데, 이런 경우 능형(ridge) 정규화나 축소추정(shrinkage) 기법을 함께 적용해 안정성을 높이기도 한다. 또한 특이값분해(SVD)는 고유값 분해를 정방행렬이 아닌 일반 행렬로 확장한 개념으로, 자료행렬 자체에 직접 적용할 때 자주 등장한다.
주의할 점
고유값 분해는 공분산행렬이 대칭이고 실수 값을 가진다는 조건에서 특히 깔끔한 성질을 가지며, 고유값이 음수로 나오는 경우는 공분산행렬 추정 자체에 문제가 있음을 시사한다.