양의 정부호 행렬 (positive definite matrix)
쉽게 풀면
그릇을 떠올려보세요. 밥그릇처럼 바닥이 오목한 그릇은 어느 지점에 공을 놓아도 결국 바닥의 가장 낮은 한 점으로 공이 굴러 내려갑니다. 양의 정부호 행렬은 수학적으로 이런 "오목한 그릇 모양"을 보장해주는 행렬입니다. 그릇 모양이 이렇게 깔끔하게 볼록(정확히는 아래로 볼록)하면, "가장 낮은 지점"이 딱 하나로 정해지고 그 지점을 쉽게 찾을 수 있습니다. 반대로 안장 모양(말안장처럼 한쪽은 오목하고 한쪽은 볼록한 모양)이라면 어디가 진짜 최저점인지 헷갈리게 되죠. 그래서 양의 정부호 행렬인지 확인하는 것은 "이 문제에 유일한 최적의 답이 존재하는가?"를 확인하는 것과 비슷합니다. 실제로는 행렬의 모든 고유값과 고유벡터이 전부 양수이면 그 행렬은 양의 정부호 행렬입니다.
왜 중요한가
양의 정부호 행렬은 최적화 문제에서 해가 유일하게 존재함을 보장하는 핵심 조건이기 때문에, 함수의 극값을 다루는 논문이라면 분야를 막론하고 자주 등장합니다. 머신러닝의 손실함수 수렴성 분석, 통계학의 공분산행렬 성질, 수치해석의 행렬 분해 알고리즘 등 계산 안정성을 보장해야 하는 곳이라면 어디서든 이 성질이 전제조건으로 요구됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 "함수를 두 번 미분해서 얻은 행렬(헤시안 행렬)을 조사해보니 성질이 좋은 오목한 그릇 모양이었고, 그 덕분에 우리가 찾은 지점이 진짜 최솟값이 맞다는 것을 수학적으로 확인했다"는 뜻입니다.
통계 및 다변량 분석에서 표본 공분산 행렬의 안정성을 확보하기 위해 정규화를 적용하는 상황을 설명하는 문장이다.
커널 방법론을 다루는 머신러닝 이론 논문에서 커널 함수의 수학적 타당성을 증명할 때 쓰이는 표현이다.
조금 더 깊게 보면
행렬이 양의 정부호인지 확인하는 실용적인 방법으로는 모든 고유값이 양수인지 직접 확인하는 방법 외에도, 촐레스키 분해(Cholesky decomposition)가 성공적으로 수행되는지, 또는 모든 주요 소행렬식(leading principal minor)이 양수인지를 검사하는 방법이 흔히 쓰입니다. 실제 데이터에서 추정한 공분산 행렬 등은 반올림 오차나 표본 부족으로 이론상 양의 정부호여야 함에도 수치적으로는 그렇지 않게 나오는 경우가 있어, 이런 경우 작은 값을 대각선에 더하는 정규화(regularization) 기법이 자주 사용됩니다.
주의할 점
"양의 정부호"와 "양의 준정부호(positive semi-definite)"는 다릅니다. 정부호는 결과가 항상 엄격히 0보다 큰(0을 포함하지 않는) 경우이고, 준정부호는 0이 될 수도 있는 경우(즉 0 이상)를 말합니다. 준정부호 행렬에서는 최솟값이 유일하지 않고 여러 개일 수 있으므로, 논문에서 어떤 조건을 쓰는지 정확히 구분해서 읽어야 합니다. 이 개념은 헤시안 행렬과 함께 최적화 문제에서 자주 함께 쓰입니다.