공분산 (Covariance)
쉽게 풀면
키가 클수록 몸무게도 많이 나가는 경향이 있다고 해봅시다. 여러 사람의 키와 몸무게를 각각 평균과 비교했을 때, "평균보다 키가 큰 사람은 대체로 평균보다 몸무게도 많이 나간다"는 패턴이 있다면 공분산은 양수(+)가 됩니다. 반대로 한쪽이 클 때 다른 쪽이 작아지는 경향이면 공분산은 음수(-)가 되고, 둘 사이에 아무 패턴이 없으면 0에 가까워집니다. 공분산은 "두 변수가 같은 방향으로 움직이는지, 반대 방향으로 움직이는지"를 알려주는 가장 기본적인 지표입니다.
왜 중요한가
공분산은 상관계수, 회귀분석, 주성분분석 등 대부분의 다변량 통계 기법을 계산하는 데 필요한 가장 기초적인 재료이기 때문에 거의 모든 정량 연구 분야의 논문에서 배경 개념으로 등장합니다. 특히 변수들 간의 관계 구조를 요약한 공분산행렬은 심리측정학의 요인분석, 금융의 포트폴리오 이론, 신호처리 등 다양한 응용의 출발점이 됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 "공부 시간이 늘어날수록 시험 점수도 함께 오르는 경향이 있다"는 뜻입니다. 다만 공분산 값 자체(예: 42.7)만으로는 그 관계가 얼마나 강한지 직관적으로 알기 어렵기 때문에, 논문에서는 보통 이를 표준화한 상관계수를 함께 제시합니다.
금융 분야에서는 자산 간 공분산이 음수일 때 분산투자를 통한 위험 분산 효과를 기대할 수 있다는 맥락에서 자주 언급됩니다.
조금 더 깊게 보면
변수가 여러 개일 때는 모든 변수 쌍의 공분산을 정리한 공분산행렬을 사용하며, 이 행렬의 대각선 원소는 각 변수 자신의 분산이 됩니다. 표본으로 공분산을 추정할 때는 통상 편차의 곱을 (n-1)로 나누는 불편추정량을 사용하며, 변수 수가 표본 크기에 비해 많아지면 추정이 불안정해질 수 있어 축소추정과 같은 보정 기법이 쓰이기도 합니다. 논문을 읽을 때는 제시된 값이 공분산인지, 이를 표준화한 상관계수인지 구분해서 보는 것이 중요합니다.
주의할 점
공분산은 변수의 측정 단위(cm, kg, 점수 등)에 따라 값의 크기가 달라지기 때문에, 서로 다른 변수 쌍의 공분산 크기를 직접 비교할 수 없습니다. 이런 단위 문제를 해결하기 위해 공분산을 각 변수의 표준편차로 나눠 -1~1 사이 값으로 표준화한 것이 피어슨 상관계수와 스피어만 상관계수입니다.