공분산 (Covariance)

한 줄 정의: 두 변수가 함께 커지고 함께 작아지는 경향이 있는지, 아니면 한쪽이 커질 때 다른 쪽은 작아지는지를 나타내는 값입니다.

쉽게 풀면

키가 클수록 몸무게도 많이 나가는 경향이 있다고 해봅시다. 여러 사람의 키와 몸무게를 각각 평균과 비교했을 때, "평균보다 키가 큰 사람은 대체로 평균보다 몸무게도 많이 나간다"는 패턴이 있다면 공분산은 양수(+)가 됩니다. 반대로 한쪽이 클 때 다른 쪽이 작아지는 경향이면 공분산은 음수(-)가 되고, 둘 사이에 아무 패턴이 없으면 0에 가까워집니다. 공분산은 "두 변수가 같은 방향으로 움직이는지, 반대 방향으로 움직이는지"를 알려주는 가장 기본적인 지표입니다.

왜 중요한가

공분산은 상관계수, 회귀분석, 주성분분석 등 대부분의 다변량 통계 기법을 계산하는 데 필요한 가장 기초적인 재료이기 때문에 거의 모든 정량 연구 분야의 논문에서 배경 개념으로 등장합니다. 특히 변수들 간의 관계 구조를 요약한 공분산행렬은 심리측정학의 요인분석, 금융의 포트폴리오 이론, 신호처리 등 다양한 응용의 출발점이 됩니다.

계산과 범위

모집단: Cov(X, Y) = E[(X − μ_X)(Y − μ_Y)]. 표본: s_xy = Σ(x_i − x̄)(y_i − ȳ) / (n − 1).
자기 자신과의 공분산은 분산입니다. Cov(X, X) = Var(X).
범위에 고정된 눈금은 없고 −∞부터 +∞까지 가능합니다. 다만 코시-슈바르츠 부등식에 의해 |Cov(X, Y)| ≤ σ_Xσ_Y입니다.
단위는 두 변수 단위의 곱이며, 단위를 바꾸면 값이 비례해서 변합니다.

가상의 예: 공부 시간 x = 2, 4, 6, 8, 10(시간), 점수 y = 55, 60, 70, 75, 90(점). x̄ = 6, ȳ = 70이고 편차곱의 합이 170이므로 s_xy = 170 / 4 = 42.5(시간·점)입니다. n으로 나누면 34가 됩니다. 분산은 s²_x = 10, s²_y = 187.5이고 r = 42.5 / (√10 × √187.5) ≈ 0.981입니다. 시간 대신 분(60배)으로 재면 공분산은 2,550으로 60배가 되지만 r은 그대로입니다.

해석 기준

부호만 해석합니다. 양수는 함께 커지고 줄어드는 경향, 음수는 한쪽이 클 때 다른 쪽이 작은 경향입니다. 위 예에서 점수를 90, 80, 70, 60, 50으로 바꾸면 공분산은 −50입니다.
크기는 단위에 좌우되므로 서로 다른 변수 쌍끼리 비교하거나 ‘강하다/약하다’를 판단할 수 없습니다. 관계의 세기가 필요하면 표준화한 상관계수를 씁니다.
공분산이 0이라고 해서 독립은 아닙니다. 예컨대 x = −2, −1, 0, 1, 2에 y = x²이면 완벽한 종속인데도 공분산은 0입니다. 공분산과 상관은 선형 관계의 척도이기 때문입니다. 두 변수가 결합 정규분포를 따를 때는 무상관이 독립을 뜻합니다(각각 정규분포인 것만으로는 부족합니다).

보고 방법

변수가 둘보다 많으면 공분산행렬로 보고합니다. 대각 원소가 각 변수의 분산입니다.
표본 공분산은 n − 1로 나눈 값인지 n으로 나눈 값인지 밝힙니다. 변수 수가 표본 크기에 비해 많으면 추정이 불안정해질 수 있고, 이때는 축소추정 같은 방법이 쓰입니다(Ledoit & Wolf 2004; 공분산행렬 추정).
값과 함께 단위를 쓰고, 해석에는 보통 상관계수를 함께 제시합니다(상관관계).
‘공분산분석(ANCOVA)’은 공변량을 통제하고 집단 평균을 비교하는 분석으로, 이 용어의 공분산 자체와는 다른 기법입니다.

논문에서는 이렇게 쓰입니다

실제 논문에서

국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.

“마할라노비스 거리는 변수의 평균, 분산 그리고 변수간 공분산을 고려하여 계산이 된다.”
마할라노비스 거리를 이용한 다변량 공간 클러스터 분석, 한국지도학회지, 2012 · KCI 한국학술지인용색인 · 원문 보기 ↗
“정상상태로 동작중인대상시스템으로부터 수집된 다변량 샘플을 이용하여 평균벡터와 공분산행렬을 계산하고, MD값의 문턱값을 설정한다.”
마할라노비스 거리를 이용한 증기보일러 튜브의 고장탐지방법, 한국지능시스템학회 논문지, 2016 · KCI 한국학술지인용색인 · 원문 보기 ↗
“회귀모형의 오차항에 대한 분산공분산행렬에서 이분산성만 고려하고 공분산을 선행연구에서 무시했는데, 공분산을 고려하게 되면 분산공분산행렬은 블록대각행렬이 된다.”
통계모형을 이용하여 모의실험 결과 분석하기에 대한 보완연구, 응용통계연구, 2022 · KCI 한국학술지인용색인 · 원문 보기 ↗

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"공부 시간과 시험 점수 간 공분산은 양의 값으로 나타나, 두 변수가 같은 방향으로 변화하는 경향을 보였다."

이 문장은 "공부 시간이 늘어날수록 시험 점수도 함께 오르는 경향이 있다"는 뜻입니다. 다만 공분산 값 자체(예: 42.7)만으로는 그 관계가 얼마나 강한지 직관적으로 알기 어렵기 때문에, 논문에서는 보통 이를 표준화한 상관계수를 함께 제시합니다.

"두 자산의 수익률 간 공분산이 음수로 추정되어, 한 자산의 수익률이 오를 때 다른 자산의 수익률은 대체로 하락하는 경향이 확인되었다."

금융 분야에서는 자산 간 공분산이 음수일 때 분산투자를 통한 위험 분산 효과를 기대할 수 있다는 맥락에서 자주 언급됩니다.

조금 더 깊게 보면

변수가 여러 개일 때는 모든 변수 쌍의 공분산을 정리한 공분산행렬을 사용하며, 이 행렬의 대각선 원소는 각 변수 자신의 분산이 됩니다. 표본으로 공분산을 추정할 때는 통상 편차의 곱을 (n-1)로 나누는 불편추정량을 사용하며, 변수 수가 표본 크기에 비해 많아지면 추정이 불안정해질 수 있어 축소추정과 같은 보정 기법이 쓰이기도 합니다. 논문을 읽을 때는 제시된 값이 공분산인지, 이를 표준화한 상관계수인지 구분해서 보는 것이 중요합니다.

주의할 점

공분산은 변수의 측정 단위(cm, kg, 점수 등)에 따라 값의 크기가 달라지기 때문에, 서로 다른 변수 쌍의 공분산 크기를 직접 비교할 수 없습니다. 이런 단위 문제를 해결하기 위해 공분산을 각 변수의 표준편차로 나눠 -1~1 사이 값으로 표준화한 것이 피어슨 상관계수입니다. (스피어만 상관계수는 원래 값이 아니라 순위에 피어슨 상관계수를 적용한 것입니다.)

헷갈리기 쉬운 용어

용어	한 줄 설명	단위·범위
공분산	두 변수가 함께 움직이는 정도	두 변수 단위의 곱, 범위 제한 없음
분산	한 변수의 퍼진 정도(자기 자신과의 공분산)	변수 단위의 제곱, 0 이상
피어슨 상관계수	공분산을 두 표준편차의 곱으로 나눈 값	단위 없음, −1~1
공분산분석(ANCOVA)	공변량을 통제한 집단 비교 기법	이 용어의 공분산과 다른 개념

참고 문헌

Wasserman, L. (2004). All of statistics: A concise course in statistical inference. Springer.
Rodgers, J. L., & Nicewander, W. A. (1988). Thirteen ways to look at the correlation coefficient. The American Statistician, 42(1), 59–66.
Ledoit, O., & Wolf, M. (2004). A well-conditioned estimator for large-dimensional covariance matrices. Journal of Multivariate Analysis, 88(2), 365–411.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.