최소제곱법 (Least Squares Method)
쉽게 풀면
산점도에 점들이 여기저기 흩어져 있을 때, 이 점들과 가장 가까운 직선을 어떻게 찾을 수 있을까요? 각 점에서 직선까지의 수직 거리(오차)를 재고, 이 오차들을 제곱해서 모두 더한 값이 가장 작아지는 직선을 찾는 방법이 바로 최소제곱법입니다. 오차를 그냥 더하지 않고 제곱하는 이유는 양수 오차와 음수 오차가 서로 상쇄되어 0에 가까워지는 것을 막고, 큰 오차일수록 더 큰 페널티를 주기 위해서입니다. 우리가 흔히 쓰는 회귀분석의 계수는 대부분 이 최소제곱법(흔히 OLS, Ordinary Least Squares라고 부릅니다)으로 추정됩니다.
왜 중요한가
최소제곱법은 통계학과 계량경제학, 사회과학 실증연구 전반에서 회귀분석의 기본 추정 방법으로 자리 잡고 있어, 변수 간 관계를 정량적으로 검증하는 거의 모든 논문의 방법론적 토대가 됩니다. 이 방법이 언제 신뢰할 수 있고 언제 대안이 필요한지를 이해하는 것은 논문의 통계적 결론을 올바르게 해석하는 데 필수적입니다.
논문에서는 이렇게 쓰입니다
이 문장은 연구자가 관찰된 자료와 회귀선 사이의 오차 제곱합이 최소가 되는 방식으로 계수를 계산했다는 뜻이며, 회귀분석에서 가장 널리 쓰이는 표준적인 추정 방식임을 나타냅니다.
이 예문은 오차의 분산이 관측치마다 다른 이분산성 상황에서, 표준 최소제곱법을 그대로 쓰지 않고 관측치별 가중치를 반영한 변형 방법을 사용했음을 보여줍니다.
계량경제학 연구에서는 설명변수가 오차와 상관관계를 가지는 내생성 문제가 있을 때, 기본 최소제곱법 대신 도구변수를 활용한 확장된 추정법을 쓴다는 점을 보여줍니다.
조금 더 깊게 보면
최소제곱법이 가장 좋은(효율적이고 불편향된) 추정치를 제공한다는 가우스-마르코프 정리는 선형성, 외생성, 등분산성, 오차항 간 무상관 등 몇 가지 가정을 전제로 합니다. 이 가정 중 일부가 깨지면 표준오차나 계수 추정치가 왜곡될 수 있어, 이분산성에는 가중최소제곱법이나 강건표준오차(robust standard error)를, 설명변수의 내생성에는 도구변수를 이용한 2단계최소제곱법을 대신 사용하는 방식이 논문에서 흔히 채택됩니다.
주의할 점
최소제곱법은 오차가 정규분포를 따르고, 오차의 분산이 일정하며(등분산성), 독립변수들 사이에 다중공선성이 심하지 않다는 가정 아래에서 가장 신뢰할 수 있는 추정치를 제공합니다. 이런 가정이 깨지면 추정치가 왜곡될 수 있어, 등분산성이 깨졌을 때는 가중최소제곱법을, 설명변수가 오차와 상관관계를 가질 때는 2단계최소제곱법을 대신 사용하기도 합니다.