가중최소제곱법 (Weighted Least Squares)
쉽게 풀면
여러 실험실에서 같은 실험을 반복했는데, 어떤 실험실은 표본을 100번 반복 측정해 매우 안정적인 값을 냈고, 어떤 실험실은 단 3번만 측정해 값이 들쭉날쭉하다고 해봅시다. 일반적인 회귀분석(최소제곱법)은 모든 관측값을 똑같이 중요하게 취급하기 때문에, 부정확한 값도 정확한 값과 동등한 발언권을 갖게 되어 전체 추정을 왜곡할 수 있습니다. 가중최소제곱법은 이런 문제를 해결하기 위해 값이 안정적이고 오차가 작은 관측값에는 큰 가중치를, 오차가 크고 불안정한 관측값에는 작은 가중치를 부여해서 회귀선을 다시 계산합니다. 결과적으로 더 믿을 만한 데이터의 목소리를 크게 반영하는 셈입니다.
왜 중요한가
실제 데이터에서는 관측치마다 측정 정밀도나 표본 크기가 달라 오차의 분산이 균일하지 않은 경우가 흔한데, 이를 무시하고 일반 최소제곱법을 쓰면 회귀계수 추정치는 편향되지 않더라도 표준오차와 유의성 검정 결과가 왜곡될 수 있다. 가중최소제곱법은 이러한 이분산성 문제를 다루는 가장 기본적인 방법이기 때문에 계량경제학, 생물통계학, 메타분석 등 다양한 분야의 논문에서 반복적으로 등장한다. 특히 메타분석에서는 연구별 표본 크기나 분산이 크게 다른 경우가 많아 가중최소제곱법의 개념이 필수적으로 쓰인다.
논문에서는 이렇게 쓰입니다
이 문장은 소득이 높은 집단일수록 응답의 흩어짐(오차 크기)이 더 컸기 때문에, 그 불균등한 오차 구조를 반영해 관측치별로 다른 가중치를 준 회귀분석을 실시했다는 의미입니다. 오차의 크기가 관측치마다 일정하지 않은 상황에서 표준적인 해결책으로 자주 언급됩니다.
여러 개별 연구 결과를 하나로 합칠 때, 표본이 큰(즉 더 신뢰할 만한) 연구에 더 큰 비중을 두어 전체 효과크기를 계산했다는 의미로, 메타분석에서 흔히 쓰이는 표현입니다.
생물학·의학 실험에서 개체별로 측정 반복 횟수가 다를 때, 더 많이 반복 측정된(더 정밀한) 개체의 데이터에 더 큰 비중을 주어 분석했다는 뜻입니다.
조금 더 깊게 보면
가중최소제곱법의 가중치는 이론적으로 각 관측치 오차분산의 역수로 설정하는 것이 최적(효율적)인 것으로 알려져 있으나, 실제로는 오차분산을 직접 알 수 없어 잔차나 보조 회귀모형을 이용해 추정한 값을 대신 사용하는 경우가 많다. 이렇게 가중치를 데이터로부터 추정해 적용하는 방식을 실행가능한 가중최소제곱법(feasible WLS)이라 부르기도 한다. 가중최소제곱법은 일반화최소제곱법(GLS)의 특수한 경우로 볼 수 있으며, 오차 간 상관관계까지 고려해야 하는 경우에는 GLS의 보다 일반적인 형태가 쓰인다.
주의할 점
가중최소제곱법은 오차의 분산이 관측치마다 다른 등분산성과 이분산성 문제를 해결하기 위한 방법 중 하나이며, 가중치를 어떻게 정하느냐(분산의 역수를 쓰는 것이 일반적)에 따라 결과가 달라질 수 있으므로 가중치 설정 근거를 논문에 명시해야 합니다. 이분산성 자체를 무시하고 일반 회귀분석을 그대로 쓰면 표준오차가 부정확해집니다.