국소회귀 (LOESS Regression)
쉽게 풀면
보통의 회귀분석은 "y = a + bx" 같은 하나의 수식으로 데이터 전체를 설명하려고 합니다. 하지만 관계가 구간마다 다르게 휘어 있다면 하나의 수식으로는 한계가 있습니다.
국소회귀(LOESS/LOWESS)는 이럴 때 x축의 특정 지점마다 "그 지점 근처에 있는 이웃 데이터들"만 모아서 그 부분만의 작은 직선(또는 곡선)을 그리고, 이런 국소적인 선들을 이어 붙여 전체적으로 부드러운 하나의 추세선을 완성합니다.
마치 긴 도로를 한 개의 자로 그리는 대신, 짧은 구간마다 그 구간에 맞는 자를 대고 이어 붙여 자연스러운 곡선 도로를 그리는 것과 비슷합니다.
왜 중요한가
국소회귀는 변수 간 관계의 형태를 미리 가정하지 않고 데이터가 스스로 말하게 한다는 점에서 탐색적 자료분석의 대표적인 도구로 자주 쓰입니다. 생태학의 시계열 추세 파악, 역학의 노출-반응 관계 탐색, 경제학의 비선형적 소득-소비 관계 시각화 등 분야를 막론하고 "이 관계가 정말 직선일까?"를 확인하는 첫 단계로 활용되며, 이후 더 정교한 통계 모형을 선택하는 데 근거를 제공합니다.
언제 쓰나
산점도에서 관계가 직선인지 곡선인지 모를 때, 먼저 모양을 눈으로 확인하려는 탐색 단계에서 씁니다. 모형의 형태(예: 이차식)를 정하지 않아도 되고, 시계열의 추세 분리(STL 분해 등)에도 쓰입니다.
- n이 수십~수천 개 정도이고 x가 1~2개일 때 잘 맞습니다. 설명변수가 많아지면 이웃 점이 희박해져(차원의 저주) 성능이 떨어집니다.
- 결과는 계수가 아니라 곡선입니다. 가설검정이나 외삽(자료 범위 밖 예측)에는 적합하지 않습니다.
- LOWESS는 Cleveland(1979)의 원래 방법(국소 1차식 + 이상치에 강한 반복 가중), LOESS는 Cleveland와 Devlin(1988)의 일반화(기본값이 국소 2차식인 구현이 많음)로 구분하기도 하지만, 실제 소프트웨어에서는 두 이름이 섞여 쓰입니다.
결과는 이렇게 읽는다
각 점 x₀에서 다음 과정을 반복해 곡선 위의 한 점을 만듭니다.
- ① x₀에서 가까운 점 αn개(α = span, 대역폭 비율)를 이웃으로 고릅니다. 반올림 방식은 구현마다 다릅니다.
- ② 거리 d에 따라 트라이큐브(tricube) 가중치 w = (1 − (d/h)³)³을 줍니다(h는 이웃 범위의 끝까지의 거리). 가까울수록 크고 h 이상이면 0입니다.
- ③ 가중최소제곱으로 국소 직선(또는 2차식)을 맞추고, x₀에서의 값을 곡선의 점으로 삼습니다.
- span이 작으면 울퉁불퉁(과적합), 크면 매끈(과소적합)합니다. 교차검증이나 AICc로 고르기도 합니다.
(가상의 예, 정의대로 직접 계산) x = 0, 1, …, 10의 11개 점에서 span = 0.5(이웃 6개)로 x₀ = 5의 값을 구합니다. 여섯 번째로 가까운 점까지의 거리는 h = 3이고, x = 2, 3, 4, 5, 6, 7, 8의 가중치는 각각 0.00, 0.35, 0.89, 1.00, 0.89, 0.35, 0.00입니다(x = 2, 8은 거리가 h라 0).
이 가중치로 국소 직선을 맞추면 x₀ = 5에서 곡선 값은 4.83입니다. 전체 직선(OLS)의 같은 지점 값은 4.91으로, 국소적인 굽이를 반영해 약간 다릅니다. (R의 loess는 보간 등 계산 방식이 달라 값이 조금 다를 수 있습니다.)
논문에는 이렇게 보고한다
방법 절에 span(또는 대역폭), 국소 차수, 가중 함수, 이상치 강건 반복 여부, 소프트웨어를 적습니다. 결과는 곡선 그림과 함께 서술합니다. (아래 문장은 형식을 보여 주는 가상의 예입니다.)
연령과 반응시간의 관계는 LOESS(span = 0.75, 국소 2차식, 가우시안 오차)로 평활하였다. 곡선은 40대까지 완만히 증가하다가 이후 가팔라지는 비선형 모양을 보였다(그림 2).
- 곡선의 신뢰대(점별 신뢰구간)를 함께 그리면 불확실성을 보여 줍니다.
- 탐색에서 본 모양을 가설검정으로 확인하려면 일반화가법모형이나 스플라인 회귀처럼 검정 가능한 모형을 따로 적합합니다.
- 같은 자료에서 span을 여러 개 시험하고 가장 마음에 드는 모양만 고르면 안 됩니다. 선택 기준을 밝힙니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“본 연구에서는 인근 수질측정지점 간의 수질의 기여도를 간접적으로 파악하고 본류와 지류하천 간의 영향력을 해석하기 위해 시계열 분석이 가능한 STL (Seasonal and Trend decomposition using Loess) 기법을 수질자료에 적용한 결과를 보고하고 있다.”
다변량 통계분석을 이용한 미호강 유역 수질 특성 분석, 한국수자원학회 논문집, 2024 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 특정한 함수 형태(직선, 이차곡선 등)를 미리 가정하지 않고, 데이터가 실제로 어떤 모양의 관계를 보이는지 먼저 눈으로 확인하기 위해 유연한 추세선을 그렸다는 뜻입니다.
역학 연구에서는 오염물질 농도가 낮을 때와 높을 때 사망률에 미치는 영향이 다를 수 있다는 가설을 세우고, 이를 직선이 아닌 유연한 곡선으로 먼저 살펴봤다는 뜻입니다.
기후 시계열 자료처럼 단기적으로 들쭉날쭉한 값을 가진 데이터에서, 국소회귀로 잡음을 걸러내고 장기적인 추세만 부드럽게 드러냈다는 의미입니다.
조금 더 깊게 보면
국소회귀의 결과는 이웃의 범위를 얼마나 넓게 잡는지를 정하는 대역폭(bandwidth, span) 파라미터에 크게 좌우됩니다. 대역폭이 너무 좁으면 곡선이 잡음까지 따라가며 과도하게 울퉁불퉁해지고(과적합), 너무 넓으면 국소적인 변화를 놓치고 지나치게 매끄러워집니다(과소적합). 또한 각 국소 구간의 회귀에는 흔히 가중최소제곱법을 사용하며, 가까운 점일수록 더 큰 가중치를 주는 가중함수(kernel)의 선택도 곡선의 모양에 영향을 줍니다.
주의할 점
국소회귀는 탐색적으로 관계의 형태를 파악하는 데는 유용하지만, 회귀계수처럼 해석하기 쉬운 하나의 숫자를 제공하지는 않습니다. 결과를 논문에 정식으로 보고할 때는 관계의 형태를 참고해 일반화가법모형처럼 통계적으로 검증 가능한 모형을 함께 사용하는 경우가 많습니다.
헷갈리기 쉬운 용어
곡선을 그리는 방법들을 구분합니다.
| 용어 | 모양을 정하는 방식 | 특징 |
|---|---|---|
| LOESS / LOWESS | 이웃 점에 국소 회귀를 반복 | 모양을 가정하지 않음. 수식(계수)이 없음 |
| 선형 회귀 | 하나의 직선(또는 다항식)을 전체에 적합 | 해석이 쉽지만 곡선 관계를 놓칠 수 있음 |
| 일반화가법모형 | 변수마다 평활 함수(스플라인 등)를 더함 | 통계적 검정과 신뢰대 제공. 여러 변수 가능 |
| 강건회귀 | 이상치 영향을 줄여 직선을 적합 | 곡선이 아니라 이상치 대응 방법. LOWESS의 강건 반복과는 목적이 다름 |
참고 문헌
- Cleveland, W. S. (1979). Robust locally weighted regression and smoothing scatterplots. Journal of the American Statistical Association, 74(368), 829–836.
- Cleveland, W. S., & Devlin, S. J. (1988). Locally weighted regression: An approach to regression analysis by local fitting. Journal of the American Statistical Association, 83(403), 596–610.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer.
- Cleveland, W. S., Grosse, E., & Shyu, W. M. (1992). Local regression models. In J. M. Chambers & T. J. Hastie (Eds.), Statistical Models in S (pp. 309–376). Wadsworth & Brooks/Cole.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.