부분최소제곱회귀 (PLS Regression)

한 줄 정의: 설명변수끼리 서로 얽혀 있거나 변수 수가 표본 수보다 많을 때, 변수들을 종속변수와 가장 관련 있는 소수의 축으로 압축한 뒤 회귀분석을 수행하는 방법입니다.

쉽게 풀면

설문 문항이 50개인데 응답자는 30명뿐이라고 해봅시다. 이런 경우 일반 회귀분석은 변수가 너무 많고 서로 비슷해서(다중공선성) 계수를 안정적으로 추정하지 못합니다. 부분최소제곱회귀(PLS)는 원래의 수많은 설명변수를 그대로 쓰지 않고, "종속변수를 가장 잘 설명하는 방향"을 기준으로 몇 개의 새로운 합성 축(잠재변수)을 만들어냅니다. 즉 주성분분석처럼 변수를 압축하되, 압축할 때 종속변수와의 관련성까지 함께 고려한다는 점이 특징입니다. 그래서 변수가 많고 서로 얽혀 있어도, 심지어 표본 수보다 변수 수가 많아도 안정적으로 회귀식을 만들 수 있습니다.

왜 중요한가

부분최소제곱회귀는 변수 수가 표본 수보다 많거나 변수 간 상관이 심한, 즉 전통적인 회귀분석이 불안정해지는 상황에서 실용적인 대안을 제공하기 때문에 화학계량학, 유전체학, 설문 기반 사회과학 연구 등 다양한 분야에서 널리 쓰입니다. 특히 분광 데이터처럼 변수(파장) 수가 매우 많은 화학 분석 분야에서는 표준적인 분석 도구로 자리 잡고 있습니다. 또한 구조방정식모형과 결합된 PLS-SEM 형태로 경영학, 마케팅 연구에서 복잡한 개념들 간의 관계를 추정하는 데도 자주 활용됩니다.

논문에서는 이렇게 쓰입니다

"설문 문항 간 다중공선성이 높아 일반 회귀분석 대신 부분최소제곱회귀(PLS Regression)를 이용해 구성개념 간 경로계수를 추정하였다."

이 문장은 "문항들이 서로 너무 비슷해서 보통의 회귀분석으로는 계수를 믿을 수 없으니, PLS 방식으로 변수를 압축해 안정적으로 추정했다"는 뜻입니다. 구조방정식모형(PLS-SEM) 형태로도 널리 쓰입니다.

"근적외선 분광 데이터의 수백 개 파장 변수를 부분최소제곱회귀로 압축하여 시료의 성분 농도를 예측하는 모형을 구축하였다."

화학계량학 분야에서 변수 수가 매우 많은 분광 데이터를 다룰 때 PLS가 표준적으로 활용되는 예문이다.

"수천 개의 유전자 발현 변수와 표본 수가 제한된 상황에서, 부분최소제곱회귀를 이용해 질병 예후와 관련된 잠재 성분을 추출하였다."

유전체학 연구에서 변수 수가 표본 수보다 훨씬 많은 고차원 데이터를 다루는 데 PLS가 쓰이는 사례다.

조금 더 깊게 보면

부분최소제곱회귀는 설명변수들의 분산만을 최대한 보존하는 주성분분석과 달리, 설명변수와 종속변수 사이의 공분산을 최대화하는 방향으로 잠재변수(성분)를 순차적으로 추출한다는 점이 핵심적인 차이입니다. 몇 개의 잠재변수를 사용할지는 교차검증을 통해 예측 오차가 가장 낮아지는 지점을 찾아 결정하는 경우가 많습니다. 논문에서 PLS 결과를 볼 때는 몇 개의 성분을 추출했는지, 그리고 이를 어떤 기준(교차검증 오차, 설명된 분산 비율 등)으로 정했는지를 확인하면 모형의 타당성을 가늠하는 데 도움이 됩니다.

주의할 점

PLS는 다중공선성이 심하거나 표본 수가 적을 때 유용하지만, 일반 회귀분석처럼 엄격한 통계적 유의성 검정(p-value 등)을 그대로 적용하기 어렵고, 압축된 잠재변수가 실제로 무엇을 의미하는지 해석이 모호해질 수 있습니다. 예측력이 좋다고 해서 인과관계를 증명하는 것은 아니라는 점도 유의해야 합니다.