주성분분석 (Principal component analysis)
쉽게 풀면
학생들의 국어, 영어, 수학, 사회, 과학 점수 5개를 한 번에 분석하려니 너무 복잡합니다. 그런데 자세히 보니 국어·영어·사회 점수는 서로 비슷하게 오르내리고("언어/문과 능력"), 수학·과학 점수도 서로 비슷하게 움직입니다("이과 능력").
주성분분석은 이렇게 "함께 움직이는 변수들의 묶음"을 찾아내서, 5개 점수를 "문과 능력 점수"와 "이과 능력 점수"라는 2개의 새로운 축으로 요약해줍니다. 원래 정보를 최대한 유지하면서 변수 개수를 줄이는 것이 핵심입니다.
왜 중요한가
변수 수가 많아질수록 데이터를 시각화하거나 분석 모형에 그대로 투입하기가 어려워지는데(차원의 저주), 주성분분석은 이런 고차원 데이터를 다루기 쉬운 형태로 압축하는 대표적인 해법입니다. 유전체 데이터의 변이 패턴을 요약하거나, 영상 데이터의 특징을 추출하거나, 여러 경제지표를 하나의 종합지수로 묶는 등 데이터의 차원을 줄이면서도 핵심 정보를 보존해야 하는 거의 모든 분야에서 전처리 및 탐색적 분석 도구로 널리 쓰입니다.
언제 쓰나
서로 상관이 높은 여러 연속형 변수를 몇 개의 요약 점수로 줄이고 싶을 때 씁니다.
- 차원 축소: 변수가 많아 시각화나 후속 분석(예: 회귀의 다중공선성 완화)이 어려울 때.
- 종합지수 만들기: 여러 지표를 하나의 점수로 합칠 때.
- 탐색: 자료가 소수의 방향으로 주로 변하는지 알아볼 때.
주성분분석은 자료의 전체 분산을 가장 많이 담는 방향을 찾는 요약 방법일 뿐, 눈에 보이지 않는 요인이 문항을 만든다는 모형이 아닙니다. 그래서 척도의 신뢰도를 검증하거나 잠재구조를 확인하는 목적이라면 탐색적 요인분석이나 크론바흐 알파를 쓰는 것이 맞고, 주성분분석 결과만으로 타당도·신뢰도를 주장하기는 어렵습니다(Preacher & MacCallum, 2003).
| 상황 | 보통 고르는 방법 |
|---|---|
| 변수를 적은 수의 점수로 압축 | 주성분분석 |
| 문항 뒤의 잠재 요인 구조 추정 | 요인분석 |
| 변수 대신 대상 간 거리 정보로 지도 그리기 | 다차원척도법 |
| 고차원 자료의 비선형 시각화 | t-SNE |
결과는 이렇게 읽는다
- 고유값(eigenvalue): 각 주성분이 담은 분산의 크기입니다. 상관행렬로 분석하면 변수가 p개일 때 고유값의 합이 p입니다. 고유값 ÷ p가 그 주성분의 설명 분산 비율입니다.
- 성분 수 정하기: 고유값 1 이상만 남기는 Kaiser(1960) 기준, 고유값이 급히 꺾이는 지점까지만 남기는 스크리 도표(Cattell, 1966), 무작위 자료의 고유값과 비교하는 평행분석(Horn, 1965)이 흔합니다. Kaiser 기준은 성분을 지나치게 많이 남긴다는 지적이 있어 평행분석을 권하는 경우가 많습니다. 누적 설명 비율을 보조로 참고합니다.
- 적재값(loading): 각 변수와 주성분의 상관(상관행렬 사용 시)입니다. 절댓값이 큰 변수들이 그 성분의 성격을 정합니다. 부호는 임의여서 전체를 뒤집어도 같은 해입니다.
- 성분 점수: 각 관측치가 성분 축에서 갖는 값으로, 후속 분석에 투입할 수 있습니다.
- 변수의 단위가 서로 다르면 큰 단위의 변수가 분산을 독차지하므로, 보통 표준화(= 상관행렬 사용)한 뒤 분석합니다.
작은 예(가상의 상관행렬): 변수 4개 중 앞의 셋은 서로 상관이 .6~.8로 높고 네 번째는 거의 무관(.1~.2)합니다. 고유값은 2.44, 0.97, 0.41, 0.18이고 설명 분산 비율은 61.0%, 24.3%, 10.2%, 4.4%입니다. Kaiser 기준으로는 1개(0.97은 1에 약간 못 미침), 누적 85.3%인 2개까지 남기는 것도 가능합니다. 첫 성분의 적재값은 .93, .90, .84, .25로, 앞의 세 변수를 대표하는 축임을 알 수 있습니다.
논문에는 이렇게 보고한다
(수치는 위 가상의 예에 맞춘 형식 예시입니다.)
상관행렬에 대한 주성분분석 결과, 고유값 1 이상인 성분은 1개였고 전체 분산의 61.0%를 설명하였다. 평행분석에서도 1개 성분이 지지되었다.
- 표준화 여부(상관행렬/공분산행렬), 사용한 프로그램, 성분 수 결정 기준을 명시합니다.
- 적재값 표를 제시하고(절댓값 작은 값은 생략하는 경우 그 기준 명시), 각 성분의 고유값과 설명 분산 비율을 함께 적습니다.
- 회전(varimax 등)을 했다면 밝힙니다. 회전하면 성분 간 분산 배분이 달라집니다.
- 성분 이름은 해석을 위한 라벨일 뿐이며 실재하는 요인이라고 서술하지 않습니다.
- 성분 점수를 후속 분석에 썼다면 그 사실을 적습니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
국내 학술지 논문에서 이 용어가 쓰인 문장을 그대로 옮겼습니다. 제목·학술지·연도와 원문 링크를 함께 적었습니다.
“이 연구는 O*NET의 숙련, 지식, 직업 활동으로 구성된 총 109개의 지표를 대상으로 기술통계와 주성분 분석을 하였다.”
과학, 기술, 공학, 수학(STEM) 직종에 요구되는 핵심 역량 분석, 한국과학교육학회지, 2018 · KCI 한국학술지인용색인 · 원문 보기 ↗
“그리고 주성분 분석에 의하면 금강 하구해역의 식물플랑크톤 군집은 연간 금강 하굿둑을 통해 유입되는 높은 영양염을 포함하는 담수의 유입량과 확장 정도에 크게 영향을 받고 있었다.”
2018년 금강 하구해역 식물플랑크톤 군집의 시ㆍ공간적 분포 및 생물해양학적 환경특성, 환경생물, 2020 · KCI 한국학술지인용색인 · 원문 보기 ↗
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 원래 12개나 되던 문항을 정보 손실을 크게 겪지 않으면서 3개의 핵심 축으로 줄였다는 뜻입니다. "68.4%를 설명한다"는 것은 원본 데이터가 가진 전체 변동성 중 68.4%를 이 3개 주성분만으로도 충분히 요약할 수 있다는 의미입니다.
유전체학에서는 방대한 수의 유전자 발현 데이터를 소수의 축으로 요약해, 시료 간 차이를 시각적으로 파악하는 탐색적 분석에 흔히 활용됩니다.
영상처리와 컴퓨터비전 분야에서는 고해상도 이미지의 픽셀 정보를 그대로 다루는 대신, 주성분분석으로 핵심적인 특징만 추출해 연산량을 줄이는 데 사용합니다.
조금 더 깊게 보면
주성분분석은 변수들 간의 공분산(또는 상관) 행렬을 고유값 분해하여, 데이터의 분산을 가장 많이 설명하는 방향부터 순서대로 축(주성분)을 찾아내는 방식으로 작동합니다. 각 주성분이 설명하는 분산의 비율을 스크리 도표(scree plot)로 그려 몇 개의 주성분까지 사용할지 판단하는 경우가 많으며, 변수의 척도가 서로 다르면 결과가 특정 변수에 치우칠 수 있어 분석 전에 표준화를 거치는 것이 일반적입니다.
주의할 점
주성분분석은 요인분석과 자주 혼동되지만 목적이 다릅니다. 요인분석은 "관측되지 않은 잠재 개념(요인)이 문항들을 만들어낸다"고 가정하고 그 잠재 개념을 추정하는 반면, 주성분분석은 그런 가정 없이 순수하게 "데이터의 분산을 가장 잘 설명하는 방향"을 수학적으로 찾아 압축할 뿐입니다. 따라서 심리 측정 도구의 잠재 구조를 확인하려는 목적이라면 요인분석이 더 적절할 수 있습니다.
헷갈리기 쉬운 용어
| 용어 | 목적 | 가정 |
|---|---|---|
| 주성분분석 | 분산을 최대한 보존하며 변수를 요약 | 잠재 요인 모형 없음. 성분은 변수의 합성 |
| 요인분석 | 문항 사이 공통 변동을 만드는 잠재 요인 추정 | 요인이 문항을 만든다는 측정 모형을 가정 |
| 다차원척도법 | 대상 간 거리를 보존하는 지도 | 거리(비유사도) 행렬이 입력 |
| t-SNE | 가까운 점들의 이웃 구조를 시각화 | 축의 의미·거리 크기는 해석 불가 |
유클리드 거리를 입력으로 한 고전적 다차원척도법은 주성분분석과 같은 좌표를 줍니다.
참고 문헌
- Jolliffe, I. T. (2002). Principal Component Analysis (2nd ed.). Springer.
- Jolliffe, I. T., & Cadima, J. (2016). Principal component analysis: A review and recent developments. Philosophical Transactions of the Royal Society A, 374(2065), 20150202.
- Hotelling, H. (1933). Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology, 24(6), 417–441.
- Cattell, R. B. (1966). The scree test for the number of factors. Multivariate Behavioral Research, 1(2), 245–276.
- Preacher, K. J., & MacCallum, R. C. (2003). Repairing Tom Swift’s electric factor analysis machine. Understanding Statistics, 2(1), 13–43.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.