선형독립과 선형결합 (Linear Independence and Linear Combination)
쉽게 풀면
벡터 여러 개가 있을 때, 각 벡터에 원하는 숫자를 곱하고 그 결과들을 모두 더하면 새로운 벡터 하나를 만들 수 있습니다. 이렇게 만들어진 벡터를 "선형결합"이라고 부릅니다. 예를 들어 동쪽 방향 벡터와 북쪽 방향 벡터가 있으면, 이 둘을 적당한 비율로 섞어서 평면 위 어떤 방향이든 다 만들어낼 수 있습니다. 그런데 만약 벡터 중 하나가 나머지 벡터들의 선형결합으로 이미 표현될 수 있다면, 그 벡터는 사실 "새로운 정보"를 전혀 더해주지 못하는 겹치는 벡터입니다. 예를 들어 동쪽 벡터, 북쪽 벡터, 그리고 그 둘을 더한 북동쪽 벡터가 있다면, 북동쪽 벡터는 앞의 두 벡터만으로 이미 만들 수 있으니 굳이 따로 셀 필요가 없습니다. 반대로 어느 벡터도 나머지 벡터들의 조합으로는 절대 만들어낼 수 없을 때, 이 벡터들을 "선형독립"이라고 합니다. 즉 선형독립인 벡터들은 서로 겹치는 정보가 하나도 없이 각자 고유한 방향(정보)을 담고 있다는 뜻입니다.
왜 중요한가
선형독립은 데이터나 신호에 담긴 정보가 실제로 몇 개의 독립된 차원으로 이루어져 있는지를 판단하는 기준이 되기 때문에, 회귀분석의 변수 선택, 신호처리의 성분 분리, 머신러닝의 특징 설계 등 다양한 분야에서 다뤄집니다. 벡터들이 선형독립이 아니면 계산상 해가 유일하게 정해지지 않거나 불필요하게 중복된 정보를 다루게 되므로, 모델을 안정적으로 추정하거나 데이터를 효율적으로 표현하려는 연구에서 이 개념을 확인하는 절차가 자주 등장합니다.
논문에서는 이렇게 쓰입니다
이 문장은 회귀분석에서 설명변수들끼리 서로 완전히 겹치는 정보를 담고 있지 않은지(다중공선성이 심각하지 않은지) 확인해, 계산상 회귀계수가 하나로 딱 정해질 수 있는 조건을 갖췄다는 뜻입니다. 통계, 공학, 컴퓨터과학 논문에서 변수나 특징(feature)들의 독립성을 논할 때 자주 등장합니다.
신호처리 분야에서는 여러 신호가 섞여 들어올 때, 원래 신호들이 선형독립이라는 가정 아래 이를 다시 분리해내는 기법의 이론적 근거로 이 개념이 사용됩니다.
딥러닝 연구에서는 모델이 학습한 표현(임베딩) 벡터들이 실제로 얼마나 다양한 방향의 정보를 담고 있는지를 가늠하는 데 선형독립 개념을 활용하기도 합니다.
조금 더 깊게 보면
실제 데이터에는 반올림이나 측정 오차가 섞여 있어 완벽하게 선형종속인 경우는 드물고, 대신 벡터들이 "거의" 선형종속에 가까운 상태(다중공선성이 심한 상태)가 문제가 되는 경우가 더 흔합니다. 이런 상태는 행렬의 랭크(rank)나 특이값분해(SVD)에서 나오는 특이값의 크기 분포를 통해 정량적으로 진단할 수 있으며, 특이값이 0에 가까운 방향이 많을수록 벡터들 사이의 독립성이 약하다고 봅니다. 통계에서는 분산팽창지수(VIF) 같은 지표를 계산해 특정 변수가 다른 변수들의 조합으로 얼마나 잘 설명되는지를 수치화하기도 합니다.
주의할 점
선형독립은 벡터들이 "서로 다르다"는 뜻이 아니라, 어느 하나도 나머지의 선형결합으로 표현될 수 없다는 더 엄격한 조건입니다. 이 개념은 벡터공간의 기저와 차원을 정의하는 데 기초가 되며, 기저는 반드시 선형독립인 벡터들로만 이루어져야 합니다.