기저와 차원 (Basis and Dimension)
쉽게 풀면
지도 위의 어떤 위치든 "동서 방향으로 얼마, 남북 방향으로 얼마"라는 두 개의 숫자만 있으면 정확히 표현할 수 있습니다. 이때 동서 방향과 남북 방향이라는 두 개의 "기본 축"이 바로 기저이고, 그 축이 2개이므로 이 공간은 2차원입니다. 즉 기저는 공간 전체를 표현하는 데 필요한 최소한의 "기본 방향" 집합이며, 차원은 그 기본 방향이 몇 개 필요한지를 나타내는 숫자입니다.
왜 중요한가
기저와 차원은 벡터공간을 다루는 거의 모든 이론과 응용의 출발점입니다. 어떤 데이터나 신호를 벡터로 표현하면, 그 표현이 얼마나 효율적이고 해석 가능한지는 결국 어떤 기저를 선택했는지, 그리고 실질적으로 몇 차원이 필요한지에 달려 있습니다. 그래서 머신러닝의 차원 축소, 신호처리의 변환 기법, 물리학의 상태공간 기술 등 다양한 분야의 논문에서 기저와 차원 개념이 이론적 토대로 반복해서 등장합니다. 또한 계산 효율과 일반화 성능이 차원 수에 크게 좌우되기 때문에, 적절한 기저와 차원을 찾는 문제 자체가 하나의 연구 주제로 다뤄지기도 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 원래 128개의 축(차원)으로 표현되던 데이터를 32개의 핵심적인 축만으로도 거의 같은 정보를 담아낼 수 있었다는 뜻입니다. 고차원 데이터를 다루는 논문에서는 이렇게 "실제로 데이터를 설명하는 데 필요한 최소한의 기저와 차원이 몇 개인가"를 찾는 작업이 자주 등장하며, 이는 계산량을 줄이고 데이터의 핵심 구조를 파악하는 데 활용됩니다.
신호처리 분야에서는 시간이나 공간에 따라 변하는 신호 자체를 벡터로 보고, 이를 표현하는 데 적합한 기저(예: 코사인 함수들의 집합)를 선택합니다. 좋은 기저를 고르면 적은 수의 계수, 즉 낮은 차원만으로도 신호의 핵심 정보를 담을 수 있어 압축이나 잡음 제거에 활용됩니다.
딥러닝 논문에서는 신경망 내부 표현이 명목상 고차원이더라도, 실제로 의미 있는 변화를 만들어내는 방향(기저)의 수는 훨씬 적을 수 있다는 점을 분석하곤 합니다. 이런 분석은 모델의 표현력이나 일반화 능력을 이해하는 단서로 쓰입니다.
조금 더 깊게 보면
실제 데이터는 이론적인 벡터공간과 달리 잡음을 포함하므로, "정확한 차원"보다는 데이터 분산의 대부분을 설명하는 데 필요한 축의 개수를 뜻하는 "유효 차원" 또는 "본질적 차원(intrinsic dimension)"이라는 개념이 자주 쓰입니다. 이를 추정하는 대표적인 방법이 주성분 분석(PCA)이며, 각 주성분이 설명하는 분산의 비율을 누적해 어느 정도의 기저 벡터로 데이터를 충분히 표현할 수 있는지를 판단합니다. 또한 기저를 어떻게 선택하느냐(직교 기저, 특정 함수족 기반 기저 등)에 따라 같은 차원이라도 데이터의 구조를 얼마나 압축적이고 해석 가능하게 표현하는지가 달라지므로, 논문에서는 차원 수치 자체뿐 아니라 어떤 기저를 사용했는지도 함께 살펴보는 것이 중요합니다.
주의할 점
같은 벡터 공간에 대해 기저는 여러 가지 방식으로 고를 수 있지만(예: 축을 회전시켜도 여전히 기저가 됨), 그 기저를 이루는 벡터의 개수인 차원은 어떤 기저를 선택하든 항상 동일하다는 점이 핵심입니다.