용어 목록 > 매니폴드 가설 (Manifold Hypothesis)

매니폴드 가설 (Manifold Hypothesis)

컴퓨터과학·AI 수학
한 줄 정의: 매니폴드 가설은 이미지·음성·문장 임베딩처럼 차원이 매우 높은 실제 데이터가 가능한 모든 값의 공간 전체에 퍼져 있지 않고, 훨씬 낮은 차원의 매끄러운 곡면(다양체) 근처에 모여 있다고 보는 가설입니다.

쉽게 풀면

28×28 흑백 손글씨 이미지는 숫자 784개로 이루어져 있으니 784차원 공간의 한 점입니다. 그런데 784개의 숫자를 아무렇게나 채우면 대부분 잡음 같은 그림이 되고, 사람이 알아볼 수 있는 숫자 이미지는 이 거대한 공간의 아주 작은 일부에 불과합니다. 게다가 숫자의 기울기나 굵기를 조금씩 바꾸면 이미지도 연속적으로 변합니다. 그래서 실제 이미지들은 784차원 공간 안에 놓여 있되, 몇 개의 요인만으로 위치가 정해지는 낮은 차원의 곡면 근처에 모여 있을 것이라고 봅니다. 종이를 둥글게 말아 놓으면 3차원 공간 안에 있지만 종이 위의 위치는 여전히 좌표 2개로 정해지는 것과 비슷합니다.

왜 중요한가

차원 축소, 표현 학습, 오토인코더, 생성 모델 같은 방법이 왜 쓸모가 있는지를 설명하는 기본 직관이 바로 이 가설입니다. 데이터가 정말 낮은 차원의 구조 위에 있다면, 겉으로 보이는 차원이 아무리 커도 실제로 배워야 할 것은 그 낮은 차원의 구조뿐이므로 차원의 저주가 일반적으로 우려하는 것만큼 심각하지 않을 수 있습니다. 또 UMAP이나 t-SNE처럼 이웃 관계를 보존하며 저차원으로 옮기는 기법, 잠재공간을 학습하는 모델의 논문에서 동기와 가정으로 자주 인용됩니다.

핵심 주장

매니폴드 가설은 사실상 두 가지 주장이 묶여 있습니다. 구분해 두면 논문을 읽기 쉽습니다.

Bengio, Courville, Vincent(2013)는 표현 학습에 도움이 되는 일반적인 사전 가정들(매끄러움, 다양체 구조, 자연스러운 군집 등) 가운데 하나로 이 가설을 논의합니다. 이 가설은 증명된 정리가 아니라 모형화 가정이며, 성립하는지는 데이터마다 경험적으로 확인해야 합니다.

근거와 대표 연구

비판과 한계

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"고차원 임베딩이 저차원 매니폴드 근처에 놓인다는 매니폴드 가설에 따라, 잠재공간의 차원을 32로 설정하였다."

원래 데이터의 차원이 수천이어도 실제 변동은 훨씬 적은 요인으로 설명된다고 가정하고, 모델이 학습할 잠재공간의 크기를 작게 잡았다는 뜻입니다.

"본 연구는 매니폴드 가설을 전제로, 국소적 이웃 구조를 보존하는 UMAP으로 임베딩을 2차원에 투영하였다."

가까운 점들의 이웃 관계가 데이터의 핵심 구조라고 보고, 그 관계를 최대한 유지하는 UMAP을 시각화 도구로 골랐다는 설명입니다.

"다만 매니폴드 가설은 경험적 가정이므로, 데이터의 고유 차원 추정치를 여러 방법으로 함께 보고하였다."

가설이 성립하는지와 고유 차원이 얼마인지는 방법에 따라 달라질 수 있어서, 한 가지 추정에만 기대지 않고 결과를 비교해 제시했다는 뜻입니다.

조금 더 깊게 보면

수학적으로는 데이터가 놓인 원래 공간(주변 공간, 예를 들어 D차원 유클리드 공간)의 점들이 d차원 다양체 M(d는 D보다 훨씬 작다) 위에 있거나, 측정 잡음 때문에 M에서 약간 벗어난 곳에 있다고 가정하는 것입니다. 이때 d를 데이터의 고유 차원(intrinsic dimension)이라고 부릅니다. 다양체는 한 점 주변만 보면 유클리드 공간처럼 보이는 공간이라, 가까운 점들 사이의 관계는 낮은 차원 좌표로 비교적 단순하게 나타낼 수 있습니다. 이 가설은 증명된 정리가 아니라 모형화를 위한 가정이며, 실제로 성립하는지는 경험적으로 확인해야 합니다. Bengio, Courville, Vincent(2013)의 표현 학습 총설은 이 가설을 표현 학습의 핵심 동기 가운데 하나로 논의하고, Fefferman, Mitter, Narayanan(2016)의 「Testing the manifold hypothesis」는 주어진 표본이 일정한 기하학적 제약을 만족하는 다양체에 오차 범위 안에서 가까운지를 수학적으로 정식화하여 다룹니다. 다만 이는 가설을 가능한 범위에서 검정할 수 있다는 뜻이지, 모든 데이터에서 성립한다는 뜻은 아닙니다.

주의할 점

매니폴드 가설은 모든 데이터에 보장되는 사실이 아니라 가설입니다. 데이터가 하나의 매끄러운 다양체가 아니라 고유 차원이 서로 다른 여러 다양체의 합집합일 수도 있고(예를 들어 클래스마다 구조가 다른 경우), 잡음이 크거나 텍스트 토큰처럼 값이 띄엄띄엄한 데이터에서는 매끄러운 곡면이라는 그림이 잘 맞지 않을 수 있습니다. 고유 차원 추정값도 추정 방법에 따라 달라집니다. 또 가설이 맞더라도 UMAP이나 t-SNE가 그린 2차원 그림이 원래 다양체를 충실히 복원했다는 보장은 없습니다. 수학에서 말하는 다양체는 엄밀한 정의를 가진 대상이고, 이 가설에서는 그 개념을 데이터 분석의 가정으로 빌려 쓰는 것이라는 점도 구분해야 합니다.

헷갈리기 쉬운 용어

‘다양체’가 들어간 용어와 방법을 구분합니다.

용어한 줄 설명성격
다양체전체로는 휘어 있어도 아주 가까이서 보면 평평한 공간처럼 보이는 공간수학의 엄밀한 개념
매니폴드 가설고차원 실제 데이터가 낮은 차원의 매끄러운 곡면 근처에 모여 있다는 가정데이터 분석의 가설
주성분분석여러 변수를 적은 수의 새로운 축으로 압축선형 부분공간을 가정하는 방법
UMAP국소 이웃 구조를 근사해 고차원 데이터를 저차원으로 투영이 가설을 동기로 쓰는 알고리즘

참고 문헌

  1. Tenenbaum, J. B., de Silva, V., & Langford, J. C. (2000). A global geometric framework for nonlinear dimensionality reduction. Science, 290.
  2. Roweis, S. T., & Saul, L. K. (2000). Nonlinear dimensionality reduction by locally linear embedding. Science, 290.
  3. Bengio, Y., Courville, A., & Vincent, P. (2013). Representation learning: A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence, 35(8).
  4. Fefferman, C., Mitter, S., & Narayanan, H. (2016). Testing the manifold hypothesis. Journal of the American Mathematical Society, 29(4).
  5. Pope, P., Zhu, C., Abdelkader, A., Goldblum, M., & Goldstein, T. (2021). The intrinsic dimension of images and its impact on learning. International Conference on Learning Representations (ICLR).

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.

관련 용어

다양체 UMAP 임베딩 t-SNE 주성분분석 오토인코더 변분 오토인코더(VAE) 잠재공간 차원의 저주 벡터 공간