t-SNE (t-SNE)
쉽게 풀면
PCA는 선형적인 방식으로 차원을 줄이기 때문에 데이터가 복잡하게 휘어진 구조를 가지면 그 구조를 잘 표현하지 못할 수 있어요. t-SNE는 고차원 공간에서 서로 가까운 데이터 점들이 저차원(보통 2차원)에서도 가깝게 위치하도록, 점들 사이의 유사도 확률 분포를 최대한 비슷하게 맞추는 방식으로 배치합니다. 그 결과 원래 데이터에 숨어 있던 군집 구조를 2차원 그림으로 시각적으로 뚜렷하게 확인할 수 있게 돼요. 다만 계산 비용이 크고, 시각화 결과의 절대적인 거리나 축의 의미를 그대로 해석해서는 안 된다는 점에 유의해야 합니다.
왜 중요한가
딥러닝 모델은 수백~수천 차원의 임베딩 공간에서 데이터를 표현하기 때문에, 사람이 그 구조를 직관적으로 이해하려면 저차원으로 압축해서 눈으로 보는 과정이 필요합니다. t-SNE는 이런 시각적 탐색을 가능하게 해 주는 대표적인 도구여서, 표현학습, 자연어처리 임베딩 분석, 단일세포 유전체 분석 등 군집 구조 확인이 중요한 여러 연구주제에서 결과를 설명하는 보조 수단으로 널리 쓰입니다. 정량적 지표만으로는 드러나지 않는 데이터의 전반적인 패턴을 논문 독자에게 직관적으로 전달할 수 있다는 점에서 자주 채택됩니다.
논문에서는 이렇게 쓰입니다
고차원 임베딩 벡터들을 t-SNE로 2차원에 배치해 데이터가 어떻게 군집을 이루는지 눈으로 확인할 수 있게 했다는 뜻이다.
생물정보학 분야에서는 세포별 유전자 발현 프로파일을 t-SNE로 시각화하여, 어떤 세포들이 서로 비슷한 유형으로 묶이는지를 그림 하나로 보여준다는 뜻이다.
자연어처리 논문에서는 단어나 문장 임베딩이 의미적으로 얼마나 잘 구조화되었는지를 t-SNE 그림을 통해 정성적으로 검증한다는 뜻이다.
조금 더 깊게 보면
t-SNE는 고차원에서의 점들 간 유사도를 조건부 확률로 표현하고, 저차원에서도 그에 대응하는 확률 분포를 만든 뒤 두 분포의 차이(KL divergence)를 최소화하는 방식으로 좌표를 학습합니다. 이 과정에서 perplexity라는 하이퍼파라미터가 각 점이 몇 개 정도의 이웃을 고려할지를 조절하는데, 값에 따라 시각화 결과의 군집 모양이 크게 달라질 수 있어 여러 값으로 시도해 보는 것이 일반적입니다. 최근에는 계산 속도와 전역 구조 보존 면에서 장점이 있는 UMAP이 대안으로 함께 언급되는 경우도 많습니다.
주의할 점
t-SNE 결과에서 군집 사이의 거리나 군집 크기는 실제 고차원 공간의 거리를 그대로 반영하지 않으므로 정량적 해석보다는 정성적 탐색용으로 사용해야 한다.