에피폴라 기하 (Epipolar Geometry)

한 줄 정의: 두 대의 카메라(또는 두 시점)로 같은 장면을 촬영했을 때, 한 영상의 한 점에 대응하는 다른 영상의 점이 반드시 놓이는 직선 관계를 설명하는 기하학적 원리입니다.

쉽게 풀면

왼쪽 눈과 오른쪽 눈으로 같은 물체를 보면 두 눈에 비치는 상의 위치가 조금씩 다릅니다. 에피폴라 기하는 이 두 영상 사이에 존재하는 수학적 규칙을 다룹니다. 한쪽 사진에서 어떤 점을 골랐을 때, 그 점과 같은 대상을 다른 쪽 사진에서 찾으려면 온 사진을 뒤질 필요 없이 정해진 한 줄(선) 위에서만 찾으면 된다는 것이 핵심 아이디어입니다. 이 덕분에 두 사진에서 같은 지점을 짝짓는 작업이 훨씬 빠르고 정확해집니다.

왜 중요한가

스테레오 사진측량이나 입체 영상 매칭에서 대응점을 찾는 탐색 범위를 크게 줄여주기 때문에, 자동화된 영상 매칭과 3차원 복원의 속도와 정확도를 높이는 데 필수적인 원리로 다뤄집니다. 최근에는 다중시점 스테레오(멀티뷰 스테레오)나 딥러닝 기반 매칭에서도 에피폴라 제약을 사전 정보로 활용해 대응점 탐색의 오탐을 줄이는 데 쓰입니다.

논문에서는 이렇게 쓰입니다

"영상 매칭의 효율을 높이기 위해 에피폴라 기하를 이용한 영상 재배열(에피폴라 리샘플링)을 수행하였다."

두 영상을 에피폴라선이 수평이 되도록 정리해 대응점을 더 쉽게 찾을 수 있게 만들었다는 뜻입니다.

"스테레오 영상 쌍의 에피폴라 기하를 계산하여 대응점 탐색 범위를 1차원으로 축소하였다."

두 영상 간의 기하 관계를 이용해 대응점 찾기를 훨씬 단순한 문제로 바꾸었다는 의미입니다.

조금 더 깊게 보면

에피폴라 기하는 두 카메라의 상대적 위치와 자세로부터 유도되는 기본행렬(essential matrix) 또는 기초행렬(fundamental matrix)로 수학적으로 표현됩니다. 이를 이용해 영상을 재배열하면(에피폴라 리샘플링) 대응점이 같은 가로줄 위에 놓이게 되어 스테레오 매칭 알고리즘의 효율이 크게 향상됩니다. 기초행렬은 카메라 내부표정을 모르는 상태에서도 대응점 쌍만으로 추정할 수 있는 반면, 기본행렬은 내부표정이 알려진 정규화 좌표계에서 정의된다는 차이가 있습니다. 8점 알고리즘 등으로 이 행렬을 추정한 뒤 영상을 재배열하는 것이 에피폴라 리샘플링입니다.

주의할 점

에피폴라 기하는 카메라의 내부·외부표정 정보가 정확해야 올바르게 계산되며, 이 정보에 오차가 있으면 대응점 탐색 결과에도 오차가 전파될 수 있습니다. 렌즈 왜곡이 보정되지 않은 원본 영상에 에피폴라 기하를 그대로 적용하면 에피폴라선이 곡선으로 휘어져 대응점 탐색이 오히려 어려워질 수 있습니다.