모션기반구조복원 (Structure from Motion (SfM))

한 줄 정의: 서로 다른 시점에서 촬영된 여러 영상들로부터 카메라의 이동 궤적과 장면의 3차원 구조를 동시에 복원하는 컴퓨터 비전 기법.

쉽게 풀면

여러 각도에서 찍은 사진들을 보고, 그 사진을 찍은 카메라의 이동 경로와 촬영된 물체의 3차원 모양을 함께 재구성하는 기술입니다. 예를 들어 건물 주변을 돌며 찍은 여러 장의 사진만으로 건물의 3차원 형태와 그 사진들을 찍은 위치를 함께 알아낼 수 있습니다.

왜 중요한가

여러 시점의 영상만으로 카메라 궤적과 3차원 구조를 동시에 복원할 수 있어, 드론 매핑이나 문화재 3차원 모델링 같은 응용에서 비주얼 SLAM의 이론적 토대로 활용됩니다. GPS나 별도의 깊이 센서 없이 일반 카메라 영상만으로 3차원 정보를 얻을 수 있어 비용 부담이 적고, 실내나 GPS 음영 지역에서도 활용할 수 있다는 점이 실용적 가치를 크게 높입니다.

논문에서는 이렇게 쓰입니다

SfM은 다중 영상 간 특징 대응으로부터 카메라 자세와 3차원 점을 초기 추정한 뒤, 번들 조정을 통해 재투영 오차를 전역적으로 최소화한다.

여러 사진에서 같은 점들을 찾아 대략적인 3차원 위치와 카메라 위치를 먼저 추정한 다음, 이를 정밀하게 다듬어 최종 3차원 모델을 만든다는 뜻입니다.

드론으로 여러 각도에서 촬영한 사진들로부터 모션기반구조복원(SfM) 기법을 이용해 지형의 3차원 모델을 복원하였다.

다수의 2차원 영상으로부터 3차원 구조를 복원하는 모션기반구조복원 기법의 활용 사례를 보여준다.

조금 더 깊게 보면

SfM은 일반적으로 오프라인에서 전체 영상을 모아 한 번에 처리하는 방식이 많아, 실시간 처리가 필요한 로봇 내비게이션에는 온라인 방식인 비주얼 SLAM이 더 적합합니다. SfM은 순차적(incremental)으로 영상을 하나씩 추가하며 번들 조정을 반복하는 방식과, 모든 영상 쌍의 상대 자세를 한꺼번에 정렬하는 전역(global) 방식으로 나뉘며, 전자는 정확하지만 느리고 후자는 빠르지만 이상치에 민감합니다.

주의할 점

실시간 처리가 어려운 오프라인 배치 기법인 경우가 많아, 실시간이 필요하면 비주얼 SLAM과 같은 변형이 사용됩니다. 절대적인 축척(scale)은 영상만으로는 복원할 수 없어, GPS나 실제 길이를 아는 기준점 같은 외부 정보 없이는 상대적인 3차원 형태만 얻을 수 있습니다. 충분히 많은 각도와 겹침을 가진 사진이 확보되지 않으면 일부 구간의 3차원 복원이 끊기거나 실패할 수 있어, 촬영 계획 단계에서 중첩률 확보가 중요합니다.