다중센서융합 (Multi-sensor Fusion)
쉽게 풀면
카메라뿐 아니라 레이저, 레이더, 관성 센서까지 여러 가지를 한꺼번에 조합해서 로봇이 주변을 더 확실하게 파악하도록 하는 방법입니다. 카메라, 라이다, 레이더처럼 서로 다른 센서가 본 것들을 하나로 합쳐 더 정확하고 믿을 만한 정보를 만드는 기술입니다.
왜 중요한가
라이다·카메라·관성 센서·위성항법처럼 오차 특성이 다른 센서를 결합해 어느 하나가 실패해도 위치와 환경 인식을 유지하는 기술로, 자율주행과 드론 항법의 신뢰성을 결정합니다. EKF와 인수 그래프 최적화가 표준 융합 틀입니다.
논문에서는 이렇게 쓰입니다
카메라는 시각 정보에, 레이더는 속도 정보에 강한 것처럼 서로 다른 강점을 가진 센서들을 하나의 수학적 틀 안에서 함께 처리한다는 뜻입니다.
센서마다 잘 보는 조건이 다르기 때문에 여러 센서를 함께 쓰면 한 가지 센서가 약해지는 상황을 다른 센서가 보완해 준다는 뜻이다.
조금 더 깊게 보면
센서 사이의 시간 동기와 외부 캘리브레이션이 부정확하면 융합 결과가 개별 센서보다 나빠지므로, 알고리즘보다 시각 동기 하드웨어와 캘리브레이션이 실무의 병목입니다. 센서 잡음을 독립 가우시안으로 가정하는 것이 일반적이지만 실제 오차는 상관되고 이상치가 많아, 각 센서의 신뢰도를 상황에 따라 조정하는 것이 강건성의 핵심입니다. 센서 융합은 원시 데이터를 합치는 저수준 융합, 각 센서가 독립적으로 낸 인식 결과를 합치는 고수준 융합, 그리고 특징 단계에서 합치는 중간 수준 융합으로 나뉘며, 자율주행에서는 카메라의 영상 특징과 라이다의 점군 특징을 신경망 내부에서 합치는 중간 수준 융합이 최근 주목받고 있습니다.
주의할 점
센서 수가 늘어날수록 시스템 복잡도와 계산 비용이 커지므로 응용 목적에 맞는 센서 조합 선정이 중요합니다. 서로 다른 센서의 측정 시각이 정확히 맞지 않으면(시간 동기화 오차) 빠르게 움직이는 물체에 대해 융합 결과가 실제와 어긋날 수 있습니다.