핸드아이캘리브레이션 (Hand-Eye Calibration)
쉽게 풀면
로봇 손과 카메라가 서로 어떤 위치 관계에 있는지 정확히 알아내는 작업이에요.
왜 중요한가
카메라 좌표계와 로봇 좌표계 사이의 변환을 구하는 절차로, 카메라가 본 물체 위치를 로봇이 실제로 집으러 갈 수 있게 하는 필수 단계입니다. 비전 기반 조작 논문의 정밀도 수치는 이 캘리브레이션 오차를 포함한 값이므로, 방법과 정확도를 함께 보고하는 것이 관례입니다.
카메라가 로봇 손끝에 고정된 경우(eye-in-hand)와 외부 고정된 경우(eye-to-hand)는 서로 다른 AX=XB 변형 수식을 쓰며, 장착 방식을 바꾸면 캘리브레이션도 처음부터 다시 해야 한다.
어떤 절차인가
핸드아이 캘리브레이션은 로봇 손끝과 카메라 사이의 고정된 변환 X를 구하는 절차입니다. 흐름은 다음과 같습니다.
- 준비. 카메라의 내부 파라미터를 먼저 구합니다(카메라 캘리브레이션). 모양을 아는 표적(체스보드나 마커)을 준비합니다.
- 배치. 카메라가 로봇 손끝에 붙어 있으면(eye-in-hand) 표적을 작업대에 고정하고, 카메라가 밖에 고정되어 있으면(eye-to-hand) 표적을 손끝에 붙입니다.
- 자료 수집. 로봇을 여러 자세로 움직이며 매번 (a) 로봇의 순기구학으로 얻은 손끝 자세와 (b) 카메라가 본 표적 자세를 짝지어 기록합니다.
- 방정식. 자세 i와 j 사이의 로봇 이동 A와 카메라가 본 이동 B가
AX = XB를 만족하므로, 여러 쌍에서 X를 최소자승으로 구합니다. - 풀이. 회전을 먼저 풀고 이를 써서 이동을 푸는 방법(Tsai & Lenz, 1989; Shiu & Ahmad, 1989)과 회전과 이동을 함께 푸는 방법(Daniilidis, 1999)이 있습니다.
- 검증. 수집에 쓰지 않은 자세에서 잔차를 확인합니다.
언제 쓰고 무엇을 얻나
- 언제. 카메라가 본 물체 위치를 로봇 좌표로 옮겨 집거나 조립해야 할 때, 비전 기반 제어(비주얼 서보잉)의 전 단계로 필요합니다.
- 무엇을 얻나. 손끝-카메라(또는 로봇 기저-카메라) 사이의 4×4 동차변환행렬 하나, 곧 회전 3자유도와 이동 3자유도입니다.
- 풀리는 조건. 해가 하나로 정해지려면 회전축이 서로 평행하지 않은 이동이 최소 둘 필요하다고 알려져 있습니다(Tsai & Lenz, 1989; Park & Martin, 1994). 같은 축 둘레의 회전만 반복하면 방정식이 퇴화합니다.
- 정확도를 깎는 요인. 로봇 기구학 오차(로봇 캘리브레이션이 선행되지 않은 경우), 카메라 내부 파라미터 오차, 표적 자세 추정의 잡음(특히 카메라가 표적을 비스듬히 볼 때), 영상과 로봇 자세의 시각 동기 어긋남입니다.
논문에는 이렇게 적는다
- 카메라 배치(eye-in-hand 또는 eye-to-hand)와 사용한 표적, 사용한 방정식 형태를 먼저 밝힙니다.
- 자세 수와 회전 범위를 적습니다. 자세가 서로 비슷하면 결과가 불안정하다는 점을 논문도 인정하는 편입니다.
- 풀이 방법(2단계, 동시 최적화 등)과 소프트웨어를 적습니다.
- 정확도는 회전 오차(도)와 이동 오차(mm)를 따로, 수집에 쓰지 않은 검증 자세에서 보고합니다. 학습에 쓴 자세의 잔차만 제시하면 과대평가가 될 수 있습니다.
- 이후 작업(집기·조립)의 정밀도를 말할 때는 이 오차가 포함된 값임을 밝힙니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
논문에서 핸드아이캘리브레이션은 비주얼서보잉이나 카메라 기반 파지 시스템을 구현하기 전 필수적인 사전 작업으로 설명됩니다.
카메라 장착 방식에 따라 캘리브레이션 방법이 달라짐을 설명한다.
조금 더 깊게 보면
AX=XB 형태의 행렬 방정식을 여러 자세에서 풀며, 회전과 이동을 따로 푸는 방법과 동시에 푸는 방법의 정확도가 다릅니다. 로봇 자체의 기구학 오차가 결과에 그대로 섞이므로 카메라 캘리브레이션과 로봇 캘리브레이션이 선행되지 않으면 아무리 많은 자세를 써도 정밀도가 올라가지 않습니다.
AX=XB 형태의 방정식은 로봇이 여러 자세로 움직이는 동안 관측한 로봇 이동량(A)과 카메라가 본 캘리브레이션 패턴의 상대 이동량(B)을 짝지어 여러 개 세우고, 이를 동시에 만족하는 미지의 변환 X(카메라-엔드이펙터 관계)를 최소자승으로 구하는 방식으로 풀린다.
회전 성분을 먼저 풀고 이를 이용해 이동 성분을 푸는 2단계 방법과, 회전·이동을 동시에 최적화하는 방법이 있으며 후자가 대체로 더 정확하다고 알려져 있다.
주의할 점
핸드아이캘리브레이션 결과의 정확도는 이후 모든 비전 기반 제어의 정밀도에 직접 영향을 미치므로 충분히 다양한 자세에서 데이터를 수집해야 한다. 로봇이 취하는 자세들이 서로 비슷한 회전축 방향으로만 움직이면 방정식이 수치적으로 불안정해지므로, 다양한 방향으로 회전이 섞인 자세를 충분히 수집해야 한다.
헷갈리기 쉬운 용어
로봇 비전에는 ‘캘리브레이션’이 여러 종류 있습니다.
| 용어 | 구하는 것 | 관계 |
|---|---|---|
| 핸드아이 캘리브레이션 | 카메라와 로봇 손끝(또는 기저) 사이의 변환 X | 이 항목 |
| 카메라 캘리브레이션 | 카메라 내부 파라미터(초점 거리, 왜곡)와 외부 자세 | 핸드아이 전에 먼저 수행 |
| 로봇 캘리브레이션 | 로봇의 기구학 파라미터 오차 | 정확도의 바탕이 되는 선행 작업 |
| 비주얼 서보잉 | 영상 피드백으로 로봇을 제어하는 기법 | 핸드아이 결과를 사용하는 쪽 |
참고 문헌
- Tsai, R. Y., & Lenz, R. K. (1989). A new technique for fully autonomous and efficient 3D robotics hand/eye calibration. IEEE Transactions on Robotics and Automation, 5(3).
- Shiu, Y. C., & Ahmad, S. (1989). Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX=XB. IEEE Transactions on Robotics and Automation, 5(1).
- Park, F. C., & Martin, B. J. (1994). Robot sensor calibration: Solving AX=XB on the Euclidean group. IEEE Transactions on Robotics and Automation, 10(5).
- Daniilidis, K. (1999). Hand-eye calibration using dual quaternions. International Journal of Robotics Research, 18(3).
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.