도메인무작위화 (Domain Randomization)

한 줄 정의: 시뮬레이션 학습 시 물리 파라미터, 시각적 텍스처 등 환경 속성을 광범위하게 무작위로 변화시켜 학습된 정책이 다양한 조건에 강건해지도록 하는 기법.

쉽게 풀면

시뮬레이션 속 색깔, 마찰력, 조명 같은 여러 조건을 계속 마구 바꿔가며 훈련시켜, 실제 세상의 어떤 변화에도 로봇이 잘 대응하게 만드는 방법입니다. 시뮬레이션 속 물체의 색, 마찰, 조명 같은 조건을 매번 무작위로 바꿔가며 학습시켜, 실제 환경의 예측 못한 변화에도 흔들리지 않게 만드는 방법입니다.

왜 중요한가

시뮬레이션에서 마찰·질량·조명·텍스처 등을 무작위로 바꾸며 학습하면 정책이 특정 시뮬레이션 설정에 과적합되지 않아, 실제 로봇에서도 작동하는 시뮬레이션-실환경 전이의 핵심 기법이 되었습니다. 손안 조작과 4족 보행의 실환경 성공이 이 기법에 크게 의존했습니다.

논문에서는 이렇게 쓰입니다

도메인 무작위화는 시뮬레이션 파라미터 φ를 사전 분포에서 샘플링해 다양한 환경 인스턴스에서 정책을 학습시킴으로써, 실환경이 학습 분포 내의 한 사례로 포함되도록 유도한다.

일부러 시뮬레이션을 실제와 조금씩 다르게 만든 수많은 버전에서 훈련시키면, 그중 어느 하나쯤은 실제 환경과 비슷해져 정책이 자연스럽게 적응한다는 원리입니다.

"물체의 질량과 마찰계수를 넓은 범위에서 무작위로 바꿔가며 학습한 파지 정책이 실제 로봇에서도 별도 미세조정 없이 작동하였다."

시뮬레이션에서 물리 값을 다양하게 흔들어 학습한 정책이 실제 로봇에 그대로 옮겨간 사례다.

조금 더 깊게 보면

실제 환경이 무작위화 범위 안에 들어와야 효과가 있으며, 범위를 너무 넓히면 정책이 모든 상황에 어중간하게 맞춰져 성능이 떨어지는 보수화 문제가 생깁니다. 무엇을 얼마나 흔들어야 하는지 정하는 것이 사실상 경험적이어서, 실제 데이터로 무작위화 범위를 자동 조정하는 방식이 후속 연구로 나왔습니다. 무작위화 대상은 물체의 색과 질감 같은 시각적 요소뿐 아니라 마찰 계수, 질량, 센서 잡음 같은 물리적 파라미터까지 포함되며, 무작위화 범위를 지나치게 넓히면 학습이 어려워지고 지나치게 좁히면 실환경과의 차이를 충분히 덮지 못하는 절충 관계가 있습니다.

주의할 점

무작위화 범위를 지나치게 넓게 잡으면 학습이 어려워지고, 너무 좁게 잡으면 실제 환경을 포괄하지 못하는 균형 문제가 있습니다. 무작위화 범위를 정할 근거가 명확하지 않은 경우가 많아, 실제로는 시행착오를 거쳐 경험적으로 범위를 조정하는 경우가 흔합니다.