심층강화학습 (Deep Reinforcement Learning (DRL))
쉽게 풀면
강화학습에 딥러닝을 결합해서, 이미지처럼 복잡하고 큰 정보에서도 로봇이 좋은 행동을 학습할 수 있게 만든 방법입니다.
왜 중요한가
보행, 손안 조작, 드론 비행처럼 수식으로 제어기를 설계하기 어려운 문제에서 시뮬레이션 시행착오로 정책을 얻는 방법이 실제 로봇에서 성과를 내면서, 최근 로봇 제어 연구의 가장 큰 흐름이 되었습니다. 4족 로봇의 험지 보행은 학습 기반 제어가 모델 기반을 앞선 대표 사례입니다.
어떤 절차인가
심층강화학습은 강화학습의 가치함수나 정책을 심층 신경망으로 근사하는 방법입니다. 에이전트가 환경과 상호작용하며 보상을 받고, 그 경험으로 신경망의 가중치를 고칩니다. Mnih 외(2015)는 '심층 Q-네트워크'가 고차원 감각 입력에서 직접 성공적인 정책을 end-to-end 강화학습으로 배울 수 있음을 고전 Atari 2600 게임에서 보였습니다. 이 논문의 문제의식은, 그전의 강화학습이 쓸 만한 특징을 사람이 손으로 만들 수 있는 영역이나 상태가 완전히 관측되는 저차원 영역에 적용이 한정되어 있었다는 점입니다.
방법은 크게 둘로 나뉩니다. 가치함수를 근사하는 계열(DQN 등)과 정책을 직접 탐색하는 계열입니다. 로봇 분야 강화학습 종설인 Kober 외(2013)는 모델 기반과 모델 자유, 가치함수 기반과 정책 탐색 사이의 선택을 중심 주제로 삼습니다. PPO는 정책 경사 계열로, 환경에서 데이터를 모으는 단계와 '대리(surrogate)' 목적함수를 확률적 경사 상승으로 최적화하는 단계를 번갈아 하며, 데이터 하나당 한 번만 갱신하는 표준 정책 경사와 달리 미니배치 갱신을 여러 에폭 반복합니다(Schulman 외, 2017).
언제 쓰고 무엇을 얻나
로봇 제어에서의 대표 성과로 Hwangbo 외(2019)는 시뮬레이션에서 신경망 정책을 훈련해 사족보행 로봇 ANYmal에 옮겼고, 고수준 속도 명령을 정밀하고 에너지 효율적으로 따라가기, 이전보다 빠르게 달리기, 복잡한 자세에서 넘어짐 회복하기 같은 기존 방법을 넘는 보행 능력을 보고했습니다. Lee 외(2020)는 고유수용감각 신호를 입력으로 하는 신경망 정책을 시뮬레이션에서 강화학습으로 훈련해, 훈련에서 보지 못한 진흙·눈, 잔해, 두꺼운 식생, 급류에서도 시각 없이 걷는 제어기를 보였습니다. 시뮬레이션과 실제 사이의 간극을 줄이는 방법의 하나가 렌더링을 무작위로 바꾸는 도메인 무작위화이며, Tobin 외(2017)는 비현실적인 무작위 질감의 시뮬레이션 이미지만으로 훈련한 물체 검출기가 실제 환경에서 1.5 cm 이내 정확도를 보였다고 보고했습니다.
작은 계산(가상의 예, 코드로 계산). DQN 계열의 갱신은 목표값 y = r + γ·max Q'(s', a')를 만들고 현재 예측과의 차이를 줄이는 방식입니다. 보상 r = 1, 할인율 γ = 0.99, 다음 상태의 행동가치 Q'가 (2.0, 3.5)라면 y = 1 + 0.99 × 3.5 = 4.465입니다. 현재 예측 Q(s, a) = 4.0이면 시간차 오차는 0.465, 제곱오차는 약 0.2162입니다. 신경망은 이 값을 줄이는 방향으로 가중치를 조정합니다. 실제 알고리즘에는 안정화 기법이 더해지므로 이 계산은 구조만 보여 줍니다.
논문에는 이렇게 적는다
- 상태·행동·보상의 정의, 환경(시뮬레이터 이름과 버전), 관측 구성, 신경망 구조, 알고리즘(DQN, PPO 등)과 하이퍼파라미터를 적습니다.
- 시뮬레이션에서 훈련한 경우 무작위화한 변수와 그 범위, 실환경에서 추가 학습을 했는지 여부를 밝힙니다.
- 학습은 난수 시드에 따라 결과가 달라질 수 있으므로 시드 수와 학습 곡선의 변동을 함께 보고합니다.
- 보상 설계, 안전 제약, 실패 사례를 적어 결과를 다른 환경에 일반화할 수 있는 범위를 알려 줍니다.
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
카메라 영상 같은 복잡한 입력을 그대로 신경망에 넣어, 별도의 손수 설계한 특징 없이도 좋은 행동을 스스로 학습할 수 있게 한다는 의미입니다.
즉 이 문장은 심층강화학습 (Deep Reinforcement Learning (DRL))이/가 무엇을 가리키는지 학술적 맥락에서 다시 한 번 명확히 규정해 주는 표현으로, 앞선 정의를 논문에서 실제로 어떤 어투로 서술하는지 보여줍니다.
조금 더 깊게 보면
실제 로봇에서 직접 학습하기에는 샘플이 너무 많이 필요하고 시행착오가 위험하므로, 대부분 시뮬레이션에서 학습한 뒤 도메인 무작위화로 실환경 전이를 노립니다. 보상 함수 설계에 성능이 크게 의존하고 학습된 정책의 안전성을 형식적으로 보장하기 어렵다는 점이 산업 적용의 걸림돌입니다. 가치 함수를 직접 근사하는 계열(DQN 등)과 정책 자체를 직접 근사하는 계열(정책 경사, PPO 등)로 크게 나뉘며, 로봇 제어처럼 행동 공간이 연속적인 문제에서는 대체로 후자 계열이 더 널리 쓰입니다.
주의할 점
학습에 매우 많은 경험 데이터가 필요하고 학습 안정성이 낮아 하이퍼파라미터에 민감하다는 실용적 어려움이 있습니다.
신경망의 표현력 덕분에 복잡한 정책을 학습할 수 있지만, 학습된 정책이 왜 그렇게 판단했는지 설명하기 어려워 안전이 중요한 로봇 응용에서는 검증 절차가 별도로 필요합니다.
헷갈리기 쉬운 용어
| 용어 | 무엇을 근사·제한하나 | 한 줄 설명 |
|---|---|---|
| 심층강화학습 | 가치함수 또는 정책을 심층 신경망으로 근사 | 고차원 입력에서도 강화학습을 적용할 수 있게 한 방법 전반 |
| 강화학습 | 보상을 최대화하는 행동 | 에이전트가 시행착오로 스스로 학습하는 방법 전반 |
| 심층 Q-네트워크 | Q값 함수 | 심층 신경망으로 Q값을 근사해 고차원 상태에서 Q-러닝을 적용 |
| 근위정책최적화 | 정책의 갱신 폭 | 클리핑된 목적함수로 갱신 폭을 제한하는 정책 경사 알고리즘 |
참고 문헌
- Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., & Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533.
- Hwangbo, J., Lee, J., Dosovitskiy, A., Bellicoso, D., Tsounis, V., Koltun, V., & Hutter, M. (2019). Learning agile and dynamic motor skills for legged robots. Science Robotics, 4(26), eaau5872.
- Lee, J., Hwangbo, J., Wellhausen, L., Koltun, V., & Hutter, M. (2020). Learning quadrupedal locomotion over challenging terrain. Science Robotics, 5(47), eabc5986.
- Tobin, J., Fong, R., Ray, A., Schneider, J., Zaremba, W., & Abbeel, P. (2017). Domain randomization for transferring deep neural networks from simulation to the real world. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 23–30.
- Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347.
- Kober, J., Bagnell, J. A., & Peters, J. (2013). Reinforcement learning in robotics: A survey. The International Journal of Robotics Research, 32(11), 1238–1274.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.