심층큐네트워크 (Deep Q-Network (DQN))
쉽게 풀면
Q-러닝의 점수표를 표 대신 딥러닝 신경망으로 대체해서, 이미지처럼 크고 복잡한 상태에서도 학습할 수 있게 만든 방법입니다. 게임 화면 같은 복잡한 입력을 보고도, 각 행동을 했을 때 앞으로 얻을 보상이 얼마일지 신경망으로 예측해 가장 좋은 행동을 고르는 방법입니다.
왜 중요한가
심층신경망으로 행동가치함수를 근사해 고차원 관측에서 직접 이산 행동을 학습하는 방법으로, 심층강화학습 시대를 연 알고리즘입니다. 로봇공학에서는 이동로봇의 이산 방향 선택이나 그리퍼 열기·닫기 같은 이산 행동 문제에 적용되었고, 이후 연속 제어 알고리즘의 비교 기준으로 남아 있습니다.
논문에서는 이렇게 쓰입니다
과거 경험을 저장해두었다가 무작위로 다시 꺼내 학습하고, 목표값 계산용 신경망을 따로 두어 학습이 흔들리지 않게 안정화하는 두 가지 기법을 사용한다는 뜻입니다.
이 문장은 알고리즘 자체 설명이 아니라 실제 로봇의 단순화된 이산 행동 환경에 적용해 기존 방법과 성능을 비교한 예입니다.
조금 더 깊게 보면
행동이 이산이어야 하므로 관절토크나 속도처럼 연속 명령이 필요한 로봇 제어에는 직접 쓸 수 없고, 이 한계가 정책 경사 계열과 PPO 같은 방법으로 넘어간 이유입니다. 경험 재생과 타깃 네트워크라는 두 안정화 기법이 핵심이며, 샘플 효율이 낮아 실제 로봇에서 처음부터 학습하기보다 시뮬레이션에서 학습한 뒤 전이하는 것이 일반적입니다. DQN은 신경망으로 근사한 가치 함수의 학습이 불안정해지는 문제를 경험 재현(replay buffer)과 목표 네트워크(target network)라는 두 가지 장치로 완화하는데, 전자는 데이터 간 상관관계를 줄이고 후자는 학습 목표 자체가 매 스텝 흔들리는 것을 막습니다.
주의할 점
이산적인 행동 공간에는 적합하지만 연속적인 로봇 제어 문제에는 직접 적용하기 어려워 별도의 변형 알고리즘이 필요합니다.
기본 DQN은 이산적인 행동 공간에만 적용할 수 있어, 로봇 팔의 연속적인 관절 제어처럼 행동이 연속적인 문제에는 그대로 쓰기 어렵습니다.