심층큐네트워크 (Deep Q-Network (DQN))
한 줄 정의: 심층 신경망으로 Q값 함수를 근사하여 고차원 상태 공간에서도 Q-러닝을 적용할 수 있게 한 심층강화학습 알고리즘.
쉽게 풀면
Q-러닝의 점수표를 표 대신 딥러닝 신경망으로 대체해서, 이미지처럼 크고 복잡한 상태에서도 학습할 수 있게 만든 방법입니다.
논문에서는 이렇게 쓰입니다
DQN은 경험 재생(experience replay)과 타깃 네트워크를 도입하여 신경망 기반 Q값 근사의 학습 불안정성과 상관관계 문제를 완화한 심층강화학습 알고리즘이다.
과거 경험을 저장해두었다가 무작위로 다시 꺼내 학습하고, 목표값 계산용 신경망을 따로 두어 학습이 흔들리지 않게 안정화하는 두 가지 기법을 사용한다는 뜻입니다.
주의할 점
이산적인 행동 공간에는 적합하지만 연속적인 로봇 제어 문제에는 직접 적용하기 어려워 별도의 변형 알고리즘이 필요합니다.