확률적 경사하강 학습 (Stochastic Gradient Descent Training)

한 줄 정의: 전체 데이터가 아닌 무작위로 뽑은 일부 샘플(미니배치)을 이용해 손실함수의 기울기를 계산하고 모델 파라미터를 반복적으로 갱신하는 신경망 학습 알고리즘입니다.

쉽게 풀면

산에서 안개 속에 길을 잃었을 때 가장 낮은 곳을 찾아 내려간다고 상상해보면, 발밑의 경사를 느끼며 한 걸음씩 아래쪽으로 이동하는 것이 경사하강법입니다. 그런데 매번 산 전체의 지형을 다 살펴보고 방향을 정하는 대신, 발밑 주변 일부만 보고 빠르게 방향을 정해 걸어가는 방식이 확률적 경사하강법입니다. 전체를 다 보지 않기 때문에 한 걸음씩은 다소 흔들릴 수 있지만, 계산이 훨씬 빠르고 큰 데이터셋에서도 효율적으로 동작합니다.

왜 중요한가

전기전자공학 분야에서도 신호처리, 통신, 회로 설계 등에 인공지능 기법이 결합되면서 대규모 데이터를 다루는 신경망 모델의 학습이 필수가 되었습니다. 확률적 경사하강 학습은 계산량이 방대한 딥러닝 모델을 현실적인 시간 안에 학습시킬 수 있게 해주는 핵심 최적화 방법으로, AI융합 연구 전반에서 기본적으로 사용됩니다.

논문에서는 이렇게 쓰입니다

"본 연구에서는 미니배치 크기 32와 모멘텀 기반 확률적 경사하강법을 적용하여 신호 분류 모델을 학습하였다."

데이터를 작은 묶음으로 나누어 반복 학습하며, 이전 갱신 방향을 참고하는 최적화 기법을 사용했다는 뜻입니다.

"제안된 네트워크는 학습률 스케줄링을 적용한 SGD로 수렴 속도를 개선하였다."

학습이 진행됨에 따라 파라미터 갱신 폭을 점차 조절해 더 안정적으로 최적값에 도달하도록 했다는 의미입니다.

조금 더 깊게 보면

확률적 경사하강법의 변형으로는 관성을 부여하는 모멘텀, 파라미터별로 학습률을 조정하는 Adam, RMSProp 등이 있으며, 이들은 수렴 속도와 안정성을 높이기 위해 고안되었습니다. 미니배치 크기, 학습률, 정규화 기법 등은 모델의 수렴 특성에 큰 영향을 미치는 하이퍼파라미터로 다루어집니다.

주의할 점

미니배치를 사용하기 때문에 손실함수 값이 매 스텝마다 매끄럽게 감소하지 않고 진동할 수 있으며, 학습률을 잘못 설정하면 최적점에 수렴하지 못하거나 발산할 수 있습니다.