레이어 정규화 (Layer Normalization)

한 줄 정의: 미니배치가 아닌 하나의 데이터 샘플 내에서, 층의 출력값들을 평균 0, 분산 1에 가깝게 정규화하는 기법.

쉽게 풀면

배치 정규화는 미니배치 안의 여러 샘플에 걸쳐 통계를 계산하기 때문에 배치 크기가 작거나 시퀀스 길이가 매번 다른 경우에는 잘 작동하지 않을 수 있어요. 레이어 정규화는 배치 전체가 아니라 하나의 데이터 샘플이 가진 특성값들만으로 평균과 분산을 계산해 정규화합니다. 이렇게 하면 배치 크기나 다른 샘플의 영향을 받지 않고 각 샘플을 독립적으로 안정화할 수 있어요. 특히 문장 길이가 제각각인 자연어 처리나 트랜스포머 구조에서는 배치 정규화보다 레이어 정규화가 훨씬 널리 쓰입니다.

왜 중요한가

레이어 정규화는 배치 크기나 시퀀스 길이에 구애받지 않고 각 샘플을 독립적으로 안정화할 수 있어, 문장 길이가 제각각인 자연어 처리와 트랜스포머 기반 모델에서 사실상 표준적인 정규화 기법으로 자리잡았습니다. 깊은 신경망을 학습시킬 때 발생하기 쉬운 기울기 소실·폭발 문제를 완화하고 학습을 더 빠르고 안정적으로 수렴시켜주기 때문에, 대규모 언어모델을 포함한 최신 딥러닝 논문 대부분에서 기본 구성 요소로 언급됩니다.

논문에서는 이렇게 쓰입니다

"각 트랜스포머 블록의 서브레이어 이후에는 레이어 정규화를 적용하여 학습을 안정화하였다."

트랜스포머 내부의 각 연산 단계마다 레이어 정규화를 적용해 값의 스케일을 안정적으로 유지했다는 뜻이다.

"제안 모델은 Pre-LN 구조를 채택하여 서브레이어 입력 전에 레이어 정규화를 적용함으로써 학습 초기 단계의 불안정성을 줄였다."

대규모 언어모델 논문에서는 레이어 정규화의 적용 위치(서브레이어 이전인지 이후인지)를 구체적으로 명시해 학습 안정성 개선 효과를 설명하는 경우가 많습니다.

"음성 인식 모델의 순환 신경망 계층에도 레이어 정규화를 도입한 결과, 배치 정규화 대비 짧은 발화와 긴 발화 모두에서 더 안정적인 학습 곡선을 보였다."

시퀀스 길이가 가변적인 음성·순차 데이터를 다루는 연구에서는 배치 정규화 대신 레이어 정규화를 적용해 입력 길이에 관계없이 일관된 정규화 효과를 얻는 사례가 보고됩니다.

조금 더 깊게 보면

레이어 정규화는 한 샘플이 가진 특성값들에 대해 평균과 분산을 계산한 뒤, 학습 가능한 스케일과 이동(shift) 파라미터를 적용해 모델이 필요한 표현력을 유지하도록 합니다. 최근에는 평균을 따로 빼지 않고 분산만으로 정규화하는 RMSNorm과 같은 변형 기법도 제안되어, 계산량을 줄이면서도 비슷한 안정화 효과를 얻으려는 시도가 이어지고 있습니다.

주의할 점

레이어 정규화를 서브레이어 이전에 적용하는지(Pre-LN) 이후에 적용하는지(Post-LN)에 따라 학습 안정성과 최종 성능이 달라질 수 있어 구조를 명확히 밝혀야 한다.