연쇄법칙 (Chain Rule)
쉽게 풀면
월급이 오르면 저축이 늘고, 저축이 늘면 여행 횟수가 늘어난다고 해봅시다. "월급이 1만큼 오르면 여행 횟수는 얼마나 늘어날까?"를 알고 싶다면, "월급이 오를 때 저축이 얼마나 느는지"와 "저축이 늘 때 여행이 얼마나 느는지"를 각각 구한 뒤 두 값을 곱하면 됩니다. 연쇄법칙(Chain Rule)이 바로 이 방식입니다. 여러 함수가 사슬처럼 연결되어 있을 때, 각 고리(단계)의 변화율을 따로 구해서 곱하면 전체 사슬의 변화율을 알 수 있다는 뜻입니다. 함수 f(g(x))처럼 함수 안에 함수가 들어 있는 "합성함수"를 미분할 때 반드시 필요한 도구입니다.
왜 중요한가
실제 시스템이나 모델은 대부분 여러 단계가 사슬처럼 이어져 있어서, 입력이 출력에 이르기까지 여러 함수를 거칩니다. 연쇄법칙은 이렇게 복잡하게 얽힌 관계를 한 번에 다루지 않고 각 단계별 변화율로 쪼개어 계산할 수 있게 해주기 때문에, 딥러닝의 학습 알고리즘뿐 아니라 물리 시스템 모델링, 경제·생물 분야의 다단계 인과 분석 등 여러 세부분야 논문에서 미분을 다루는 핵심 도구로 반복해서 등장합니다. 특히 모델의 구조가 깊어지고 복잡해질수록 연쇄법칙 없이는 전체 변화율을 계산 자체가 사실상 불가능하기 때문에, 관련 연구에서는 이를 당연한 전제로 깔고 논의를 전개하는 경우가 많습니다.
논문에서는 이렇게 쓰입니다
이 문장은 딥러닝 모델을 학습시킬 때 각 층이 다음 층의 함수를 거쳐 최종 출력에 영향을 주므로, 맨 끝의 오차가 각 가중치에 얼마나 영향을 받았는지를 연쇄법칙으로 층별로 거슬러 올라가며 계산했다는 뜻입니다. 이 과정을 역전파라고 부릅니다.
이 문장은 물리학이나 공학 분야의 시뮬레이션 논문에서 흔히 볼 수 있는 표현으로, 어떤 결과값이 중간 매개변수를 거쳐 최종 관측값에 영향을 미칠 때, 그 영향의 크기를 연쇄법칙으로 단계별로 분해해 계산했다는 의미입니다.
이 문장은 강화학습 논문에서 정책(policy)을 학습시킬 때, 파라미터 변화가 여러 단계를 거쳐 최종 보상에 어떤 영향을 주는지를 연쇄법칙으로 추적해 그래디언트를 계산했다는 뜻입니다.
조금 더 깊게 보면
실제 논문에서 연쇄법칙은 변수가 하나가 아니라 여러 개인 경우로 확장되어 쓰이는 경우가 많은데, 이때는 각 경로별로 편미분을 구한 뒤 모두 더하는 "다변수 연쇄법칙"의 형태를 띱니다. 딥러닝 문헌에서는 이 계산 과정을 코드 수준에서 자동으로 처리해 주는 기법을 자동미분(automatic differentiation)이라고 부르며, 역전파 역시 자동미분의 한 구현 방식으로 이해할 수 있습니다. 또한 층이 매우 깊어지면 연쇄법칙으로 곱해지는 변화율 값들이 지나치게 작아지거나 커지는 현상(그래디언트 소실·폭주)이 나타날 수 있어, 이를 완화하기 위한 여러 구조적 기법이 함께 논의되는 경우가 많습니다.
주의할 점
연쇄법칙은 함수가 "겹쳐 있을 때"만 필요합니다. 함수 하나만 있는 단순한 미분 문제에는 적용할 필요가 없으며, 변수가 여러 개인 함수에서는 각 변수에 대한 편미분과 결합해서 사용하는 경우가 많습니다.