그래디언트 (Gradient)
쉽게 풀면
산의 높이를 나타내는 함수가 있다고 해봅시다. 산 위 어느 한 지점에 서서 "어느 쪽으로 걸어가야 가장 가파르게 올라갈까?"를 화살표로 표시한다면, 그 화살표가 바로 그래디언트입니다. 화살표의 방향은 가장 빨리 높아지는 쪽을, 화살표의 길이는 그 방향으로 얼마나 가파른지를 나타냅니다. 여러 변수(예: 위도, 경도)에 대해 각각 미분한 값들을 하나의 벡터로 묶은 것이라고 이해하면 됩니다.
왜 중요한가
그래디언트는 함수의 변화 방향과 크기를 동시에 알려주기 때문에, 머신러닝의 파라미터 최적화부터 물리학의 장(field) 해석, 공학의 유체·열 흐름 분석까지 폭넓은 분야에서 핵심 도구로 사용됩니다. 어떤 값을 최소화하거나 최대화해야 하는 문제라면 거의 항상 그래디언트를 계산하는 단계가 등장하기 때문에, 다양한 논문의 방법론 절에서 자주 다뤄집니다.
논문에서는 이렇게 쓰입니다
이 문장은 "모델의 오차가 가장 빨리 줄어드는 방향을 계산해서, 그 방향으로 파라미터 값을 조금씩 이동시켰다"는 뜻입니다.
지구과학 분야에서는 온도처럼 공간에 분포된 값의 그래디언트를 구해 변화가 급격한 지점을 찾아낸다는 의미입니다.
조금 더 깊게 보면
그래디언트는 함수의 등위면(같은 값을 갖는 지점들의 집합)에 항상 수직인 방향을 가리키는 벡터장이라는 기하학적 성질을 가집니다. 이 때문에 최적화 문제에서는 그래디언트의 반대 방향으로 이동하며 값을 줄여나가고, 물리적 확산이나 흐름 현상에서는 그래디언트의 발산과 같은 연산을 함께 분석해 흐름의 근원이나 소멸을 파악합니다. 다변수함수를 두 번 미분한 결과인 헤시안 행렬과 함께 쓰이면 함수의 곡률 정보까지 파악할 수 있습니다.
주의할 점
그래디언트는 크기와 방향을 모두 가진 벡터이며, 한 변수에 대한 미분값(스칼라)과는 구분해야 합니다. 다변수함수에서 각 변수에 대한 편미분 값들을 모아 놓은 것이 그래디언트입니다.