기울기(그래디언트) (Gradient)
쉽게 풀면
그래디언트는 산에서 가장 가파르게 올라가는 방향을 화살표로 알려주는 나침반과 같다. 이 화살표를 따라 반대로 내려가면 가장 빠르게 값을 줄일 수 있어서, 최적화 알고리즘이 손실을 줄이는 방향을 찾을 때 이 화살표를 이용한다. 각 변수별 민감도를 한데 모은 벡터라고 볼 수도 있다.
왜 중요한가
그래디언트는 다변수 함수의 변화 방향과 크기를 동시에 담고 있어, 최적화·미분방정식·물리 시뮬레이션 등 수학과 응용과학 전반의 논문에서 기본 도구로 쓰인다. 특히 함수값을 줄이거나 늘리는 방향을 알아야 하는 문제(최적화, 경로 계획, 유체나 전자기장의 흐름 해석 등)에서는 그래디언트를 계산하는 것이 분석의 출발점이 된다. 이 때문에 다양한 분야의 논문에서 "그래디언트를 계산한다"는 표현이 반복적으로 등장한다.
논문에서는 이렇게 쓰입니다
경사하강법을 비롯한 대부분의 학습 알고리즘이 그래디언트를 이용해 파라미터를 조금씩 개선해 나간다.
공학 분야에서는 온도나 압력처럼 공간에 퍼져 있는 물리량의 그래디언트를 구해 변화가 가장 급격한 방향을 파악한다는 뜻이다.
조금 더 깊게 보면
그래디언트는 스칼라장에 대해 정의되는 벡터장으로, 각 지점에서 함수값이 가장 빠르게 증가하는 방향을 가리키며 그 벡터장의 흐름선을 그리면 등고선(등위면)에 항상 수직인 경로가 된다. 논문에서는 이 성질을 이용해 최적화 알고리즘의 수렴 경로를 분석하거나, 물리적 확산·흐름 현상을 모델링할 때 그래디언트장의 발산이나 회전 같은 관련 연산자를 함께 살펴보는 경우가 많다.
주의할 점
그래디언트는 국소적인 정보이므로, 그래디언트가 0인 지점이 항상 전역 최적점이라는 보장은 없다.