미분가능성 (Differentiability)

한 줄 정의: 함수가 어떤 점에서 순간변화율(도함수)을 가지며, 그 점 근처에서 접선으로 아주 잘 근사될 수 있는 성질이다.

쉽게 풀면

함수가 어떤 지점에서 뾰족하거나 끊기지 않고 매끄러운 접선을 하나 가질 수 있으면 그 지점에서 미분가능하다고 한다. 산의 능선을 걷다가 갑자기 절벽이 나오면 그 지점에서는 기울기를 정의할 수 없는 것처럼, 함수가 꺾이는 지점에서는 미분이 불가능할 수 있다. 미분가능성은 함수의 변화 속도를 정밀하게 계산할 수 있는지를 결정한다.

왜 중요한가

미분가능성은 함수의 국소적 변화를 정밀하게 다룰 수 있게 해 주는 기초 개념으로, 최적화·물리학·경제학 등 변화율을 다루는 거의 모든 분야의 이론적 토대가 됩니다. 특히 머신러닝에서는 경사하강법을 비롯한 대부분의 학습 알고리즘이 손실함수의 미분가능성을 전제로 설계되기 때문에, 새로운 모델 구조나 활성화 함수를 제안할 때는 미분가능성 여부를 명확히 검토해야 합니다. 이 때문에 이론 논문뿐 아니라 응용 논문에서도 자주 등장하는 개념입니다.

논문에서는 이렇게 쓰입니다

"활성화 함수가 구간별로 미분가능함을 확인하여 역전파 알고리즘의 적용 가능성을 검토하였다."

그래디언트 기반 최적화 방법은 손실함수가 (거의 모든 지점에서) 미분가능함을 전제로 한다.

"제안된 최적수송 기반 손실함수는 대부분의 구간에서 미분가능하지만, 일부 경계점에서는 서브그래디언트(subgradient)를 이용해 학습을 진행하였다."

완전히 매끄럽지 않은 함수라도 대부분의 지점에서 미분가능하다면 실제 학습에 활용할 수 있다는 점을 설명하는 예문입니다.

"수요함수가 가격에 대해 미분가능하다는 가정 하에, 한계효용이 연속적으로 변화함을 보였다."

경제학에서는 소비자 행동을 나타내는 함수가 미분가능하다는 가정을 통해 한계효용이나 한계비용 같은 개념을 수학적으로 다룰 수 있게 됩니다.

조금 더 깊게 보면

일변수 함수를 넘어서면 미분가능성의 개념도 확장되는데, 다변수 함수에서는 모든 방향의 편미분이 존재한다고 해서 반드시 미분가능한 것은 아니며, 이를 구분하기 위해 전미분(total differentiability) 개념이 사용됩니다. 또한 딥러닝에서는 ReLU처럼 특정 점에서 미분이 정의되지 않는 함수도 실무적으로는 서브그래디언트나 예외 처리를 통해 문제없이 학습에 활용되는 경우가 많습니다. 함수가 매끄러운 정도를 더 세밀하게 표현할 때는 몇 번까지 연속적으로 미분 가능한지를 나타내는 C^k 급(class) 개념도 함께 쓰입니다.

주의할 점

연속함수라고 해서 반드시 미분가능한 것은 아니며, 뾰족한 점(예: 절댓값 함수의 0점)에서는 연속이지만 미분불가능할 수 있다.