라그랑주 승수법 (Lagrange Multiplier)
쉽게 풀면
정해진 예산 10만 원 안에서 만족도를 최대로 높이는 장바구니를 구성한다고 해봅시다. 아무 제약 없이 "만족도만" 최대화한다면 답은 쉽지만, "예산 10만 원 이내"라는 조건이 붙으면 문제가 복잡해집니다. 라그랑주 승수법(Lagrange Multiplier)은 이럴 때 "예산 조건을 어기면 벌점을 준다"는 식으로 조건을 벌점 항으로 바꿔서, 원래 문제를 조건 없는 문제처럼 풀 수 있게 만드는 방법입니다. 이때 등장하는 벌점의 가중치를 라그랑주 승수라고 부릅니다.
왜 중요한가
라그랑주 승수법은 제약이 있는 최적화 문제를 다루는 거의 모든 분야에서 공통적으로 쓰이는 도구이기 때문에, 경제학의 효용·비용 극대화 문제부터 기계학습의 모델 학습, 공학의 설계 최적화까지 폭넓게 등장합니다. 특히 이 방법에서 얻어지는 라그랑주 승수 값 자체가 제약조건이 한 단위 완화될 때 목적함수가 얼마나 개선되는지를 나타내는 경제적·물리적 의미(그림자 가격)를 갖기 때문에, 단순한 계산 도구를 넘어 해석적으로도 중요하게 다뤄집니다.
논문에서는 이렇게 쓰입니다
이 문장은 자원의 총량이 정해져 있다는 제약조건을 라그랑주 승수라는 새 변수로 목적함수에 포함시켜서, 제약 있는 최적화 문제를 조건 없는 최적화 문제로 바꾸어 풀었다는 뜻입니다. 이 방법은 기계학습에서 서포트벡터머신(SVM)의 학습이나 경제학의 효용 극대화 문제 등 다양한 분야의 최적화에 사용됩니다.
기계학습 모델 학습에서 원래의 제약 최적화 문제를 라그랑주 승수를 이용한 대응 문제(쌍대문제)로 바꾸어 계산을 단순화했다는 뜻이다.
공학 설계 분야에서 여러 물리적 제약조건을 동시에 만족시키는 최적 설계를 찾을 때 이 방법이 사용된 사례다.
조금 더 깊게 보면
각 제약조건에 대응하는 라그랑주 승수 값은 해당 제약이 아주 조금 완화되었을 때 목적함수 값이 얼마나 변하는지를 나타내는 민감도 지표로 해석할 수 있어, 경제학에서는 이를 그림자 가격이라고 부르기도 합니다. 등식 제약뿐 아니라 부등식 제약까지 다뤄야 하는 문제에서는 라그랑주 승수법을 확장한 KKT 조건(카루시-쿤-터커 조건)이 사용되며, 이 조건에는 승수가 음이 아니어야 한다는 부호 제약과 상보성 조건이 추가로 들어갑니다. 원래의 최적화 문제(원문제)에 라그랑주 함수를 적용해 얻은 쌍대문제를 푸는 방식은 서포트벡터머신처럼 제약이 많은 대규모 문제를 실용적으로 계산하는 데 널리 쓰입니다.
주의할 점
라그랑주 승수법으로 찾은 지점은 "조건을 만족하면서 기울기가 0인 후보 지점"일 뿐이며, 실제로 그 지점이 최댓값인지 최솟값인지는 헤시안 행렬 등을 이용해 별도로 확인해야 합니다. 등식 제약이 아니라 부등식 제약이 있는 경우에는 이를 확장한 KKT 조건이 사용됩니다.