코시-슈바르츠 부등식
쉽게 풀면
두 방향이 다른 화살표(벡터)를 서로 곱한다고 생각해봅시다. 두 화살표가 완전히 같은 방향을 가리킬 때 그 "곱"(내적)이 가장 커지고, 방향이 어긋날수록 값이 작아집니다. 코시-슈바르츠 부등식은 "아무리 방향을 잘 맞춰도, 두 벡터 내적의 크기는 각 벡터 길이를 곱한 값보다 클 수 없다"는 것을 수학적으로 보장해 줍니다. 예를 들어 길이가 3인 화살표와 길이가 4인 화살표를 아무리 잘 겹쳐도, 둘의 내적은 12(=3×4)를 넘지 못합니다. 이 부등식은 등호가 성립하는 경우, 즉 두 벡터가 서로 평행할 때 최댓값에 도달합니다.
왜 중요한가
코시-슈바르츠 부등식은 내적 공간이라는 매우 넓은 틀에서 성립하는 기본 부등식이기 때문에, 통계학·최적화·신호처리·머신러닝 등 벡터와 내적을 다루는 거의 모든 분야의 논문에서 다른 정리를 증명하기 위한 중간 도구로 반복해서 등장합니다. 예컨대 추정량의 분산에 대한 하한(크라메르-라오 하한류의 논증), 거리·유사도 지표의 성질 증명, 신경망 최적화에서의 수렴성 분석 등은 대체로 이 부등식을 한 단계로 거쳐 갑니다. 그래서 논문을 읽다 "코시-슈바르츠에 의해"라는 표현을 만나면, 저자가 어떤 상한을 확보하기 위한 표준적인 다리를 건너고 있다고 이해하면 됩니다.
논문에서는 이렇게 쓰입니다
이 문장은 통계학·최적화 논문에서 어떤 값의 상한 또는 하한을 증명할 때 코시-슈바르츠 부등식을 도구로 사용했다는 뜻입니다. 이 부등식은 상관계수가 항상 -1과 1 사이의 값을 갖는다는 사실을 증명하는 데도 핵심적으로 쓰입니다.
신호처리·음성인식 분야의 논문에서 흔히 볼 수 있는 표현으로, 두 신호(또는 특징 벡터)의 내적이 가질 수 있는 최대값을 부등식으로 묶어둔 뒤, 그 상한으로 값을 나눠 -1과 1 사이로 정규화된 유사도 지표를 만드는 절차를 설명하고 있습니다.
머신러닝 최적화 이론 논문에서는 그래디언트 벡터들의 내적을 다루는 과정에서 이 부등식을 사용해, 학습 과정이 목표에 얼마나 빠르게 가까워지는지를 이론적으로 뒷받침하는 부등식 체인을 구성하는 데 활용합니다.
조금 더 깊게 보면
코시-슈바르츠 부등식은 더 일반적인 벡터의 내적(함수 공간, 확률변수 공간 등)에서도 동일한 형태로 성립하며, 확률론에서는 두 확률변수의 공분산이 각 표준편차의 곱을 넘지 않는다는 형태로 나타나 상관계수의 범위를 정당화합니다. 또한 이 부등식은 삼각부등식(노름의 부등식)을 증명하는 데 필요한 핵심 보조정리 역할을 하며, 민코프스키 부등식이나 횔더 부등식처럼 더 일반화된 부등식들과도 연결되어 있습니다. 논문에서 등호 성립 조건(두 벡터가 평행할 때)이 함께 언급된다면, 그 조건 자체가 최적해나 극값을 특징짓는 데 쓰이는 경우가 많다는 점도 눈여겨볼 만합니다.
주의할 점
코시-슈바르츠 부등식을 벡터의 내적과 헷갈리기 쉬운데, 내적 자체는 두 벡터 사이의 특정 연산 결과값이고, 코시-슈바르츠 부등식은 그 내적값이 가질 수 있는 한계(상한)를 알려주는 별개의 정리입니다.