행렬 노름 (Matrix Norm)
쉽게 풀면
벡터의 길이를 재듯이 행렬 전체의 '세기'를 숫자 하나로 표현한 것이다. 행렬 노름이 크다는 것은 그 행렬을 곱했을 때 벡터가 크게 변형될 수 있다는 뜻이다. 여러 정의 방식이 있는데, 그중 스펙트럼 노름은 행렬이 벡터를 최대 몇 배까지 늘릴 수 있는지를 나타낸다.
왜 중요한가
행렬 노름은 시스템이 얼마나 민감하게 반응하는지, 알고리즘이 안정적으로 수렴하는지를 판단하는 근거가 되기 때문에 딥러닝, 최적화, 수치해석 논문 전반에서 자주 등장합니다. 특히 오차나 변화가 시스템을 통해 얼마나 증폭될 수 있는지를 정량화할 수 있어, 알고리즘의 이론적 수렴 보장을 증명하거나 모델의 견고성을 평가하는 근거로 널리 쓰입니다. 이 때문에 이론적 분석을 담은 논문일수록 어떤 노름을 기준으로 결과를 서술했는지가 결론의 해석에 직접적인 영향을 미칩니다.
논문에서는 이렇게 쓰입니다
딥러닝에서 그래디언트 폭발을 막기 위해 행렬 노름에 제약을 거는 경우가 흔하다.
수치해석이나 최적화 이론 논문에서는 반복 알고리즘의 수렴성을 증명할 때 갱신 과정을 나타내는 행렬의 노름 크기를 근거로 삼는 경우가 많습니다.
통계적 추정이나 신호처리 분야에서는 데이터에 섞인 잡음이나 오차의 크기를 행렬 노름으로 측정하고, 이를 추정 오차의 이론적 상한과 연결짓는 서술이 흔히 나타납니다.
조금 더 깊게 보면
행렬 노름에는 원소별 크기를 그대로 반영하는 프로베니우스 노름, 행렬이 벡터를 최대 몇 배까지 늘릴 수 있는지를 나타내는 스펙트럼 노름(연산자 노름), 행이나 열의 절댓값 합을 기준으로 하는 노름 등 여러 종류가 있으며, 각각이 대응하는 벡터 노름과 어떻게 유도되는지에 따라 성질이 달라집니다. 스펙트럼 노름은 행렬의 가장 큰 특이값과 같다는 점에서 특이값분해와 밀접하게 연결되어 있고, 조건수 계산에도 활용됩니다. 논문을 읽을 때는 저자가 어떤 노름을 전제로 부등식이나 수렴성 결과를 서술했는지 확인하는 것이 결과를 올바르게 해석하는 데 중요합니다.
주의할 점
노름의 정의(프로베니우스 노름, 스펙트럼 노름 등)에 따라 값이 크게 달라지므로 논문에서 어떤 노름을 쓰는지 명시해야 한다.