직교행렬 (Orthogonal Matrix)

한 줄 정의: 벡터를 회전시키거나 뒤집기만 할 뿐 길이와 각도는 그대로 보존하는 특별한 정사각행렬입니다.

쉽게 풀면

어떤 행렬을 벡터에 곱하면 벡터의 방향과 길이가 늘어나거나 줄어들며 변형되는 경우가 많습니다. 그런데 직교행렬을 곱하면 도형이 마치 딱딱한 판을 돌리거나 거울에 비추듯, 모양이나 크기는 전혀 바뀌지 않고 방향만 회전하거나 반사됩니다. 이 행렬의 가장 큰 특징은 자신을 뒤집은 전치행렬이 곧바로 역행렬이 된다는 점입니다. 즉 복잡한 역행렬 계산 없이 행과 열을 맞바꾸기만 하면 원래대로 되돌리는 변환을 즉시 얻을 수 있어, 회전·좌표변환을 다루는 계산에서 매우 편리하게 쓰입니다.

왜 중요한가

직교행렬은 길이와 각도를 보존하면서 계산이 단순하다는 특성 덕분에, 좌표변환뿐 아니라 수치해석에서 안정적인 계산을 보장하는 도구로도 폭넓게 쓰입니다. 예를 들어 행렬을 직교행렬과 다른 행렬의 곱으로 분해하는 QR 분해나 특이값 분해(SVD)는 최소제곱법, 데이터 차원 축소, 딥러닝의 가중치 초기화 등 다양한 계산 문제의 기반이 되기 때문에, 응용수학과 공학 전반에서 자주 다루어지는 개념입니다.

논문에서는 이렇게 쓰입니다

"센서 좌표계를 세계 좌표계로 변환하는 회전행렬은 직교행렬(orthogonal matrix)의 성질을 만족하므로, 역변환은 전치 연산만으로 계산 비용을 줄일 수 있었다."

이 문장은 로봇이나 카메라의 방향을 나타내는 회전행렬이 직교행렬이기 때문에, 값비싼 역행렬 계산 대신 단순히 행렬을 뒤집는 전치 연산만으로 반대 방향 변환을 빠르게 구할 수 있었다는 뜻입니다. 컴퓨터 비전, 로보틱스, 신호처리 논문에서 좌표변환을 다룰 때 자주 등장합니다.

"설계행렬을 QR 분해하여 얻은 직교행렬 성분을 이용해 최소제곱 회귀계수를 수치적으로 안정적으로 추정하였다."

통계학·수치해석 분야에서 직교행렬 성질을 이용해 계산 안정성을 높인 사례이다.

"신경망 가중치 행렬을 직교행렬로 초기화하여 학습 초기 단계의 기울기 소실 문제를 완화하였다."

딥러닝 연구에서 직교행렬의 성질을 가중치 초기화 전략에 응용한 예문이다.

조금 더 깊게 보면

직교행렬을 이해할 때 중요한 것은, 행렬을 이루는 각 열벡터가 서로 직교하면서 동시에 크기가 1인 단위벡터(정규직교기저)를 이룬다는 점입니다. 이러한 성질 때문에 직교행렬을 곱하는 연산은 수치적으로 오차가 잘 누적되지 않아 안정적이며, 이 때문에 QR 분해나 특이값 분해처럼 직교행렬을 활용하는 분해 기법이 큰 행렬을 다루는 수치 계산에서 선호됩니다.

주의할 점

직교행렬의 행렬식은 항상 +1 또는 -1이 되는데, +1이면 순수한 회전, -1이면 반사(거울 대칭)가 포함된 변환임을 뜻합니다. 이 성질 덕분에 역행렬을 매번 새로 계산할 필요가 없다는 점이 직교행렬의 실용적 장점입니다.