전치행렬 (Transpose Matrix)

한 줄 정의: 전치행렬은 행렬의 행과 열을 서로 맞바꾸어 만든 새로운 행렬입니다.

쉽게 풀면

엑셀 표를 떠올려 보세요. 가로로 나열된 학생 이름들을 세로로, 세로로 나열된 과목 점수들을 가로로 통째로 뒤집으면 어떻게 될까요? 표 안의 숫자는 하나도 바뀌지 않지만, 어느 칸에 어느 값이 들어가는지는 완전히 달라집니다. 전치행렬은 정확히 이런 작업입니다. 원래 행렬에서 (i번째 행, j번째 열)에 있던 값을 (j번째 행, i번째 열)로 옮기는 것뿐이라서, 값 자체는 그대로이고 배치만 90도로 꺾이듯 바뀝니다. 기호로는 원래 행렬 A의 전치행렬을 Aᵀ로 씁니다.

왜 중요한가

전치행렬은 회귀분석, 공분산 계산, 신경망의 순전파·역전파 등 수치 계산이 들어가는 거의 모든 논문에서 기본 연산으로 등장하기 때문에 매우 자주 쓰입니다. 데이터를 행렬로 표현하고 이를 다루는 통계학, 머신러닝, 신호처리 분야에서는 전치 연산이 없으면 벡터·행렬 곱셈의 차원을 맞출 수 없는 경우가 많아, 수식 전개 과정에서 거의 빠짐없이 등장하는 기본 도구입니다.

논문에서는 이렇게 쓰입니다

"회귀계수 벡터는 β = (XᵀX)⁻¹Xᵀy로 추정되며, 여기서 Xᵀ는 설계행렬 X의 전치행렬이다."

이 문장은 최소제곱법 공식을 설명하고 있습니다. 관측치를 행으로, 변수를 열로 쌓은 설계행렬 X를 전치시켜 곱하는 과정을 거쳐야 회귀계수를 구할 수 있다는 뜻입니다.

"공분산 행렬은 평균이 제거된 데이터 행렬 X에 대해 XᵀX 형태로 계산되며, 이는 변수 간 선형적 관계를 나타낸다."

통계학에서 전치행렬이 공분산 행렬 계산에 활용되는 서술이다.

"신경망의 역전파 과정에서는 가중치 행렬의 전치행렬을 이용하여 이전 층으로 오차를 전달한다."

딥러닝 분야에서 전치행렬이 역전파 계산에 쓰이는 서술이다.

조금 더 깊게 보면

전치는 (AB)ᵀ = BᵀAᵀ처럼 행렬 곱셈과 결합될 때 순서가 뒤바뀌는 성질을 가지고 있어, 수식을 전개하거나 미분할 때 이 규칙을 정확히 적용하는 것이 중요합니다. 실수 행렬에서는 전치가 단순히 행과 열을 바꾸는 연산이지만, 복소수 행렬을 다루는 분야에서는 전치와 함께 켤레 연산을 취하는 켤레전치(에르미트 전치)가 더 자주 쓰이므로 둘을 구분해서 이해할 필요가 있습니다.

주의할 점

전치는 행렬의 값을 바꾸는 계산이 아니라 배치만 뒤집는 연산이라는 점을 헷갈리지 말아야 합니다. 만약 어떤 행렬을 전치시켰는데 원래 행렬과 완전히 똑같다면, 그 행렬은 특별히 대칭행렬이라고 부릅니다.