항등행렬과 영행렬 (Identity Matrix and Zero Matrix)

한 줄 정의: 항등행렬은 어떤 행렬에 곱해도 그 행렬을 그대로 유지시키는, 대각선 성분이 모두 1이고 나머지는 0인 정사각행렬이며, 영행렬은 모든 성분이 0이어서 더해도 변화를 주지 않는 행렬입니다.

쉽게 풀면

보통의 숫자 계산에서 1을 곱하거나 0을 더해도 원래 값은 바뀌지 않습니다. 항등행렬과 영행렬은 바로 이 숫자 1과 0의 역할을 행렬 세계에서 그대로 맡고 있습니다. 항등행렬(보통 I로 표기)은 대각선에만 1이 있고 나머지 칸은 전부 0인 정사각행렬로, 어떤 행렬 A에 곱해도 AI = A가 됩니다. 영행렬(보통 O로 표기)은 모든 칸이 0이라서, 어떤 행렬 A에 더해도 A + O = A가 됩니다. 즉 두 행렬은 각각 곱셈과 덧셈에서 "아무 일도 하지 않는" 기준점 역할을 합니다.

왜 중요한가

항등행렬과 영행렬은 행렬 연산의 기준점 역할을 하기 때문에 선형대수 전반의 이론 전개에 필수적이며, 역행렬의 정의, 고유값 문제, 선형변환의 성질을 증명하는 과정에서 빠짐없이 등장합니다. 공학·통계학·기계학습 논문에서도 행렬 초기화, 정규화(regularization) 항 설계, 시스템의 안정성 분석 등 다양한 실용적 맥락에서 이 두 행렬이 기준값으로 활용됩니다. 특히 항등행렬은 "아무 변형도 가하지 않은 상태"를 수학적으로 표현하는 방법이기 때문에 여러 알고리즘의 초기 상태나 기준 모델을 정의할 때 자주 쓰입니다.

논문에서는 이렇게 쓰입니다

"가중치 행렬을 항등행렬로 초기화하여 학습 초기 단계에서 그래디언트가 소실되지 않도록 하였다."

이 문장은 신경망 초기화 방법을 설명하고 있습니다. 항등행렬로 시작하면 입력이 그대로 전달되므로, 학습 초반에 신호가 왜곡 없이 다음 층으로 흘러간다는 뜻입니다.

"회귀계수 추정의 안정성을 높이기 위해 공분산 행렬에 항등행렬을 상수배하여 더하는 능형회귀(ridge regression) 방식을 적용하였다."

통계학에서 다중공선성 문제를 완화하기 위해 항등행렬을 이용한 정규화 기법을 적용한 사례이다.

"제어 시스템의 초기 상태 오차 행렬을 영행렬로 설정하여 정상상태에서의 오차 수렴 여부를 검증하였다."

공학의 제어이론 연구에서 영행렬을 기준 초기 조건으로 사용한 문맥이다.

조금 더 깊게 보면

항등행렬은 행렬을 이용한 선형변환에서 "아무 변화도 주지 않는 항등사상(identity map)"에 대응되며, 이 개념은 벡터공간의 기저 변환이나 좌표계 변환을 다룰 때 기준으로 자주 활용됩니다. 실제 연구에서는 항등행렬을 그대로 쓰기보다 작은 상수를 곱해 더하는 형태(예: 능형회귀의 정규화 항)로 응용해, 수치적으로 불안정한 행렬 연산을 안정화하는 데 활용하는 경우가 많습니다. 영행렬은 선형방정식의 해가 존재하지 않거나 특정 벡터가 영벡터로 사상되는 영공간(null space, kernel)을 정의하는 데도 핵심적인 역할을 합니다.

주의할 점

항등행렬은 정사각행렬(행과 열의 개수가 같은 행렬)에서만 정의됩니다. 또한 어떤 행렬 A에 다른 행렬 B를 곱해 항등행렬 I가 나온다면(AB = I), B는 A의 역행렬이라고 부릅니다.