차원 정리 (Rank-Nullity Theorem)

한 줄 정의: 행렬(선형변환)의 정의역 전체 차원은 항상 "랭크(살아남는 차원)"와 "영공간의 차원(사라지는 차원)"을 더한 값과 같다는 정리입니다.

쉽게 풀면

어떤 공장에 원재료가 100톤 들어왔다고 해봅시다. 이 중 일부는 완제품으로 만들어지고, 나머지는 공정 중에 사라지거나 폐기됩니다. 아무리 공정이 복잡해도 "완제품으로 나온 양 + 사라진 양 = 처음 들어온 100톤"이라는 사실은 변하지 않습니다. 행렬도 마찬가지입니다. n차원 공간의 벡터를 행렬 A에 통과시키면, 일부 방향은 결과 공간에 그대로 살아남고(이 살아남은 차원의 수가 랭크, rank) 나머지 방향은 영공간으로 사라집니다(이 사라진 차원의 수가 nullity). 차원 정리는 이 둘을 더하면 항상 원래 공간의 전체 차원 n과 같다는 것을 보장합니다: rank(A) + nullity(A) = n.

왜 중요한가

선형회귀의 계수 추정, 신경망 레이어의 정보 손실, 선형시스템의 해의 유무와 개수 등 다양한 문제가 결국 "어떤 선형변환이 정보를 얼마나 보존하고 얼마나 잃는가"로 환원됩니다. 차원 정리는 이 손실과 보존을 랭크와 nullity라는 두 정수로 정확히 나누어 설명해 주기 때문에, 통계학의 식별가능성 논의부터 공학의 시스템 이론, 컴퓨터과학의 차원 축소 기법에 이르기까지 다양한 분야의 이론 전개에서 기초 도구로 인용됩니다.

논문에서는 이렇게 쓰입니다

"차원 정리에 따라 설계 행렬의 랭크가 열의 개수와 같음을 확인하여 회귀계수 추정치가 유일함을 증명했다."

이 문장은 "행렬의 살아남는 차원 수(랭크)가 변수의 개수와 정확히 일치하므로, 사라지는 차원(영공간)이 원점밖에 없어서 계수를 구하는 해가 하나로 정해진다"는 뜻입니다.

"차원 정리를 이용하여 관측 행렬의 nullity가 0보다 크면 시스템의 해가 유일하지 않음을 보이고, 추가 제약이 필요함을 논증하였다."

제어이론이나 시스템 공학에서 선형시스템의 해가 여러 개 존재할 가능성을 랭크와 nullity로 진단하는 사례를 보여줍니다.

"신경망의 선형 계층에서 랭크 결핍이 발생하면 차원 정리에 의해 nullity가 커져 정보 손실이 발생함을 지적하였다."

딥러닝 이론 연구에서 레이어의 표현력 손실을 랭크-nullity 관계로 설명하는 서술 방식을 나타냅니다.

조금 더 깊게 보면

차원 정리는 유한차원 벡터공간 위의 선형사상에 대해 성립하며, 행렬로 표현하면 열공간(column space)의 차원이 랭크, 영공간의 차원이 nullity에 해당합니다. 실제 논문에서는 랭크를 특이값분해(SVD)의 0이 아닌 특이값 개수로 계산하거나, 수치적으로는 아주 작은 특이값을 0으로 간주하는 '수치적 랭크' 개념을 사용하는 경우가 많아, 이론적 랭크와 계산상 추정되는 랭크가 항상 정확히 일치하지는 않는다는 점도 함께 고려됩니다.

주의할 점

차원 정리는 "행렬이 뭘 하는지" 몰라도 성립하는 항등식이라는 점이 중요합니다. 즉 계산으로 랭크만 알면 굳이 영공간을 직접 구하지 않아도 nullity = n - rank(A)로 바로 구할 수 있습니다. 이 관계는 행렬의 랭크가 왜 방정식의 해의 개수, 자유도, 모델의 식별가능성과 직결되는지를 설명하는 핵심 근거로 쓰입니다.