모델 양자화 (Model Quantization)
쉽게 풀면
신경망의 가중치는 보통 32비트의 정밀한 실수(부동소수점)로 저장되는데, 이렇게 세밀한 정밀도가 항상 필요한 것은 아니에요. 모델 양자화는 이 가중치와 연산 값을 8비트 정수 같은 더 낮은 정밀도로 변환해서 표현하는 방법입니다. 정밀도를 낮추면 모델을 저장하는 용량이 크게 줄어들고, 저정밀도 연산은 하드웨어에서 더 빠르게 처리될 수 있어 속도도 빨라져요. 마치 사진을 고화질에서 조금 압축된 화질로 바꾸는 것처럼, 약간의 정보 손실을 감수하는 대신 훨씬 가볍고 빠르게 만드는 방법이라고 볼 수 있습니다. 스마트폰 등 자원이 제한된 환경에 모델을 배포할 때 특히 중요하게 쓰입니다.
왜 중요한가
대규모 언어 모델과 비전 모델의 파라미터 수가 급격히 늘어나면서, 모바일 기기나 엣지 디바이스는 물론 서버 환경에서도 메모리와 연산 비용이 배포의 큰 걸림돌이 되고 있습니다. 모델 양자화는 정밀도를 낮추는 비교적 간단한 조작만으로 이 문제를 크게 완화할 수 있어, 효율적 딥러닝과 온디바이스 AI 연구에서 프루닝·지식증류와 함께 핵심적으로 다뤄집니다. 특히 초거대 언어 모델의 저비용 서빙이 중요해지면서 양자화 관련 연구의 비중이 최근 더욱 커지고 있습니다.
논문에서는 이렇게 쓰입니다
학습이 끝난 모델의 가중치를 32비트 실수에서 8비트 정수로 바꿔서 모델을 가볍고 빠르게 만들었다는 뜻이다.
초거대 언어 모델 분야에서는 극도로 낮은 비트 수로 양자화해 제한된 하드웨어에서도 모델을 서빙할 수 있게 하는 연구가 활발하다는 뜻이다.
학습이 끝난 뒤 양자화를 적용하는 대신, 학습 단계부터 양자화 효과를 반영해 성능 손실을 줄이는 접근이 컴퓨터 비전 등 여러 분야에서 함께 소개된다는 뜻이다.
조금 더 깊게 보면
양자화는 크게 학습이 끝난 모델에 사후적으로 적용하는 학습 후 양자화(post-training quantization)와, 학습 과정에서부터 저정밀도 연산을 흉내 내며 학습하는 양자화 인식 학습(quantization-aware training)으로 나뉘며, 후자가 대체로 정확도 손실이 더 적은 것으로 알려져 있습니다. 비트 수를 낮출수록 모델은 가벼워지지만 표현할 수 있는 값의 범위가 줄어들어 정보 손실이 커지므로, 값의 분포에 맞춰 스케일과 영점을 조정하는 보정 기법이 함께 쓰입니다. 논문을 읽을 때는 몇 비트로 양자화했는지, 사후 양자화인지 양자화 인식 학습인지, 그리고 양자화 전후 정확도 변화를 어떻게 보고했는지를 함께 확인하는 것이 중요합니다.
주의할 점
정밀도를 너무 낮추면 모델 성능이 눈에 띄게 떨어질 수 있어, 양자화 전후의 정확도 변화를 반드시 함께 확인해야 한다.