GPU(그래픽 처리 장치) (GPU (Graphics Processing Unit))
쉽게 풀면
GPU는 수천 개의 작은 연산 코어를 동시에 돌려서 같은 종류의 계산을 한꺼번에 처리하는 하드웨어이다. CPU가 소수의 유능한 일꾼이라면 GPU는 수천 명이 동시에 단순 작업을 나눠 하는 공장에 가깝다. 딥러닝의 핵심인 행렬 곱셈이 바로 이런 병렬 작업에 딱 맞아서, 신경망 학습 속도를 CPU보다 수십~수백 배 빠르게 만들어준다. 그래서 요즘 거의 모든 딥러닝 논문의 실험은 GPU 위에서 수행된다.
왜 중요한가
딥러닝 모델의 성능은 대체로 더 많은 데이터와 더 큰 모델, 더 많은 연산을 투입할 때 향상되는 경향이 있는데, GPU는 이 연산량을 감당할 수 있게 해주는 핵심 인프라이다. 그래서 자연어처리, 컴퓨터 비전, 강화학습 등 거의 모든 딥러닝 하위분야의 논문에서 실험 환경을 설명할 때 GPU 사양이 빠지지 않고 등장한다. 또한 GPU 자원의 효율적인 활용은 대규모 모델 학습의 비용과 속도를 좌우하기 때문에, 분산 학습이나 하드웨어 최적화 연구 자체가 독립적인 연구주제로 다뤄지기도 한다.
논문에서는 이렇게 쓰입니다
저자들이 실험에 A100이라는 고성능 GPU를 8개 병렬로 사용했다는 뜻이며, 이는 대규모 모델 학습에 필요한 연산량 규모를 나타낸다.
컴퓨터 비전 분야 논문에서 흔히 볼 수 있는 표현으로, 대규모 언어모델과 달리 비교적 가벼운 모델은 여러 장의 GPU가 아니어도 실용적인 학습이 가능하다는 점을 보여준다.
강화학습 연구에서는 환경 시뮬레이션 자체도 GPU로 가속화하는 경우가 있으며, 이는 단순히 모델 연산뿐 아니라 학습 파이프라인 전체를 GPU 친화적으로 설계하는 흐름을 보여준다.
조금 더 깊게 보면
논문에서 GPU를 언급할 때는 단순히 몇 장을 썼는지뿐 아니라, GPU 메모리 용량(배치 크기와 모델 크기의 상한을 결정), 여러 GPU에 연산을 나누는 분산 학습 방식(데이터 병렬화, 모델 병렬화 등), 그리고 혼합 정밀도 학습과 같이 연산을 더 낮은 정밀도로 처리해 속도와 메모리 효율을 높이는 기법도 함께 살펴볼 필요가 있다. 최근에는 텐서 코어처럼 행렬 연산에 특화된 하드웨어 유닛의 활용 여부, 그리고 클러스터 컴퓨팅 환경에서 GPU 간 통신 효율이 학습 속도에 미치는 영향도 실무적으로 중요하게 다뤄진다.
주의할 점
GPU 종류와 개수는 논문의 재현성과 계산 비용을 가늠하는 중요한 정보이므로 꼭 확인할 필요가 있다. GPU를 실제로 프로그래밍하는 소프트웨어 플랫폼인 CUDA와는 다른 개념이다.