네트워크 대역폭 (Network Bandwidth)
쉽게 풀면
대역폭은 데이터가 오가는 통로의 폭이라고 생각하면 된다. 초당 몇 기가비트(Gbps)를 전송할 수 있는지로 표현하며, 도로에 비유하면 차선의 수와 비슷하다. 차선이 많을수록(대역폭이 클수록) 한 번에 더 많은 차(데이터)가 지나갈 수 있다. 여러 대의 컴퓨터가 협력해 모델을 학습하는 분산 학습에서는 각 컴퓨터가 계산한 결과(그레이디언트)를 서로 주고받아야 하므로, 네트워크 대역폭이 부족하면 통신이 병목이 되어 아무리 GPU가 빨라도 전체 속도가 느려질 수 있다.
왜 중요한가
대규모 언어모델 학습처럼 여러 GPU·노드가 그레이디언트나 파라미터를 끊임없이 주고받는 분산 시스템에서는, 계산 성능이 아무리 뛰어나도 대역폭이 부족하면 통신 대기 시간이 전체 학습 속도를 좌우하게 됩니다. 그래서 대역폭은 분산 학습, 고성능 컴퓨팅, 데이터센터 네트워크 설계 논문에서 시스템 성능을 설명하는 핵심 변수로 다뤄집니다.
논문에서는 이렇게 쓰입니다
분산 학습에 참여하는 컴퓨터들이 초당 200기가비트라는 매우 넓은 통로로 서로 연결되어 있다는 것을 밝힌 문장이다.
연합학습(federated learning) 연구에서 대역폭이 제한된 모바일 환경을 전제로 통신량을 줄이는 방법을 다룬 예입니다.
멀티미디어 시스템 연구에서 실시간으로 변하는 네트워크 대역폭에 맞춰 서비스 품질을 조절하는 기법을 소개하는 문장입니다.
조금 더 깊게 보면
실제로 관측 가능한 전송량은 이론상 최대 대역폭이 아니라 혼잡, 프로토콜 오버헤드 등을 반영한 실효 처리량(throughput)이며, 두 값은 흔히 구분해서 다룹니다. 분산 학습 분야에서는 대역폭 제약을 완화하기 위해 그레이디언트 압축, 양자화, 통신과 계산을 겹쳐 수행하는 오버랩(overlap) 기법 등이 함께 연구되며, 이런 최적화의 효과를 논할 때 대역폭 수치가 기준선으로 자주 인용됩니다.
주의할 점
대역폭이 넓어도 네트워크 지연 시간이 길면 통신이 잦은 작업에서는 여전히 병목이 발생할 수 있으므로 두 지표를 함께 봐야 한다.