인피니밴드 (InfiniBand)
쉽게 풀면
인피니밴드는 일반 가정이나 사무실에서 쓰는 인터넷 연결(이더넷)보다 훨씬 빠르고 지연이 적은 전용 네트워크 기술이다. 슈퍼컴�터나 대규모 GPU 클러스터처럼 여러 컴퓨터가 아주 자주, 그리고 아주 빠르게 데이터를 주고받아야 하는 환경에서 표준처럼 쓰인다. 대규모 언어 모델을 수백~수천 개의 GPU로 학습시킬 때, 이 GPU들을 인피니밴드로 연결해 통신 병목을 줄이는 것이 일반적이다.
왜 중요한가
대규모 언어 모델이나 분산 시뮬레이션처럼 여러 노드가 끊임없이 데이터를 주고받아야 하는 연구에서는 네트워크 자체가 전체 성능을 좌우하는 병목이 되기 쉽기 때문에, 인피니밴드 같은 고성능 상호연결 기술이 시스템 구성의 핵심 요소로 논문에 자주 등장합니다. 특히 GPU 클러스터 간 파라미터나 그래디언트를 동기화하는 분산 학습에서는 통신 지연이 학습 속도에 직접적인 영향을 주기 때문에, 사용한 네트워크 사양을 명시하는 것이 실험 재현성과 성능 비교에 중요합니다.
논문에서는 이렇게 쓰입니다
학습에 사용된 서버들이 매우 빠른 전용 네트워크인 인피니밴드로 연결되어 있어, 대규모 분산 학습에서 통신 속도가 병목이 되지 않도록 했다는 뜻이다.
과학기술 계산 분야의 대규모 시뮬레이션에서도 노드 간 통신 속도가 전체 계산 시간에 큰 영향을 주며, 인피니밴드 사용이 이를 개선했다는 뜻이다.
조금 더 깊게 보면
인피니밴드가 빠른 이유 중 하나는 RDMA(원격 직접 메모리 접근)라는 기술을 지원하기 때문인데, 이는 데이터를 주고받을 때 운영체제의 개입 없이 한 컴퓨터의 메모리에서 다른 컴퓨터의 메모리로 직접 데이터를 옮길 수 있게 해줘 지연 시간과 CPU 부하를 크게 줄여줍니다. 논문에서는 대역폭(Gbps)뿐 아니라 지연 시간, 그리고 세대(예: HDR, NDR 등 등급)를 함께 명시하는 경우가 많은데, 이는 네트워크 성능이 세대에 따라 크게 달라지기 때문입니다. 최근에는 이더넷 기반 기술도 유사한 저지연 통신을 목표로 발전하고 있어, 두 기술을 비교하는 연구도 이루어지고 있습니다.
주의할 점
인피니밴드는 일반 이더넷 장비보다 훨씬 고가이며, 주로 전용 데이터센터나 슈퍼컴퓨팅 환경에서만 사용된다.