네트워크 지연 시간 (Network Latency)
쉽게 풀면
지연 시간은 데이터가 목적지까지 갔다가 돌아오는 데 걸리는 시간을 말한다. 흔히 왕복 시간(RTT)으로 측정하며, 밀리초(ms) 단위로 표현한다. 물리적 거리가 멀수록, 중간에 거치는 장치가 많을수록 지연 시간은 길어진다. 대역폭이 데이터를 얼마나 많이 보낼 수 있는지를 나타낸다면, 지연 시간은 그 데이터가 얼마나 빨리 도착하는지를 나타내는 별개의 지표로, 특히 실시간 서비스나 여러 GPU가 서로 자주 통신해야 하는 분산 학습에서 성능에 큰 영향을 준다.
왜 중요한가
지연 시간은 실시간 게임, 화상회의, 자율주행 같은 서비스의 체감 품질을 좌우할 뿐 아니라, 여러 GPU가 매 학습 스텝마다 결과를 주고받아야 하는 분산 학습 시스템에서는 반복적인 통신 대기가 누적되어 전체 처리량을 크게 떨어뜨릴 수 있습니다. 그래서 시스템 설계 논문에서 대역폭과 함께 성능을 결정하는 가장 기본적인 두 축 중 하나로 다뤄집니다.
논문에서는 이렇게 쓰입니다
분산 시스템에서 여러 컴퓨터가 서로 데이터를 주고받는 데 걸리는 평균 대기 시간을 줄이는 데 성공했다는 뜻이다.
실시간 인터랙티브 서비스 연구에서 지연 시간이 사용자 경험에 미치는 영향을 다룬 사례입니다.
사물인터넷·에지 컴퓨팅 연구에서 데이터를 중앙 서버가 아닌 가까운 위치에서 처리해 지연 시간을 줄이는 접근을 소개하는 문장입니다.
조금 더 깊게 보면
지연 시간은 흔히 신호가 물리적으로 이동하는 데 걸리는 전파 지연, 데이터가 회선에 실리는 데 걸리는 전송 지연, 중간 장비가 처리하는 데 걸리는 처리 지연, 혼잡한 회선에서 대기하는 큐잉 지연 등 여러 요소로 나뉘어 분석됩니다. 분산 학습에서는 이 지연을 줄이기 위해 통신과 계산을 겹쳐 수행하거나, 통신 횟수 자체를 줄이는 그레이디언트 압축·비동기 업데이트 같은 기법이 함께 연구되며, 지연 시간 개선 효과를 논할 때 이런 배경 기법들이 함께 언급되는 경우가 많습니다.
주의할 점
지연 시간과 네트워크 대역폭은 다른 개념으로, 대역폭이 아무리 넓어도 지연 시간이 길면 실시간 반응성은 떨어질 수 있다.