구글 TPU v8, 네트워크 토폴로지로 엔비디아 추격

MoE(Mixture-of-Experts) 기반 대규모 언어모델 추론이 확산되면서, AI 가속기의 실제 성능을 결정하는 축이 개별 칩 연산력에서 시스템 간 연결 구조로 이동하고 있다. 구글은 자사 TPU v8 세대에서 엔비디아의 랙 스케일 솔루션 NVL72가 지닌 초고속 인터커넥트 우위를 상쇄하기 위해, 독자적인 네트워크 토폴로지를 채택한 것으로 분석된다. 여기에는 Virgo Network 구조, 광회로 스위치(OCS), 3D Torus 연결 방식, 그리고 Boardfly로 명명된 보드 레벨 설계가 포함된다. 이들 요소는 다수의 가속기를 묶어 추론 처리량을 끌어올리는 데 핵심 역할을 한다. MoE 추론은 전문가 네트워크 간 대규모 데이터 이동을 수반하기 때문에, 노드 간 대역폭과 지연 특성이 최종 성능을 좌우한다. 엔비디아가 NVLink 기반 밀집 연결로 우위를 지녀온 반면, 구글은 광연결 기반 재구성 가능 토폴로지로 대응하는 셈이다. 결과적으로 동일한 칩을 확보하더라도 시스템 설계에 따라 실효 처리량이 달라지는 국면이 전개되고 있다. AI 연구소, 하이퍼스케일러, 칩 제조사가 추진하는 극단적 하드웨어-소프트웨어 통합 설계(co-design)는 점차 하드웨어의 하부 계층까지 깊숙이 파고들고 있으며, 이는 AI 인프라 경쟁의 무게중심이 반도체 네트워킹과 시스템 아키텍처로 확장되고 있음을 시사한다.