Kimi K3, 엔비디아엔 오히려 호재

반도체 리서치 업체 SemiAnalysis가 중국발 AI 모델 Kimi K3를 둘러싼 시장의 우려를 정면으로 반박했다. 일부에서는 Kimi K3가 선형 어텐션 방식인 KDA(Kimi 델타 어텐션)를 채택해 KV 캐시 요구량을 줄인다는 이유로 엔비디아와 HBM, DRAM, 네트워킹 시장에 악재가 될 것으로 봤다. 그러나 SemiAnalysis는 실제 결과가 정반대라고 진단했다. 첫째, Kimi K3는 파라미터 규모가 2.8조 개를 넘어 거대 모델 추론에 특화된 엔비디아 NVL72의 강점이 발휘되는 무대다. 방대한 가중치를 저장하려면 대규모 스케일업 도메인이 필수적이기 때문이다. 둘째, KDA로 KV 캐시 전송 부담이 최대 10배 줄더라도, 896개에 달하는 전문가(experts)를 여러 GPU에 분산하는 WideEP 최적화는 오히려 훨씬 많은 네트워크 대역폭을 요구한다. 이 기법은 구리 백플레인이 동급 DGX B200 대비 18배 높은 대역폭을 제공하는 GB200·GB300 NVL72 같은 랙 스케일 시스템에 최적화돼 있다. 셋째, 가중치만으로 1.5TB 이상의 HBM 용량을 점유해 동시 접속이 낮은 상황에서도 여유 공간이 거의 없어, KV 캐시가 CPU DDR5와 NVMe로 오프로드돼야 한다. Kimi 측도 최적 추론을 위해 최소 64개 칩 규모의 랙이 필요하다고 밝혔다. 마지막으로 제번스의 역설이 작용한다. 어텐션 효율이 높아져 비용이 낮아지면 전 세계 AI 도입이 폭증하며, 결국 GPU·HBM·DRAM·네트워킹 자원의 총수요는 줄기는커녕 더 늘어난다는 것이 SemiAnalysis의 결론이다.