Kimi K3, 엔비디아·HBM에 오히려 호재

AI 반도체 리서치 업체 SemiAnalysis가 중국 Kimi K3 모델을 둘러싼 시장의 우려에 정면으로 반박했다. 앞서 DeepSeek R1 당시와 유사하게, 일부에서는 K3가 선형 어텐션 방식인 KDA(Kimi 델타 어텐션)를 도입해 KV 캐시 요구량을 줄이는 만큼 엔비디아와 HBM·DRAM·네트워킹 시장에 악재가 될 것이라 해석했다. SemiAnalysis는 실상은 정반대라고 강조했다. 첫째, K3는 파라미터 수가 2.8조 개를 넘는 초대형 모델로, 방대한 가중치를 저장하는 것만으로도 대규모 스케일업 도메인이 필수다. 대형 모델 추론이야말로 엔비디아 NVL72의 강점이 발휘되는 영역이라는 설명이다. 둘째, KDA로 KV 캐시 전송용 네트워크 부담이 최대 10배 줄더라도, 896개에 달하는 전문가(experts)를 다수 GPU에 분산하는 WideEP 기법을 쓰려면 오히려 훨씬 많은 대역폭이 필요하다. 이 구조는 동급 DGX B200 대비 구리 백플레인 대역폭이 18배 넓은 GB200·GB300 NVL72 같은 랙 스케일 시스템에 최적화돼 있다. 셋째, 가중치만으로 이미 1.5TB 이상의 HBM 용량이 소진되면서, 동시 접속 수가 낮은 상황에서도 여유 공간이 거의 없다. 결국 KV 캐시는 CPU DDR5와 NVMe로 오프로드해야 하며, 이는 DRAM과 스토리지 수요로 이어진다. Kimi 측도 최적 추론을 위해 최소 64개 칩 규모의 스케일업 랙이 필요하다고 밝혔다. 마지막으로 SemiAnalysis는 제번스의 역설을 근거로 제시했다. 어텐션 효율이 높아져 비용이 낮아지면 AI 도입이 전 세계적으로 확산되며, 결과적으로 시장이 요구하는 GPU·HBM·DRAM·네트워킹 자원의 총량은 줄어드는 것이 아니라 오히려 늘어난다는 것이다.