AI 요약
- •Kimi K3는 총 2.8조 파라미터에 토큰당 16개 전문가를 활성화하는 초대형 MoE 모델로, KV 캐시가 작아져도 HBM급 용량과 대규모 스케일업 네트워킹, GPU 수요는 여전하다.
- •KV 압축이 이뤄져야 오프로드가 PCIe·NIC·SSD 지연을 극복하고 실제 배포 가능한 아키텍처로 전환되며, 이동 데이터량 감소가 오프로드를 실용화한다.
- •KV 캐시가 HBM·DRAM·NAND·네트워크에 걸친 계층적 데이터 자산으로 변모하면서 DRAM은 웜 캐시·스테이징 계층, NAND는 과거 세션·공유 프리픽스 저장 풀로 중요성이 커진다.
뉴스 기사
최근 공개된 중국 문샷 AI의 초대형 언어모델 Kimi K3가 이전보다 작은 KV 캐시를 채택했다는 소식이 메모리 반도체 업계의 주목을 받고 있다. 언뜻 메모리 수요 감소 신호로 읽힐 수 있으나, 실제 함의는 정반대라는 분석이 제기된다. Kimi K3는 총 2.8조 개의 파라미터를 보유한 MoE(전문가 혼합) 구조로, 토큰당 896개 전문가 중 16개를 활성화한다. 문샷은 최소 64개 가속기로 구성된 고대역폭 슈퍼노드에서의 배포를 권장하고 있다. KV 캐시가 축소됐다고 해서 전체 메모리와 네트워크 수요가 줄어드는 것은 아니며, 여전히 HBM급 용량과 스케일업 네트워킹, GPU가 필수적이다. 핵심은 KV 오프로드의 실용화다. 압축되지 않은 대규모 KV 캐시는 PCIe·NIC·SSD의 지연시간 탓에 활성 디코딩 경로에 두기 어렵고, 외부 메모리에서 데이터를 불러오는 지연이 프리필 재계산보다 오히려 비효율적일 수 있다. KV 압축은 DRAM·NAND·네트워크를 오가는 데이터량을 줄여, 오프로드를 단순한 이론적 용량 확장 수단에서 실제 배포 가능한 아키텍처로 끌어올린다. 결국 변화의 본질은 KV 캐시의 소멸이 아니라 계층화다. KV 캐시는 HBM·DRAM·NAND·네트워크에 걸쳐 관리되는 데이터 자산으로 진화하고 있다. DRAM은 웜 캐시와 데이터 스테이징 계층으로서 중요성이 높아지고, NAND는 과거 세션·다중 사용자 공유 프리픽스·비활성 KV 캐시를 담는 대규모 저장 풀로 활용될 전망이다. 이는 마이크론 등 메모리 업체와 HBM 공급망에 구조적 수요 확대 요인으로 작용할 수 있다. AI 추론 인프라가 단일 HBM 의존에서 벗어나 메모리 계층 전반을 활용하는 방향으로 재편되면서, DRAM과 NAND의 역할이 함께 부각되는 흐름이다.
AI 투자 인사이트
AI 추론이 KV 캐시를 HBM·DRAM·NAND 계층으로 분산 관리하는 구조로 진화하며, HBM뿐 아니라 범용 DRAM·NAND 수요 확대의 새로운 촉매가 될 수 있다.
