BofA, Kimi K3가 촉발한 컴퓨팅 경쟁 가속

뱅크오브아메리카(BofA)는 문샷AI가 공개한 오픈 웨이트 MoE 모델 'Kimi K3'가 AI 모델 경쟁의 종료가 아니라 컴퓨팅 경쟁의 본격적인 가속을 알리는 신호라고 진단했다. Kimi K3는 100만 토큰 규모의 컨텍스트 창과 2.8조 개 파라미터를 갖췄으며, 질문에 따라 일부 전문가 모델만 선택적으로 활성화하는 MoE 구조를 채택했다. MoE 방식은 연산량을 줄이는 대신 전문가 선택과 데이터 이동 과정에서 메모리 대역폭, 네트워크, 지연 시간 관리의 중요성을 크게 높인다. BofA는 이 지점에서 메모리 간 데이터 이동, 라우팅, GPU 인터커넥트, 저지연 추론 시스템이 핵심 경쟁 요소로 부상한다고 봤다. 주목할 점은 중국 AI 연구소들이 미국 프론티어 모델과의 격차를 빠르게 좁히고 있다는 사실이다. 이에 맞서 OpenAI, Anthropic, Google은 우위 유지를 위해 사전학습뿐 아니라 강화학습, 합성 데이터, 추론 시간 연산에 더 많은 컴퓨팅 자원을 투입해야 한다. 결국 경쟁이 치열해질수록 GPU 수요는 오히려 늘어날 가능성이 높다는 것이 BofA의 논리다. 실제 지표도 이를 뒷받침한다. OpenRouter에서 처리된 주간 토큰은 2025년 초 미미한 수준에서 2026년 7월 약 50조 토큰대까지 급증했고, 최근 증가분에서는 DeepSeek·Qwen·Moonshot 등 중국계 모델 비중 확대가 두드러진다. 기업 도입도 실험 단계를 넘어섰다. Ramp 데이터에 따르면 2026년 6월 미국 기업의 약 55%가 AI에 비용을 지불했으며, 대기업 65.5%, 중견기업 61.3%, 중소기업 48.7%로 확산됐다. 모델별 채택은 Anthropic 42.4%, OpenAI 39.5%로 선두권을 형성했다. BofA는 엔비디아 GB300 NVL72가 주요 오픈 MoE 모델 서비스 시 Hopper 대비 와트당 성능을 최대 25배 개선할 수 있다고 평가했다. 경쟁의 기준이 단순 GPU 개수에서 '동일 전력당 처리 토큰 수'로 이동하고 있다는 의미다. 결론적으로 모델은 빠르게 범용화되고 있지만, 정확한 결과·낮은 지연시간·높은 가동률·낮은 토큰당 비용·기업 데이터 통합·보안 관리 기능을 갖춘 컴퓨팅 인프라의 가치는 사라지지 않는다. 저렴하고 우수한 모델이 늘수록 AI 사용량이 증가하고, 이를 처리할 반도체와 데이터센터 투자가 확대되는 선순환 구조가 형성되고 있다는 것이 핵심이다.