오픈소스 AI 확산에 메모리 수요 구조적 확대

뱅크오브아메리카(BofA)는 오픈소스·오픈웨이트 AI 모델의 확산이 메모리 반도체 수요를 구조적으로 끌어올리고 있다는 분석을 내놨다. 폐쇄형 모델이 중앙 서버 메모리를 수백만 사용자가 공유하는 구조라면, 다운로드 후 자체 호스팅하는 오픈웨이트 모델은 이를 도입하는 기업마다 독립적인 HBM과 DRAM 소켓을 새로 필요로 한다. BofA는 이처럼 엔드포인트 수가 폭발적으로 늘어나는 효과가 기술적 압축·효율화 효과를 압도하면서 AI 메모리 시장 전체 규모(TAM)를 확장시킨다고 진단했다. 모델 아키텍처 측면에서도 수요를 뒷받침한다. MoE(전문가 혼합) 구조는 추론 시 일부 파라미터만 활성화해 연산량을 줄이지만, 전체 전문가 가중치는 고속 메모리에 상주해야 하므로 HBM 소요량은 총 파라미터에 비례해 유지된다. 실제로 2.8조 파라미터 규모의 최신 모델은 4비트 양자화를 적용해도 인스턴스당 약 1.4TB의 HBM과 64개 이상의 가속기를 요구하는 것으로 추산됐다. FP8에서 MXFP4로 이어지는 양자화가 메모리를 2배가량 절감하더라도, 모델 크기가 그보다 빠른 4배 이상으로 커지면서 절감 효과를 상쇄하고 있다는 설명이다. 멀티 에이전트 워크로드 증가에 따른 KV 캐시 확장은 HBM·DDR5·LPDDR5X·기업용 NAND로 이어지는 계층형 메모리 채택을 가속한다. BofA는 중국 CXMT발 공급 리스크는 제한적이라고 평가했다. 생산능력 확대가 레거시·소비자용 DRAM에 국한돼 있고 고성능 AI 메모리 진입 가능성은 낮으며, 미국 OEM의 조달을 위한 정부 승인 여부도 불투명하기 때문이다. 중국 LLM의 가격 경쟁력 역시 하드웨어 단가 하락이 아니라 아키텍처 효율성, 낮은 전기료(kWh당 0.05~0.08달러 대 미국 0.10~0.15달러)와 40~60% 저렴한 인건비, 정부 보조금에서 비롯된 것으로 분석됐다.