AI 요약
- •삼성전자가 Blackwell 8-GPU 시스템에서 1TB CXL 메모리 풀로 KV 캐시를 오프로딩한 실험 결과를 공개했다.
- •8-GPU TP=8 환경에서 CXL 메모리 풀이 DRAM 대비 약 92.3% 성능을 기록했다.
- •메모리 부족 구간에서 512GB DRAM은 TPS가 61K까지 하락한 반면, 1TB CXL은 700GB 캐시까지 354K TPS를 유지했다.
뉴스 기사
오랫동안 '미래 메모리 기술'로만 거론되던 CXL(Compute Express Link)이 AI 서버에서 실질적인 역할을 입증하기 시작했다. 삼성전자가 엔비디아 Blackwell 기반 8-GPU 시스템에서 CXL 메모리 풀을 활용한 KV 캐시 오프로딩 실험 결과를 공개하면서다. 삼성은 1TB 규모의 CXL 메모리 풀을 도입해 KV 캐시를 GPU와 로컬 DRAM 바깥으로 확장했다. 단일 GPU 환경에서 최적화된 CXL 메모리 풀은 DRAM에 준하는 성능을 보였고, 8-GPU(TP=8) 구성에서도 DRAM 대비 약 92.3% 수준의 성능을 유지했다. 핵심은 메모리가 부족해지는 구간이었다. 512GB DRAM 환경에서는 KV 캐시가 512GB를 초과하자 재연산(recomputation)이 발생하며 초당 처리량(TPS)이 약 61K까지 급락했다. 반면 1TB CXL 메모리 풀은 약 700GB 캐시 규모까지 약 354K TPS를 안정적으로 유지했다. 이 실험이 시사하는 바는 CXL이 HBM을 대체하는 기술이 아니라, 추론용 메모리 계층 구조를 확장하는 역할이라는 점이다. 모델 규모가 커지고 컨텍스트 윈도가 길어지며 다수의 에이전트가 동시 작업을 수행할수록 KV 캐시는 계속 팽창한다. 반면 GPU와 HBM은 비싸고, 모든 데이터를 가장 빠른 메모리에 둘 필요도 없다. 결국 AI 서버 메모리는 HBM, 로컬 DRAM, CXL 풀드 메모리, SSD로 이어지는 계층 구조로 세분화될 가능성이 크다. AI 인프라의 다음 병목이 단순히 HBM 공급량이 아니라 '어떤 데이터를 어느 계층에 두고 언제 옮길 것인가'로 이동하는 국면에서, CXL이 이 질문에 구체적인 숫자로 답을 내놓기 시작했다는 점이 의미 있다.
AI 투자 인사이트
CXL이 HBM 대체가 아닌 추론 메모리 계층 확장재로 실증되며, 메모리 계층화 수혜와 삼성·CXL 생태계 상용화 모멘텀에 주목할 필요가 있다.
