DRAM 병목, AI 인프라 최장기 제약 부상

마이크론과 메타가 공동으로 내놓은 백서에서 AI 인프라의 성능 병목이 어디에 위치하는지를 보여주는 구체적인 수치가 공개됐다. 대규모 분산 처리 과정에서 발생하는 셔플(shuffle) 데이터가 가용 DRAM 용량을 넘어서 SSD로 스필되는 순간, 처리 속도가 최대 38배까지 떨어지는 것으로 측정됐다. 이 수치가 시사하는 바는 명확하다. AI 워크로드의 실질 처리량을 좌우하는 변수는 가속기의 연산 성능이 아니라 메모리 계층의 용량이라는 점이다. GPU 연산 능력이 아무리 확대되더라도 워킹셋이 DRAM 용량을 초과하는 순간 스토리지 계층의 지연이 전체 파이프라인을 지배하게 되고, 고가의 가속기 자원은 데이터를 기다리며 유휴 상태에 머문다. 단일 구간의 38배 저하는 시스템 전체의 처리 효율을 무너뜨릴 수 있는 크기다. 업계에서는 이러한 DRAM 제약이 AI 인프라 구축 과정에서 가장 오래 지속될 병목 요인이라는 평가가 제기된다. 로직 공정의 미세화나 인터커넥트 대역폭 개선에 비해 메모리 용량과 비용 곡선의 개선 속도가 상대적으로 완만하기 때문이다. 시장 관점에서는 두 가지 경로가 열려 있다. 데이터센터 사업자들이 노드당 DRAM 탑재량을 공격적으로 늘리는 방향으로 대응하면 서버용 DDR5와 HBM 수요는 구조적으로 확대되며, 이는 메모리 공급사의 가격 협상력을 뒷받침한다. 반대로 메모리 공급이 제한된 국면에서는 AI 인프라 확장 속도 자체가 메모리 가용성에 종속될 위험도 존재한다. 어느 경우든 메모리가 AI 투자 사이클의 주변부가 아닌 핵심 변수로 이동하고 있다는 점은 동일하다.