씨티 AI 반도체, 챗봇서 에이전트로

씨티그룹이 RAISE 2026 AI 서밋을 정리하며, AI 컴퓨트 수요의 무게 중심이 챗봇에서 자율 실행형 에이전트로 옮겨가고 있다고 진단했다. 코딩·리서치·툴 활용을 스스로 수행하는 AI 에이전트가 늘면서 머신러닝 컴퓨트 요구량이 전년 대비 약 10배로 확대되고, 모델 개발 주기도 기존 6~9개월에서 월 단위 반복으로 단축되고 있다는 설명이다. 이 변화는 하드웨어 구조 자체를 바꾸고 있다. 모든 연산을 GPU 한 곳에 집중하던 방식에서 벗어나, 학습은 GPU, 오케스트레이션과 에이전트 실행은 CPU, 저지연 추론은 전용 가속기, KV 캐시는 플래시·스토리지, 엣지는 소형 언어모델로 워크로드가 분리되고 있다. 씨티는 복잡한 인퍼런스 파이프라인과 에이전트가 늘수록 CPU 처리량이 급증한다며 CPU의 부활을 강조했고, 이를 근거로 AMD를 최선호 종목으로 제시했다. 팹리스 선호 순위는 AMD, Cerebras 순이며 메가캡 컴퓨트 반도체에서는 엔비디아와 브로드컴을 앞세웠다. 메모리 병목도 심화되고 있다. 데이터센터가 전 세계 메모리 소비의 약 70%를 차지하는 방향으로 이동하는 가운데 하이퍼스케일러들이 다년간 공급계약으로 생산 캐파를 선점하면서, 씨티는 의미 있는 공급 완화 시점을 최소 2028년 이후로 봤다. 멀티턴 에이전트 확산으로 KV 캐시 비용이 급증하자, 캐시를 GPU에서 저가 스토리지로 분리해 캐시 히트율 95% 이상과 첫 토큰 지연 20배 단축을 노리는 구조가 부상했고 플래시 부족으로 HDD까지 다시 편입되고 있다. 다음 경쟁 축은 속도다. 기업용 AI에서는 정확도만큼 지연 시간이 중요해지고 있으며, Cerebras는 최신 LLM을 초당 750토큰 수준, 일반 GPU 대비 약 10배 빠르게 구동할 수 있다고 밝혔다. 종합하면 에이전트 확산에서 시작된 토큰 폭증이 CPU 부활, 커스텀 실리콘 확대, 메모리 부족, 스토리지 병목, 저지연 인퍼런스 경쟁으로 이어지며 AI 인프라 투자 논리가 GPU 단일 종목을 넘어 컴퓨트 구조 전체로 확장되고 있다.