추론 스케일·랙스케일 컴퓨팅 초기 국면

테크 리서치 애널리스트 벤 바자린(Ben Bajarin)이 AI 컴퓨팅 시장의 흐름을 두고 도발적인 진단을 내놨다. 그는 시장과 업계 전반이 '대규모 추론(inference at scale)'이 만들어내는 변곡점의 크기를 여전히 제대로 파악하지 못하고 있다고 지적했다. 그동안 AI 투자 서사는 대형 모델을 훈련(training)하는 단계에 초점이 맞춰져 있었지만, 바자린은 실제 서비스가 확산되면서 무게 중심이 추론 단계로 이동하고 있다고 본다. 문제는 이 추론 수요를 감당하기 위한 컴퓨팅 구조가 기존과 다르다는 점이다. 그는 추론을 대규모로 처리하려면 개별 서버가 아니라 랙 전체를 하나의 연산 단위처럼 묶는 '랙스케일 컴퓨팅 아키텍처(rack scale compute architecture)'가 필수적이라고 강조했다. 다수의 가속기를 고대역폭으로 연결해 하나의 거대한 추론 엔진으로 작동시키는 방식이다. 동시에 그는 이러한 랙스케일 전환이 아직 '매우 초기 국면(early innings)'에 머물러 있다고 평가했다. 즉 관련 하드웨어·인프라 사이클이 정점이 아니라 오히려 시작점에 가깝다는 시각이다. 이 견해가 맞다면 랙 단위 통합 시스템을 주도하는 AI 가속기 설계업체와 데이터센터 인프라 공급망은 추론 수요 확대에 따른 장기 성장 여력을 확보하게 된다. 다만 이는 구체적 실적·수치가 아닌 애널리스트의 전망성 관점이라는 점은 감안해 해석할 필요가 있다.