추론 경쟁, GPU보다 메모리·스토리지가 좌우

반도체 시장 분석기관 세미애널리시스의 딜런 파텔이 AI 추론 경쟁의 승부처가 최신 GPU 그 자체에서 메모리와 스토리지 등 복합 인프라 설계로 이동하고 있다고 진단했다. 파텔에 따르면 세미애널리시스는 엔비디아·AMD의 GPU, 구글의 TPU, 아마존의 트레이니엄 등 총 8000만 달러 규모의 연산 자원을 확보해 매일 자동화된 CI 환경에서 벤치마크를 돌리고 있다. 최신 추론 엔진과 드라이버, 파이토치 버전은 물론 GLM·지푸·문샷·키미·알리바바 등 중국발 최신 모델까지 테스트 대상에 포함된다. 주목할 점은 벤치마크 방식의 진화다. 과거에는 고정된 컨텍스트 길이로 측정했으나, 이제는 500만 달러 규모의 '클로드 코드' 실제 트래픽을 분석한 '에이전트 X'를 통해 실제 에이전트 워크로드를 반영한다. 그 결과 어떤 칩을 쓰느냐만큼이나 메모리 오프로드를 어떻게 처리하느냐가 중요해졌다는 것이 핵심 결론이다. 파텔은 "엔비디아 GPU가 대부분의 경우 AMD보다 빠르지만, AMD GPU는 더 큰 메모리 덕분에 일부 상황에서 오히려 앞선다"고 설명했다. 또한 성능이 다소 낮은 GPU라도 우수한 스토리지 솔루션을 결합하면 최고 사양 GPU 단독 구성을 능가할 수 있다고 강조했다. 결론적으로 최고의 추론 경제성은 GB300 같은 최상위 GPU에 더해 최적의 스토리지·메모리·프론트엔드 네트워킹을 함께 층층이 쌓아야 달성되는 다변수 문제라는 것이 그의 분석이다.