AI 메모리 병목과 HBM 공급 구조 대전환

인공지능 시대가 반도체 메모리 산업의 지형을 근본적으로 바꾸고 있다. 팻 겔싱어 전 인텔 CEO는 AI 성능 향상의 최대 걸림돌로 '메모리 월(Memory Wall)'을 지목하며 세 가지 원인을 제시했다. 첫째, 토큰의 경제적 가치가 급등하면서 연산과 메모리 수요가 폭발적으로 늘어나는 선순환이자 동시에 병목이 발생한다. 둘째, 컨텍스트 윈도우가 수백만 토큰으로 확장되고 모델 파라미터가 거대해지면서 단일 추론에 투입돼야 할 메모리 절대 용량이 급증했다. 셋째, 첫 토큰이 출력되기까지의 지연 시간을 극단적으로 줄여야 한다. 결국 메모리는 대용량과 초고속 대역폭을 동시에 충족해야 하는 난제에 직면했다. 이 수요는 HBM 산업을 사상 최대 호황으로 이끌었다. 과거 '1년 호황, 3년 불황'의 강한 시클리컬 특성을 보이던 메모리 산업이 HBM 기준 약 90%에 달하는 이례적 영업마진을 기록하고 있다는 것이다. 그러나 공급이 수요를 따라가지 못하는 구조적 이유가 존재한다. SK하이닉스 김호식 부사장의 설명을 빌리면, HBM은 후공정과 적층 공정의 복잡성으로 제조 스루풋이 급감하고, I/O 핀과 TSV·로직 영역 때문에 동일 용량 대비 다이 크기가 약 3배 커져 웨이퍼 한 장에서 나오는 칩 수가 3분의 1 수준으로 줄어든다. 여기에 12단, 16단으로 적층할수록 각 층의 수율이 곱해져 최종 패키지 수율이 기하급수적으로 떨어진다. 이러한 변화는 메모리를 범용 상품에서 AI 핵심 인프라 자산으로 격상시키고 있다. 폰 노이만 아키텍처의 데이터 전송 병목을 극복하기 위한 노력이 최우선 과제로 부상했고, HBM4부터는 베이스 다이에 파운드리 로직 공정이 도입되며 엔비디아 같은 연산칩 제조사와 메모리 업체 간 밀착도가 극대화된다. 이에 따라 교체 비용이 급등하고, 5년 이상의 장기 공급 계약(LTA) 구조로 전환되면서 과거의 극심한 가격 변동성이 완화되는 구조적 전환이 진행되고 있다.