LLM 시장 재편, 포스트트레이닝 부상

한 전직 대형언어모델(LLM) 연구소 직원이 AI 산업의 구조적 변화와 포스트트레이닝(사후 학습)의 중요성에 대한 통찰을 내놓았다. 그는 애플리케이션·제품 기업과 모델 제공사가 서로의 영역으로 진입하며 수렴하고 있으며, 장기적으로 살아남기 위해 제품 기업들도 자체 모델을 훈련해야 할 것이라고 진단했다. 특히 훈련 비용 구조의 변화가 두드러진다. 과거에는 사전학습(pre-training)이 전체 훈련 연산 비용의 80%, 포스트트레이닝이 20%를 차지했으나, 현재는 포스트트레이닝의 중요성이 커지면서 50 대 50에 가까운 비율로 이동했다는 설명이다. 두 영역에 요구되는 인재의 성격도 서로 크게 다르다고 덧붙였다. 이미 포스트트레이닝을 수행 중이라면 사전학습을 추가하는 데 드는 비용 부담이 크지 않아, 더 많은 기업이 사전학습에 뛰어들 것으로 내다봤다. 경쟁 우위(모트)와 관련해서는 사용자 기반의 독점 데이터가 업계 기대만큼 큰 가치를 주지는 못한다고 평가했다. LLM 사용 특성상 프롬프트가 올바르게 완수됐는지에 대한 신뢰할 만한 데이터를 얻기 어렵기 때문이다. 다만 실제 사용 패턴에 대한 신호를 주는 데이터는 강력한 경쟁력이 될 수 있다고 봤다. 그는 자체 모델이 없는 앱 기업이 폐쇄형 모델 제공사에 종속될 위험을 경고했다. 오픈소스 모델은 폐쇄형 대비 성능 격차가 여전하고 지속적인 신규 버전 출시 여부도 불확실하기 때문이다. 특정 앱 기업이 공략하는 틈새 시장이 충분히 커지면, 모델 제공사가 빠르게 유사 제품을 만들어 진입할 수 있다는 점도 지적했다. 마지막으로 향후에는 프롬프트를 여러 모델로 라우팅하고, 다수의 작업에 더 작고 효율적인 모델을 활용하는 방향으로 발전할 것이라 전망했다.