모티프, 314B MoE 모델 베타 공개

모티프테크놀로지스가 대규모 언어모델 Motif-3-Beta의 중간 체크포인트를 공개했다. 이번 모델은 전체 파라미터 3,140억 개 가운데 토큰당 130억 개만 활성화하는 희소 MoE(전문가 혼합) 구조를 채택했다. 세부 설계를 보면 384개의 전문가 중 토큰당 8개를 선택적으로 활성화하고, 별도로 1개의 공유 전문가를 상시 사용하는 방식이다. 여기에 GDLA 기반의 장문 컨텍스트 처리, 전문가별 Grouped PolyNorm, 수정된 mHC 기법을 결합한 독자 아키텍처를 적용했으며 최대 256K 토큰의 컨텍스트를 지원한다. 성능 지표인 Artificial Analysis Intelligence Index에서는 44점을 기록해 MiniMax M3, DeepSeek V4 Pro와 동일한 수준으로 평가됐다. 회사는 8월 초 최종 버전을 공개할 예정이며, 자사 모델을 한국발 글로벌 3위권으로 자리매김하고자 한다. 중국계 오픈 모델과 대등한 벤치마크를 제시했다는 점에서 오픈소스 LLM 시장의 경쟁 구도가 한층 다변화되고 있음을 보여준다. 다만 상용 서비스 검증과 실사용 성능은 최종 버전 공개 이후 확인이 필요하다.