AMD 인스팅트 MI250 GPU 기반 최초의 오픈소스 파운데이션 모델로 알려져
모티프테크놀로지스가 직접 설계·개발한 파운데이션 소형언어모델(sLLM) ‘Motif 2.6B’를 오픈소스로 공개하고, 허깅페이스(Hugging Face)에 등록했다고 10일 밝혔다.
이번에 공개된 모델은 26억 개 파라미터를 탑재한 소형 언어모델로, 모회사인 AI 인프라 기업 모레(Moreh)의 GPU 클러스터링 최적화 기술과 자원 효율화 전략을 바탕으로 개발됐다. 특히 AMD의 인스팅트 MI250 GPU 기반으로 구현된 최초의 오픈소스 파운데이션 모델이라는 점에서 기술적 차별성이 있다. 일반적인 초거대 모델과 달리 단일 GPU에서도 무리 없이 추론이 가능하다는 점은 실제 산업 적용성과 확장 가능성을 동시에 보여준다.
모티프테크놀로지스는 지난해 오픈AI GPT-4를 상회하는 한국어 성능의 모델을 개발했던 모레 AI 사업부 인력들이 주축이 되어 올해 2월 설립된 기업으로, 빠른 개발력과 고도화한 GPU 활용 역량을 기반으로 차별화된 모델을 선보이고 있다.
이번 ‘Motif 2.6B’는 단순히 소형이라는 점 외에도 성능 면에서 동급 및 상위 모델을 능가하는 결과를 보였다. 자체 벤치마크 결과에 따르면, 70억 파라미터 모델인 미스트랄 7B 대비 134%, 구글 젬마1(2B) 대비 191%, 메타 라마 3.2(1B) 대비 139%, AMD 인스텔라(3B) 대비 112%, 알리바바 큐원 2.5(3B) 대비 104% 수준의 성능을 기록했다. 특히 수학·과학 문제 해결과 코딩과 같은 고난도 작업에서 높은 정확도를 보인 것이 강점이다.
기술적 특징 중 하나는 문맥 추론 능력 향상이다. 트랜스포머 기반 어텐션 구조를 정교하게 설계해 핵심 문맥을 잘 파악하고 불필요한 정보에 덜 흔들리는 구조로 설계돼, 생성 오류를 최소화한 것이 강점이다.
임정환 대표는 “소형언어모델은 저전력 환경에서 작동하고, 슈퍼컴퓨터 없이도 구현 가능해 실제 산업 현장에 더욱 적합한 구조”라며, “Motif 2.6B를 시작으로 온디바이스 AI나 에이전틱 AI 등 다양한 실용형 모델로 발전시킬 계획”이라고 밝혔다.
향후 모티프테크놀로지스는 멀티모달 AI 모델도 본격 추진할 예정이다. 올해 말까지 텍스트를 이미지(T2I), 영상(T2V)으로 변환하는 생성형 모델을 추가로 공개하고, 자체 AI 개발 역량과 모레의 인프라 기술을 기반으로 고객 및 파트너 확대에 나선다는 방침이다.
헬로티 서재창 기자 |
