엔씨소프트(036570)가 강력한 한국어 성능을 갖춘 중소형 오픈소스 시각언어모델(VLM) ‘바르코 비전(VARCO-VISION)과 한국어 멀티모달 벤치마크 5종을 4일 공개했다.
VLM은 텍스트(자연어)와 이미지를 함께 활용해 이해·처리할 수 있는 인공지능(AI) 모델이다. 최근 모달리티(정보 유형) 확장 연구가 강조되면서 주목받고 있다. 하지만 현재 오픈소스로 공개된 대부분의 VLM은 영어, 중국어 등을 기반으로 한다. 한국어 지원 모델은 소수에 불과해 국내 기업들은 GPT나 클로드 같은 빅테크 기업의 응용 프로그래밍 인터페이스(API)에 의존해야 하는 한계가 있다.
엔씨소프트가 공개한 바르코 비전은 한글, 영어 프롬프트와 함께 이미지 입력 값을 이해할 수 있는 중소형 모델이다. 거대언어모델(LLM)과 유사한 수준의 언어 능력까지 갖춰 애플리케이션에서 바르코 비전 단일 모델 만으로 이미지·텍스트 작업과 텍스트 전용 작업을 모두 처리할 수 있다.
엔씨소프트는 바르코 비전이 특히 한국어 인식·추론에서 동종 크기의 모델 중 가장 우수한 성능을 보였다고 평가했다. 바르코 비전을 활용하면 이미지 인식·질의응답, 이미지 설명, 글자인식(OCR), 사물 위치 검출(그라운딩) 기능을 활용해 다양한 멀티모달 AI 서비스를 개발할 수 있다.
콘텐츠 제작 기업은 이미지 상세 설명을 자동으로 생성해 콘텐츠 제작 시간을 획기적으로 줄일 수 있다. 이미지 내 텍스트 인식 기능으로 보다 많은 자료를 빠르게 수집하는 것도 가능하다. 멀티모달 AI 모델은 엔씨소프트가 개발 중인 ’바르코 스튜디오‘에도 적용될 예정이다.
엔씨소프트는 한국어 AI 모델 연구 발전에 기여하기 위한 벤치마크(비교 지표) 5종도 공개했다. 언어모델의 성능을 평가하려면 수행능력 판별의 기준점이 되는 벤치마크가 필요하다. 한국어는 몰티모달 벤치마크가 거의 없어 올바른 성능 평가가 어렵다.
회사는 영미권에서 대표적으로 사용되는 객관식 벤치마크 3종(MM벤치, 시드벤치, MM스타)과 벤치마크 1종(라바 인 더 와일드)을 기반으로 새로운 한국어 벤치마크 4종을 구축했다. 또 한국어 문서, 표, 차트에 대한 이해능력을 검증할 수 있는 ’K-DTC벤치‘ 벤치마크 1종을 추가했다.
이연수 엔씨리서치 본부장은 “바르코 비전과 한국어 벤치마크 5종 공개를 통해 멀티모달 AI 분야에서 선도적 위치를 증명했다”며 “앞으로 VLM의 접목 분야를 오디오, 비디오까지 확대하고 콘텐츠 제작 지원 기능을 강화하는 등 다양한 산업에서 활용할 수 있도록 성능을 끌어 올릴 것”이라고 말했다.
