[결산] 2024년 IT업계 혼을 빼놓은 AI 모델 러시

2023년에 이어 올해도 생성형 인공지능(AI)은 전세계적인 화두였다. 오픈AI, 구글 등의 주요 AI 기업은 경쟁적으로 최신 AI 모델을 선보였고, 치열한 경쟁 속에서 발전 속도는 눈부셨다. 잠시 정체론에 휩싸이는 듯 했지만, 연말 모두의 긴장이완을 비웃듯 오픈AI와 구글이 대대적으로 혁신 이벤트를 개최하며 성장 회의론을 잠재웠다.

최강자 사이의 경쟁 가운데 독점 모델의 아성을 위협하는 오픈웨이트 모델도 지속적으로 성장했다. 아직 게임은 끝나지 않았다. 순식간에 대중적 인기를 구가하며 선두를 질주하던 오픈AI를 구글이 발빠르게 따라잡았고, 클로드를 앞세우고 아마존웹서비스(AWS)의 투자를 받으며 자금 투자에 숨통을 튼 앤트로픽의 추격도 만만치 않다. 유럽과 프랑스의 전폭적 지원을 받는 미스트랄AI의 성장도 내년까지 눈여겨볼 만하다.

올해 12개월 동안 시간 순서대로 주요 AI업체의 플래그십 모델 출시를 정리했다.

오픈AI

오픈AI가 2월 동영상 생성 모델 ‘소라’의 미리보기 버전을 공개했다. 자연어 텍스트 프롬프트로 고화질 동영상을 만드는 AI 모델은 이전에도 있었지만, 업계 1위 AI업체의 발표에 모두 주목했다.

공개된 버전은 제한된 수의 이용자에게만 제공됐는데 당시 소라를 접했던 사용자는 복잡하고 세밀하게 동영상을 만들어내는 AI의 등장에 놀라움을 표했다.

오픈AI는 소라에 대해 물리적 세계의 범용 시뮬레이터를 구축하는 것이라고 설명했다.

미스트랄AI

유럽 대표 AI 주자 미스트랄은 2월 대형언어모델(LLM) ‘미스트랄 라지’를 출시했다. 미스트랄은 오픈AI GPT-4에 이어 세계 두 번째로 출시된 대형 모델이라고 주장했다. 미스트랄 라지는 모든 언어의 문법과 문화적 맥락을 이해하는 것으로 설명됐다.

앤트로픽

앤트로픽은 3월 ‘클로드3(Claude 3)’를 출시했다. 오픈AI 공동 창업 멤버 출신들이 새로 창업한 앤트로픽은 챗GPT의 아성을 위협하는 대형언어모델(LLM) 기반 서비스를 내놓았다.

작년 3월 클로드1 모델 출시 후 1년만에 두번의 업그레이드를 거쳐 탄생한 클로드3는 우수한 문서 요약 능력과 추론 능력, 그리고 방대한 토큰 처리량을 앞세웠다. 클로드3는 챗GPT보다 한번에 더 많은 문서를 입력하고 더 정확한 답변을 받을 수 있다.

클로드3는 ▲하이쿠(Haiku) ▲소넷(Sonnet) ▲오퍼스(Opus) 등 3가지 모델로 제공되는 데 최고 사양인 오퍼스의 경우 각종 벤치마크에서 GPT-4와 제미나이 1.0 울트라를 앞섰다.클로드3는 스스로 테스트된다는 것을 깨닫는 등 메타인지 추론 능력을 보여줬다.

미스트랄AI

미스트랄AI가 4월 ‘믹스트랄 8x22B’를 출시했다. 총 매개변수 1천410억개이면서, 그중 활성 매개변수는 390억개인 전문가혼합모델이다. LLM 앱의 비용 대비 성능을 개선했다는 평가를 받았다.

메타

메타는 4월 오픈 언어모델 ‘라마3(llama3)’를 발표했다. 라마3는 80억개와 700억개 매개변수를 가진 2종의 모델로 처음 나왔다. 4000억개 매개변수를 가진 최고사양 모델은 이후 7월 출시됐다.

라마3 70B 모델은 앤트로픽의 클로드3 소넷과 제미나이1.5 프로를 앞서는 것으로 평가됐다.

메타의 라마는 고성능의 AI 모델을 독점 라이선스 없이 사용할 수 있다는 점에서 호의적 평가를 받았다. 라마3는 사전 훈련과 사후 훈련 과정을 고도화하는 방법론으로 모델의 성능을 끌어올렸다는 점에서 AI 발전의 새 전기를 열었다며 주목받았다.

오픈AI

오픈AI는 5월14일 GPT-4의 후속 플래그십 모델인 ‘GPT-4o’를 공개했다. 대형언어모델(LLM)이었던 GPT는 4o에서 멀티모달 AI로 나아갔다.

GPT-4o는 텍스트뿐 아니라 음성, 이미지, 비디오 등을 이해하고, 출력할 수 있게 됐다. 4o의 o는 옴니(omni)의 약자다. 멀티모달로 전환했다는 건 모델에 토큰을 입력하는 채널이 유형에 상관없이 하나란 얘기다. 그전까지 GPT-4는 오디오나 이미지 입력을 텍스트로 변환한 뒤 그 추론 결과 텍스트를 다시 오디오나 이미지로 변환해 최종 출력하는 방식이었다.

GPT-4o는 모델 자체적으로 모든 입력 유형을 받아들이고 바로 답을 출력한다. 오디오 입력에 최소 232밀리초, 평균 320밀리초로 응답해 인간의 응답시간과 유사한 정도다. API 이용 시 더 빨라졌고 50% 저렴해졌다. 이로써 사람처럼 보고 듣고, 사람처럼 말하고 그림을 그리는 AI의 시대가 본격화됐다.

구글

구글은 5월14일 구글I/O 컨퍼런스에서 추론 모델인 ‘제미나이 1.5 플래시’를 공개했다. 제미나이1.5 프로보다 가벼우면서도 더 빠른 속도와 더 높은 비용 효율성으로 무장했다. 다중 모드 추론과 최대 100만 토큰의 컨텍스트를 처리하는 것으로 소개됐다. 100만 컨텍스트 규모는 당시 최대 길이였던 클로드3의 20만을 10배 뛰어넘은 것이었다. 요약, 채팅, 이미지 및 비디오 자막, 데이터 추출 등에서 우수성을 보였다.

구글은 같은 행사에서 이미지 생성 모델인 ‘이마젠3(Imagen3)’와 비디오 생성 모델인 ‘베오(Veo)’를 공개했다. 이마젠3는 자연어의 의도를 이해하고 긴 프롬프트의 세부사항을 반영해 사실적이고 세밀한 이미지를 생성했다. 베오는 1080p 해상도 비디오를 1분 이상 분량으로 생성할 수 있었다. 소형언어모델(SLM) ‘젬마2(Gemma2)’도 공개됏다.

앤트로픽

6월 앤트로픽은 ‘클로드3.5 소넷’을 출시했다. 클로드3.5 소넷은 이전 클로드3 오퍼스보다 더 작은 규모이면서도 더 높은 성능을 기록했다. 코딩, 다단계 워크플로우, 차트 해석, 이미지 해석 등에서 우수성을 보였다.

미스트랄AI

미스트랄은 7월 ‘미스트랄 라지2’ 모델을 허깅페이스를 통해 오픈웨이트로 출시했다. 연구목적의 경우 무료로 사용할 수 있고, 상업 목적의 경우 별도 상용 라이선스를 받게 했다. 1230억개 매개변수로 만들어졌고 12만8000개의 토큰 컨텍스트를 처리한다. 벤치마크에서 메타의 라마3.1 405B와 비교됐다.

메타

메타가 7월 ‘라마3.1’을 출시했다. 컨텍스트 길이를 12만8000개로 확장했고, 8개 언어 지원을 추가했다.

이때 공개된 라마3.1 405B는 여러 벤치마크에서 GPT-4o, 클로드3.5 소넷 등과 경쟁하는 수준이었다. 더 작은 버전의 경우에도 특정 테스트에서 더 나은 성능을 보였다.

오픈AI

오픈AI는 9월 추론 모델 ‘오픈AI o1’의 미리보기를 공개했다. 그동안 매개변수의 규모를 늘려 LLM의 성능을 끌어올리는데 주력했던 주요 AI 기업들이 더 복잡한 작업과 더 어려운 문제를 정확히 풀 수 있는 추론 모델 연구로 전환했다는 것을 보여준다.

오픈AI o1은 물리학, 화학, 생물학, 수학, 코딩 등 테스트에서 뛰어난 성능을 보이는 것으로 소개됐다. 국제수학올림피아드(IMO) 예선에서 GPT-4o가 13%의 정답률을 기록한 반면, o1 모델은 83%의 정답률을 기록했다.

이와 함께 더 저렴한 버전인 ‘오픈AI o1 미니’도 공개됐다. o1보다 80% 저렴하고, 더 좁은 규모의 지식을 필요로 하는 분야에서 효율적이라고 회사측은 설명했다.

메타

메타는 9월25일 ‘라마3.2’를 출시했다. 라마3.2의 가장 큰 변화는 멀티모달이다. 시각적 인지 능력을 학습해 이미지 추론에서 높은 성능 개선을 이뤄냈다. 더 작은 텍스트 모델도 새로 나왔다.

10월과 11월

2개월은 모처럼 주요 기업의 새 AI 모델 발표가 없었다. 그렇다고 조용하진 않았다.

일단 앤트로픽이 사람처럼 컴퓨터를 사용하는 AI 기능을 소개했다. 앤트로픽 클로드3.5 소넷의 ‘컴퓨터 유즈’란 기능은 사람처럼 데스크톱 환경에서 마우스 포인터와 커서를 움직이고, 항목을 클릭하고, 키보드로 정보를 입력했다. 소프트웨어를 찾아 실행하고 정보를 검색하면서 목표를 완수하는 AI 에이전트의 새 가능성을 보여줬다.

10월 중순 노벨위원회는 2024년 노벨 물리학상에 존 J. 홉필드 프린스턴대학교 분자생물학과 명예교수와 제프리 E. 힌튼 토론토대학교 컴퓨터과학과 교수를 선정했다고 발표했다. 두 사람은 각각 인공신경망과 딥러닝의 기반을 닦은 인물이다.

노벨위원회는 이어 올해 노벨화학상에 데이비드 베이커 미국 워싱턴대 생화학과 교수와 데미스 허사비스 구글 딥마인드 최고경영자(CEO), 존 점퍼 딥마인드 수석연구원 등을 선정했다. 베이커 교수는 단백질 구조 분석을, 하사비스와 점퍼는 단백질 구조 예측에 기여했다. 베이커 교수는 단백질 구조를 분석하는 AI ‘로제타폴드’를 개발했으며, 하사비스와 점퍼는 단백질 구조를 예측하는 AI ‘알파폴드’를 개발했다.

마이크로소프트

업계에선 트랜스포머 기반 AI 모델의 성능 향상이 한계에 이르렀다는 정체론이 퍼졌다. 그동안 여러 AI 기업들은 거대한 규모의 GPU 하드웨어 클러스터를 구축하고 확장함으로써 AI 모델의 성능을 높이는데 주력했다. 그러나 오픈AI나 구글 같은 기업의 모델이 확장성 한계에 임박했다는 분석이 제기됐다.

10월말을 앞두고 마이크로소프트 연구소가 작년 선보였던 LLM 양자화 기술인 ‘비트넷(BitNet.cpp)’을 오픈소스로 공개했다. ‘1비트 LLM용 추론 프레임워크’라고 묘사되는 비트넷은 노트북 탑재 CPU에서도 LLM급 모델의 추론을 빠르고 에너지 효율적으로 수행하게 해준다. LLM의 연산 단위를 더 작은 비트 표현으로 줄여 성능과 효율성을 높이는 양자화의 일종이다. 마이크로소프트에 따르면, 비트넷은 Arm CPU의 경우 1.37~5.07배 속도 향상과 55.4~70% 에너지 감소의 효과를 보인다. x86 CPU의 경우 2.37~6.17배 속도 향상과 71.9~82.2%의 에너지 감소의 효과를 낸다. 비트넷을 사용하면 10억개 매개변수 규모 모델을 단일 CPU에서 구동할 수 있다고 한다. 이로써 온디바이스 AI 수준을 LLM으로 끌어올릴 가능성이 열렸다.

아마존웹서비스

아마존웹서비스(AWS)가 연례행사 ‘AWS 리인벤트 2024’에서 자체 멀티모달 AI 모델인 ‘노바’를 선보였다. AWS는 앤트로픽에 120억달러를 투자하면서 독점 모델에 대한 통제권을 확보해왔는데, 사용자의 모델 선택권을 높인다며 자체 파운데이션 모델을 공개했다. 아마존 노바는 6종류로 나왔는데, 크기에 따라 나뉜다. 각 크기의 모델은 업계의 다양한 독점 혹은 오픈 모델과 비견된다. 텍스트 외에 이미지나 비디오 생성에 특화된 모델도 있다.

오픈AI

통상적으로 12월은 IT업계에서 조용한 시기로 통한다. 그러나 올해 12월은 어느해보다 뜨거웠다.

오픈AI는 5일부터 20일까지 12 근무일 동안 매일 온라인 이벤트를 개최했다. 그 가운데 추론모델인 ‘오픈AI o1’을 정식 출시했고, 동영상 생성 모델인 ‘소라’를 정식 출시했다.

행사 마지막날엔 차세대 추론 모델로 개발중인 ‘오픈AI o3’ 모델을 미리 소개했다. 특히 오픈AI o3는 인공일반지능(AGI)로 가는 주요 이정표로 소개됐다. AGI 달성 여부 평가에 쓰이는 주요 벤치마크에서 인간에 필적하는 수준의 성적을 기록했다.

구글

구글은 오픈AI의 각종 발표에 딱 맞춰서 ‘제미나이 2.0’을 발표했다. 제미나이 2.0은 멀티모달과 AI 에이전트를 강조했다. 이미지, 오디오, 동영상 등을 처리하는 성능을 대폭 끌어올렸다.

경량 모델인 ‘제미나이2.0 플래시’도 공개됐다. 제미나이 2.0 플래시는 기본 사용자 인터페이스 액션 기능과 멀티모달 추론, 장기 맥락 이해, 복잡한 명령 따르기 및 계획, 구성적 함수 호출, 기본 도구 사용, 향상된 지연 시간 등을 통해 새로운 에이전트 경험을 제공한다.

동영상 생성 모델 ‘베오2’도 선보였다. 오픈AI 소라보다 더 높은 해상도인 4k 비디오를 생성할 수 있다.

마지막으로 ‘제미나이 2.0 플래시 싱킹’이란 추론 모델을 선보였다. 오픈AI o1보다 더 높은 성능의 추론을 할 수 있는 것으로 소개됐다. 구글은 프로그래밍, 수학, 물리학 등의 분야의 가장 복잡한 문제를 추론할 수 있으며, 멀티모달 이해, 추론, 코딩 등에 적합하다고 설명했다.

글. 바이라인네트워크

<김우용 기자>yong2@byline.network