월드 모델이 온다

최근 메타를 떠난 머신러닝의 대가 얀 르쿤은 월드 모델 스타트업을 시작할 것으로 알려졌다. 그는 현재 대형 언어 모델(LLM)을 중심으로 한 AI가 향후 5년 내에 한계에 도달할 것이며, 이후 AI 기술의 중심은 월드 모델이 될 것으로 전망했다. 월드 모델은 실제 세상이 작동하는 물리적, 논리적 법칙을 이해하고 시뮬레이션할 수 있는 AI를 말한다. LLM은 통계적으로 다음에 올 단어를 예측하는 방식으로 작동한다면, 월드 모델은 물리적으로 다음에 일어날 현상을 예측한다. 가령 공이 소파 뒤로 굴러가서 안 보여도, 공이 사라진 게 아니라 소파 뒤에 여전히 있다는 것을 이해하고, 유리컵이 바닥에 떨어지면 깨질 것을 예측하는 능력을 가진 AI다.

‘공간 지능’이라고도 할 수 있는 월드 모델의 개발에 구글과 메타 같은 기업들이 이미 뛰어들었고, 컴퓨터 비전의 선구자 페이페이 리 스탠퍼드 대학교 교수가 이끄는 월드 랩스에서는 첫 상용 제품인 ‘마블’을 발표했다. 얀 르쿤은 “맨정신을 가진 사람이라면 5년 후에도 우리가 지금 사용하는 것과 같은 방식의 LLM을 쓰고 있을 거라고 장담하지 않을 것”이라고까지 말한다.

그렇다고 해서 월드 모델이 LLM을 대체할 것으로 보기는 힘들다. 텍스트 처리와 지식 노동에는 여전히 LLM이 지배적일 것이기 때문이다. 하지만 장기적으로 AI가 로봇과 자율주행 등으로 3차원 현실 세계에 들어와서 문제없이 작동하기 위해서는 월드 모델이 필수적이다.

문제는 월드 모델의 개발에 필요한 데이터다. LLM은 인터넷의 글을 가져와 훈련시키면 됐지만, 월드 모델은 3D 공간 데이터, 사물의 질감과 무게에 대한 데이터가 필요하기 때문이다. 인터넷에 널려있는 텍스트와 달리 직접 시뮬레이션을 통해 수집해야 한다. 따라서 월드 모델의 개발은 LLM때보다 느릴 수밖에 없다는 전망도 나온다.

박상현 오터레터 발행인