[인터뷰] 류중희의 리얼월드, 무엇을 하려 하나 ②

<논란의 류중희, 그는 왜 또다시 창업했나 ①>에서 이어집니다. 인터뷰①편에서는 류중희 대표가 새로 창업한 이유에 대해 다뤘다면, ②편에서는 류중희 대표의 ‘피지컬 AI’에 대한 생각과, 리얼월드라는 회사의 현황, 추구하는 목표 등이 다뤄집니다.

리얼월드는 정말 가능성이 있나

리얼월드 이야기를 해보자. 씨드가 210억원이라 큰 주목을 받았으나, 그렇다고 해서 앞서 말한 것처럼 교수들에게 충분한 연구 기반을 만들어 주기에는, 즉 GPU를 마구 사주기엔 적은 돈이지 않나?

그럴 수도 있는데, 당분간은 괜찮다. 왜냐하면 요즘 트렌드가 GPU를 생각보다 적게 쓰는 쪽으로 가서다. 피지컬 AI 쪽으로 갈수록 생각보다 GPU가 적게 들어간다. 왜냐면, 이미 학습된 모델을 많이 활용할 수 있어서다. 또, 학습시켜야 하는 도메인도 생각보다 작다. 예를 들어 비디오 생성 모델은 비디오 데이터 자체가 매우 크다. 그렇지만, 우리의 경우엔 비디오에서 인간이나 로봇의 움직임에 해당하는 부분만 빼서 쓰는 거다. 설계를 잘 하면, 의외로 학습시키는데 필요한 데이터나 컴퓨팅이 그렇게까지 많이 필요로 하진 않다.

그리고, 그 사이에 딥시크가 나오지 않았나. 결국 승자는 엔지니어링에서 나온다는 생각을 많이 하고 있다. 로봇은 엣지단에서도 잘 돌아가야 하고 실시간 응답성(high Frequency)도 좋아야 한다. LLM은 질문을 하고 좀 늦게 답이 와도 큰 상관은 없지만, 로봇은 몇 초 내로 답이 안 나오면 안 된다. 그런 것을 생각해봤을 때 처음부터 GPU를 때려박는 식으로 연구개발하는 것이 정답이 아니겠다고, 교수님들을 포함해 모두 생각하고 있다.

그래도 글로벌로 로봇에서 가장 두각을 드러내는 ‘피규어AI’와 같은 곳들은 천문학적인 투자를 받았다. 압도적으로 물량 차이가 벌어져 보이는데

피규어AI와 같은 곳은 “로봇을 양산하겠다”는 목적이 있어서 큰 돈이 필요하다. 직접 하드웨어를 개발해야 하니까. 그런데 우리는 소프트웨어 회사다. 훨씬 더 비용효율이 높은 회사를 만들 수 있다. 또, 비용효율이 높은 회사가 빨리 손익분기점(BEP)을 넘길 수 있는데, 아이러니하게도 그래야 펀딩도 더 잘받을 수 있을 거라 생각한다.

‘피지컬인텔리전스'(구글 출신 개발자가 창업한 로봇회사)나 ‘스킬드AI'(손정의 회장, 제프 베조스 아마존 대표 등이 투자)와 같이, 우리처럼 소프트웨어를 중심으로 하는 로봇 회사들이 어떻게 하고 있는지도 직간접적으로 듣고 있다. 논문도 보고 있고. 그런데 여러가지로, 이들 팀이 우리보다 압도적으로 뛰어나다는 생각은 안 든다.

어떤 부분에서 그러한가?

우리는 위로보틱스와 협업해 휴머노이드를 만드는데, 그 수준이 다른 회사들보다 우위에 있다고 본다. 이것은 확실히 말할 수 있다. 위로보틱스는, 비유컨대 ‘슈퍼카’를 만드는 회사다. 굉장히 창의적이고, 독특한 설계를 한다. 곧, 김용재 위로보틱스 대표가 교수 시절에 만들었던 것보다 훨씬 더 진보된(advanced) 로봇이 나온다(김용재 대표는 네이버랩스의 지원을 받아, 국내에서 잘 알려진 로봇 팔 ‘엠비덱스’를 만든 인물이기도 하다). 한국이든 미국이든 일본이든, 그 수준으로 만들 수 있는 데는 없을 거다.

여러 로봇 회사 중 위로보틱스와 협업을 결정한 이유는?

우리는 고자유도를 갖춘 휴머노이드 로봇이 필요했고, 위로보틱스는 그 로봇을 만들 연구비와 로봇을 구동할 AI를 필요로 했다. 너무 잘 맞았다.

나중에 한쪽이 다른 한쪽에 종속될까봐 우려하는 부분은 없었나?

그럴 필요가 없다. 우리 외에도 로보틱스 파운데이션 모델을 만드는 회사는 많이 있고, 위로보틱스도 그런 회사들과 언젠가는 일을 할 수 있다. 지금은 (서로간) 독점 협업 기간 중이지만, 리얼월드 역시 위로보틱스 외에 다른 로봇 회사와도 같이 일을 할 수 있고 얘기를 나누는 곳도 있다.

리얼월드의 역할과 고민

가장 잘 하는 하드웨어, 소프트웨어가 협업해 큰 자본을 투자 받아 로봇 회사를 만들겠다는 것이 요지다. 그런데, 그럴 경우 지금까지 해왔던 작은 로봇 회사들의 시장 가능성이 더 작아지지는 않을까? “우리는 가망 없는 것 아니냐” 이런 고민을 할 수도 있을 것 같은데

슈퍼카도 있지만, 아반떼 시장도 있지 않나? 로봇도 마찬가지다. 리얼월드가 만드는 파운데이션 모델을 쓰지 않아도 충분히 잘 돌아가는 영역도 있다. 분야는 다양하다. 예를 들어서, 도축 로봇을 만드는 회사가 본인들의 AI를 써서 로봇이 잘 돌아가면, 그렇게 하면 된다. 그런데 내부에서 연구 개발한 것으로 도축이 잘 안 되면, 그러면 그때 우리 파운데이션 모델을 가져다 쓸 수 있다.

우리는 딱 ‘오픈AI 포지션’ 인거다. 메타에서 라마를 가져다 써도 좋고, 직접 만들어서 써도 된다. 그 선택지 중의 하나로 리얼월드의 API를 가져다 써도 좋다. 이런 플레이어가 하나 있어야 난제를 같이 풀 수 있지 않겠나.

왜 피지컬 AI가 중요한가

피지컬 AI는 완전히 새로운 파운데이션 모델을 바닥부터 새로운 데이터로 만들어가야 한다. 인류의 큰 도전이라고 볼 수 있다. 여기서 재미있는 건, 한국과 일본은 이미 발등에 불이 떨어졌다는 거다. 중국에 의해 추월당하기 전까지, 한국과 일본은 공장 제조에서 투톱이었다. 아직도 한국과 일본에서만 만들 수 있는 제품이 있고.

그런데 이 두나라엔 큰 문제가 있다. 아직 인간의 노동력을 많이 필요로 하는데, 두 나라 모두 일할 수 있는 나이대의 인구가 줄고 있다. 산업용 로봇을 인간처럼 일하도록 교육시키지도 못했다. 이게 리얼월드가 고민하는 문제다.

리얼월드의 시장 얘기를 해보자. 오픈AI의 챗GPT 같은 경우는 나와 같은 일반인도 돈을 내고 쓰지만, 로봇 파운데이션 모델은 개인이 사서 쓰지는 않을 거다. 시장이 어느정도 있다고 보나?

일본과 한국만 합쳐서, 공장 노동자의 임금을 다 합하면 대략 5000억달러(약 687조원)다. 이걸 대체한다고 했을 때, 절반을 소프트웨어라고 치면 2000억~3000억달러(300~400조원) 정도 되는 크기의 시장이라고 볼 수 있다(웃음).

이미 공장 자동화가 많이 되지 않았나?

아직 공장에서 사람이 해야 하는 라인이 되게 많다. 특히 연성 소재의 것을 로봇이 다루긴 아직 어렵다. 지금 로봇이 가진 큰 난제 중 하나가, 자동차에 시트를 씌우는 거다. 물론 저희한테는 아직 난제지만, 그 작업을 언젠간 로봇이 할 거다.

기술적으로 리얼월드가 가장 난이도 있게 보는 건 어떤 부분인가?

데이터 확보다. 왜냐면, LLM으로 따지면 어떤 데이터를 모아야 하는지 정답이 있다. 사람들이 자연스럽다, 의미있다 느끼는 문장은 이미 웹에 많이 올려져있다. 그러니 LLM도 그걸 따라가면 된다. 그런데 로봇에 있어서의 정답은 그렇지 못하다. 로봇을 구동 시키는 액션 데이터가 거의 없다.

예를 들어서, 사람이 컵을 잡는 영상 데이터는 많아도, 로봇이 컵을 직접 잡는 데이터는 거의 없다. 특정한 로봇의 감속기가 어떻게 돌아가고, 액추에이터가 어떻게 움직여 컵을 잡는 동작을 성공 시켰느냐에 대한 데이터를 많이 모을수록 좋은 건데, 이걸 어떻게 모으느냐는 숙제다. 그래서 ‘텔레오퍼레이션(인간 운영자가 멀리 떨어진 곳에서 로봇을 제어하는 기술)’을 하는 거다.

텔레오퍼레이션과 같은 방식은 비효율적이라고 류 대표가 직접 말했던 기억이 있는데

그렇다. 그래서 텔레오퍼레이션과 동시에 사람이 잘 움직이는 데이터를 많이 모아서 로봇을 티칭하려고 하고 있는데, 그게 상당히 어렵다. 지금 현재로서는, 무조건 많은 데이터를 확보한다기 보다, 로봇이 잘못 동작하게 만드는 쓰레기 데이터를 걸러내고, 텔레오퍼레이션과 시뮬레이션 등을 다 모아서 가장 비용 효율적인 것이 무엇인지를 찾고 있는 단계다. (정답을 위한) 여러 가설이 있는데, 지금 내부에서 사람들이 테스트를 해보고 있다. 그렇지만, 이건 우리만 그런 것이 아니라, 심지어 엔비디아까지 모두가 그렇다.

현재 리얼월드에서 연구를 진행하는 이들은 얼마나 되나

교수가 6명이다. 그 중 한 분이 김용재 교수(위로보틱스 대표)다. 다른 다섯 분도 각자의 랩에서 10~15명 정도 되는 학생들이 두세명씩 짝을 이뤄 프로젝트를 하나씩 맡고 있다. 한 랩에서 3~5개의 프로젝트가 돌아가고 있다.

궁극적으로는 피지컬 AI를 하는데 필요한 프로젝트들인가?

그렇다. 엔드 투 엔드 파이프라인을 놓고 봤을 때 난제들이 있다. 그걸 실험을 해보자는 취지로 하고 있고, 결과들이 빠르게 나오면 그 시행착오들을 논문으로 공개할 거다. 이미 리얼월드 홈페이지에 주한별 교수의 논문 두 개가 올라와 있다. 곧 신진우 교수의 논문도 두 개 또 올라갈 예정이고.

엔지니어들이 부자가 되는 세상

창업자에게 무엇이 가장 중요하다고 보나

딱 두개다. 하나는 공감 능력이고 다른 하나는 용기다. 내 경우를 보면, 대한민국이 사회적 진화의 정점에 있다고 생각했다. 왜냐하면, 생물학적으로 DNA를 퍼트린다는 그 욕망을 뒤집을 정도의 선택을 사람들이 하고 있다. 사회가 무너지지 않게 하려면 무엇을 해야 하느냐, 이게 내가 사회에 공감하는 문제였다. 그리고 창업을 할 수 있게 용기를 준 것은 암이었고. 내가 계속 건강했다면, 이런 도전을 생각하진 못했을 것 같다.

그 시간을 새로운 기회를 만들어낸 것은 역량 아닌가

그런 과정을 겪으면서 나라는 사람이 하고 싶은 일에 집중하게 됐다. 내가 엔지니어인 게 좋고, 나랑 같이 연구하고 공부했던 사람들이 얼마나 훌륭한지 알았다. 나는 엔지니어들이 제일 부자가 되어야 한다고 생각한다. 미국 엔지니어들은 꽤 부자에 가까워졌다. 일런 머스크도 엔지니어 출신이다. 그런데 한국 엔지니어는 아직 그정도 슈퍼 리치가 아니다. 아시아의 엔지니어들이 슈퍼 리치가 되게 하려면 어떻게 해야 하느냐, 나는 그 생각밖에 없다.

엔지니어가 보기에, 문과생은 뭘로 돈을 벌 수 있을까?

창의력이다. 공감과 용기는 인간을 위대하게 만드는 힘이다. 그런데 거기에 문과 이과가 어디 있겠나. 그런 말은 한국에만 있다. 공학도 인문학도 모두 재료다. 이 재료를 잘 섞어서 내가 공감하는 어떤 사회의 문제를 용기를 갖고 풀어내면, 그게 다 프로그램 솔루션이다.

앞으로의 목표가 있나?

원래 내 50대의 목표는 소설가였다. 미래 예측을 하는 걸 좋아하니 SF나 테크놀로지가 들어가는 소설을 써서, 휴고상 같은 걸 하나 받겠다! 이런 생각을 했다.

그 꿈은 여전히 진행 중인가?

조금 사그라들었다. 지금 하는 사업이 훨씬 더 소설을 쓰는 것에 가까운 것 같다. 이게 더 멋있는 것 같고. 소설이 멋있어 보이는 것은, 소설이 미래를 당겨오기 때문이지 않나. 그런데 지금은 AI 파운데이션 모델들이 나온 이후 소설이 꿈을 보여주는 속도보다 소프트웨어가 보여주는 속도가 더 빨라진 것 같다.

내가 소설로, 글을 써서 사람들을 자극하는 것보다 우리 팀이 만든 소프트웨어가 사람들을 훨씬 더 많이 자극할 거 같다. 리얼월드와 같은 시도로 먹고 살 수 있다는 걸 증명하고 싶다. 내 역할은, 그걸 위해서 이 회사에서 일어나는 일을 잘 스토리텔링하는, 치프 스토리텔링 오피서(CSO)라고 생각한다. 그런 재능이 있다면 말이다. 지금이 즐겁고, 재미있다.

글. 바이라인네트워크

<남혜현 기자> smilla@byline.network