[인터뷰] 올거나이즈가 일본 금융 시장을 뚫을 수 있었던 이유

바야흐로 대규모언어모델(LLM) 시대다. LLM이 세상에 나온지 얼마되지 않았지만 수요는 빠른 속도로 커지고 있다. 금융권에서 더더욱 그렇다. 지켜야 할 규제가 많고, 법령이 복잡한 금융권 특성상 LLM은 업무 혼잡도를 줄여줄 수 있는 보조 역할을 할 수 있다. LLM을 해결사로 이용하겠다는 수요는 국내 뿐만 아니라, 일본에서도 커지고 있다.

그러나 이런 LLM에도 치명적인 단점이 있다. 바로 가격이다. 규모가 크거나 데이터가 많을수록 LLM이 학습해야 하는 양이 많아져 비용도 커진다. 이런 기업군을 위해서는 소형언어모델(sLLM)이 등장했다. LLM 보다 모델의 크기는 작지만, 특정 도메인(산업군) 데이터를 학습한 특화 언어모델이다. LLM 대비 비용이 적고, 데이터 훈련 시간이 짧다는 이점이 있다. 국내외 틈새시장에서 여러 sLLM 기업이 활발한 움직임을 보이고 있다.

대표 sLLM 기업 중 한 곳인 올거나이즈는 한국과 일본의 금융권과 미국 시장을 공략하고 있다. 그 중 일본 시장이 올거나이즈의 거점이다. 현재 올거나이즈의 고객사 수는 300여 곳으로 이 중 60%가 일본 고객이다. 미쓰이스미토모은행(SMBC)을 비롯해, 노무라증권, 아사카은행, 다이와증권 등 일본 굴지의 금융사를 고객사로 확보하고 있다.

이창수 올거나이즈 대표(=사진)에 따르면, 이 회사가 디지털전환(DT)에 보수적인 일본 금융사들을 고객사로 확보할 수 있었던 것은 첫 단추를 잘 꿴 덕이다. 각고의 노력 끝에 SMBC를 시작으로, 다수의 현지 금융사들을 포섭할 수 있었다. 이창수 대표를 지난 24일, 서울 강남에 위치한 올거나이즈코리아에서 만나 일본 금융 시장을 사로잡을 수 있었던 배경과 일본에서의 기업공개(IPO) 계획 등에 대한 이야기를 들어봤다.

-올거나이즈의 제품 소개를 해달라

내부적으로 sLLM 플랫폼이라고 부르는 ‘알리’는 고객사가 실제 업무에 LLM을 쓰기 위해 필요한 것들을 가지고 있다. 고객사는 알리로 (업무에 적합한) 앱을 만들 수 있다. 또 (알리를 근간으로 한) 금융권 전용 모델, 생성형 AI플랫폼 등이 있다.

-가장 수요가 많은 제품은 어떤 것인지?

가장 매출이 높은 제품은 검색증강생성(RAG)을 중심으로 하는 생성형AI다. 고객사 내부에 있는 다양한 문서나 관련 법령을 학습해 사용자가 물어보면 답을 하는 방식이다. 여기에 올거나이즈의 차별점은 (사용자의 물음에 대한) 내용이 여러 폴더에 흩어져 있어도 답변을 할 수 있다는 점이다. 답변할 내용이 법률에도 있고 시행령, 지침 등에도 있다면 AI가 차례차례 봐야 할 것들이 많다. 이때 어떤 내용을 중심으로 답변을 할지 확인하기 위해 에이전트가 필요하다. 사용자 질문에 답변하는 것을 넘어, 어떤 업무든 필요하면 도울 수 있는 ‘업무 에이전트’를 만드는 것에 가장 집중하고 있다.

– 똑똑한 업무용 AI 비서를 만들고 있다는 이야기인데, 사용자가 어떻게 활용할 수 있는지 예를 들어 달라

바이라인네트워크에서 올거나이즈의 업무 에이전트인 알리를 이용한다고 했을 때, “기존 기사에서 AI와 관련된 기사는 뭐가 있었어?”라고 물으면 필요한 기사를 찾아준다. 나아가 특정 사건 관련 바이라인네트워크의 기사와 다른 관점을 가진 기사를 찾아주기도 한다.

-올거나이즈의 주 고객군은 어디인가?

금융이다. 앞서 언급한 것처럼 금융사에서 내부 규정, 시행령 등을 묻는데 가장 많이 활용하고 있다. 예를 들어, 금융권은 ‘금융소비자보호법’으로 고객에게 가입 상품을 잘 설명해줘야 하는데, 이때 설명이 복잡하고 길다. 은행 창구 직원이 고객들에게 질문을 받을 때마다 일일 숙지하고 답을 하기 어려워 이때 알리가 답변을 찾아준다.

보험사의 경우 약관이 복잡하다. 어떤 건 보장이 되고 어떤 건 안되고, 또 고객이 가입한 시점의 상품 약관이 다르다. 이걸 사람이 하려면 기존 약관 등을 일일이 분석하고 이해해야 하는데, 알리가 약관 데이터와 고객이 가입한 보험 데이터를 종합해 답변을 한다.

-복잡한 데이터 속에서 정확한 답변을 찾아줄 수 있는 기술적 원리는 무엇인지?

저희는 생성형 LLM이 나오기 전부터, 사용자에게 많은 문서에서 답을 찾아주는 서비스를 했다. AI가 주어진 문서를 읽고 이해 추론하는 기계독해이해(MRC) 기술로, 챗GPT처럼 답변을 하는 것이 아닌 있는 그대로 답변을 주는 방식이었다. 다만, 비슷한 내용의 문서가 여러 개이거나 문서 제목이 구조화되어 있다면 (MRC가 답을 찾기) 힘들다. 그래서 이를 최적화하는 기술을 개발하던 중, LLM이 세상에 나왔고 RAG를 개발하기 시작했다.

-요즘 LLM 서비스를 하는 곳이라면 필수적으로 RAG를 개발하고 있는 추세인데, 올거나이즈만의 차별점이 있나?

리트리버 최적화를 어떻게 할지 생각을 많이 했다.

-리트리버라고 하니 강아지밖에 생각이 나지 않는다

그 리트리버에서 나온 말이 맞다. 보통 리트리버에게 장난감 등을 던져주면 다시 물어 온다. 마찬가지로, 사람이 무언가를 물어보면 정보를 찾아오는 시스템을 리트리버라고 한다.

-AI가 답을 찾는 과정에서 비슷한 표현이나 단어가 있을 경우 어떻게 하나?

그걸 해결할 수 있는 방법이 몇 가지 있다. 똑같은 약어라도 도메인에 따라 다르다. 예를 들어, LTV가 마케팅에서는 라이프타임밸류(Life Time Value)로 쓰이고, 금융권에선 담보인정비율로 쓰인다. 같은 표현이 문맥상 어떻게 달라지는지, 해당 도메인에 특화된 딜리버를 학습시키는 것으로 해결할 수 있다. 이렇게 되면 똑같은 LTV라도 마케팅에서는 라이프타임밸류로, 금융권에선 담보인정비율을 뜻한다는 것을 AI가 안다.

-리트리버가 도메인 문맥에 따라 단어의 뜻을 결정한다는 것으로 정리할 수 있겠다

맞다. ‘도메인 특화 리트리버’는 도메인에 있는 문서를 학습해서 거기서 많이 나오는 단어가 무엇인지 AI가 알게 되는 구조다. 또 도메인마다 문서의 형태가 다양하다. 예를 들어, 금융권의 경우 표 안에 표가 들어있는 등 복잡하다. 법률의 경우 예외조항이 있기도 해서 도메인마다 문장의 특징, 문서를 구성하는 방식이 다르다. 도메인 특화 리트리버는 도메인에 특화된 문장과 문서의 특징을 잘 이해하고 거기에 맞게 (데이터를) 쪼갠다. 그래야 LLM에게 좋은 답변을 알려줄 수 있고, 나아가 사용자에게 원하는 답을 줄 수 있다.

-리트리버 기술도 꾸준히 고도화를 해야 할 것 같다

그 일환으로 조만간 에이전트 RAG를 출시한다. 사용자가 모호하게 질문을 했을 때 하나의 답변을 주는 것이 아닌, 리트리버가 여러 번 (사용자에게) 물어보고 최적화해 답변을 제공한다. 필요한 도구가 있다면 스스로 불러오기도 한다. 기존에는 RAG가 일회성이고 일방향이었다면 에이전트 RAG는 더 나은 방향의 답을 하기 위해 사용자와 상호작용을 한다는 점에서 차이가 있다. 정리하자면, 기존 RAG는 특수한 부분에만 적용이 가능했다면, 에이전트 RAG는 전반적인 업무에 적용 가능하다.

-그 기술 또한 회사만의 노하우와 기술력이 있어야 할 것 같다

맞다. 올거나이즈는 5~6년 동안 이 작업을 계속해왔다.

-답변에 대한 정확도는 얼마나 되나?

업무에 따라 다르다. 보통 고객사에서 LLM의 개념검증(PoC)을 할 때 테스트 데이터로 트레이닝하면 정확도가 올라간다. 고객사 입장에선 도입해 직접 써보고 정확도를 개선하는 방식으로 서비스를 이용할 수 있다. 성능 검증 기간은 보통 3개월 정도 걸린다.

-올거나이즈의 sLLM은 SaaS, 온프레미스 두가지 방식으로 다 지원되나?

그렇다. 어떤 방식으로 서비스를 도입할지는 고객의 선택이다. 온프레미스를 쓰는 산업군은 망분리 규제로 외부 서비스를 쓸 수 없는 금융권이다. 또 치명적인 데이터가 다른 서버에 전송되는 것이 불안하다면 온프레미스로 구축한다.

-현재 고객사 수는 얼마나 되나?

한국과 미국, 일본 전체 고객사 약 300곳을 보유하고 있다 이 중 한국 고객사는 10곳으로 대부분이 금융권이다. 또 300곳 중 일본 고객사가 60%로 가장 많다.

-그 많은 일본 금융사를 고객사로 확보할 수 있었던 배경이 무엇인지?

일본의 첫 금융권 고객은 미쓰이스미토모은행(SMBC)이다. 액셀러레이터를 통해 알게 됐다. 당시 저희 서비스와 비슷한 AI 서비스를 쓰고 있었던 SMBC는 재계약을 앞두고 고민이 많았다. 상담사들이 매주 데이터를 일일이 모아 AI에 학습시키는 번거로운 과정을 거쳐야 했었는데, 이를 자동화할 수 있는 저희의 제품을 PoC 한 뒤 도입했다. 해당 부서에서 좋은 반응을 보여 현재 SMBC 계열사 서비스 120개에 올거나이즈 제품이 도입됐다. 감사하게도 SMBC의 사례를 보고 다른 일본 금융사에서도 서비스를 도입하기 시작했다.

-일본 고객사 수가 압도적인 만큼, 일본 매출이 클 것 같다

1년 성과를 보면 일본의 매출이 더 큰 것은 맞다. 다만, 올해는 총계약가치(TCV) 기준으로, 국내 매출이 일본 매출을 역전했다. 한국은 온프레미스 구축 사례가 많기 때문에 비용이 크다. 또 국내의 경우 AI를 서비스 단위가 아닌, 전사 과제로 보기 때문에 팀별, 서비스 부문별로 계약을 하기보다 (회사 전체가 AI를 도입해) 온프레미스로 구축하곤 한다. 정리하자면, 국내 고객들은 온프레미스형, 일본 고객들은 서비스형인터넷(SaaS)형으로 서비스를 도입하는 특징이 있다.

-조금 다른 이야기일 수 있는데, 올 초 불거진 라인사태의 영향은 없었나?

영향이 없는 것 같다. 저희는 한국에선 올거나이즈코리아로 한국회사고, 일본에선 올거나이즈재팬으로 일본회사, 미국에선 올거나이즈유에스에이로 미국회사다. 각 회사 별 100% 현지인 직원으로 구성되어 있어 고객사들은 저희가 어느 나라 회사인지 신경을 잘 안 쓴다.

-본사는 어디에 있나?

본사는 일본에 있다. 다만, 한국 직원 수가 41명, 일본은 20명 정도로 한국 규모가 더 큰 편이다.

-본사를 일본에 둔 이유가 무엇인지?

서비스 시작을 한, 미, 일 동시에 했는데, 그 중 일본이 가장 성장세가 컸다. 이전 회사에서 인수합병(M&A) 경험이 있었던 만큼, 이번엔 기업공개(IPO)를 해야겠다고 결심해 매출규모, 향후 성장성이 클 것 같은 일본을 선택했다. 상장 또한 일본에서 하기로 결정, 본사를 일본으로 옮겼다.

-일본 상장 내년을 목표로 하고 있다고. 지금 준비상황은 어떤가?

일본은 상장 전, 2년치 감사를 받아야 하는데 현재 감사를 받고 있다. 내년 여름 쯤 상장 심사 신청을 해 내년 말쯤 상장할 수 있을 것으로 보인다. 또 일본은 상장 시 이익을 중요하게 여겨 어떻게 성장을 시킬지 고민하고 있다.

-그럼 일본 법인이 상장을 하는 것인가?

올거나이즈는 네 개의 법인이 있다. 올거나이즈홀딩스가 모회사로 있고 그 밑에 한, 미, 일 자회사가 있다. 따라서 올거나이즈홀딩스가 상장을 하는 것이라고 보면 된다.

-미국의 경우 토종 기업들의 서비스가 강세인데, 어떤 차별점을 가져갈 것인지?

미국은 기본 모델이 좋은 것이 많다. 저희는 모델 위에서 앱을 만드는 빌더나 여러 앱을 바로 쓸 수 있도록 제품화가 되어 있다. 미국 고객사들은 다양한 모델을 테스트해보고 싶어하는 경향이 있는데, 이때 올거나이즈는 쉬운 사용성을 내세우고 있다.

-미국을 포함한 전세계 경쟁사들 대비 올거나이즈만의 특장점은 무엇인지?

첫번째는 AI의 제품화다. AI 모델을 가지고 할 수 있는 것은 다양하지만, 제품화가 돼있어야 한다. 예를 들어, 업무 시 모순되는 내용을 찾는다고 하면 일반적으로는 생성형AI에 애플리케이션프로그래밍인터페이스(API)에 붙여 개발을 해야 한다. 그러나 저희는 그래픽사용자인터페이스(GUI)를 구축해 바로 테스트할 수 있다. 즉, 엔지니어링 지식없이, 코딩 없이 현업에서 활용할 수 있다.

두번째는 기술력으로, RAG가 복잡하고 어렵고 지저분한 문서에서도 잘 동작한다. 저희는 리트리버에 대한 최적화를 상당기간 했고, 많이 했다.

-지금 회사에서 가장 집중하고 있는 것은 무엇인지?

(국내에서) 온프레미스 구축 사례가 늘어나고 있어, SaaS 버전과 온프레미스 버전을 더 잘 표준화하고 스케일링하는 것에 집중하고 있다.

-누적 투자금액은 얼마인지?

3500만달러(한화 약 457억3800만원)로, 향후 10년치 런웨이가 남아있다. 다만, 상장을 준비하고 있는 만큼 투자금을 아껴 써야 하는 상황이다.

글. 바이라인네트워크

<홍하나 기자>0626hhn@byline.network