[바스리] AI휴먼 기술로 세 마리 토끼 잡겠다는 ‘딥브레인AI’

바이라인네트워크에서 스타트업을 리뷰합니다. 줄여서 ‘바스리’. 투자시장이 얼어붙어도 뛰어난 기술력과 반짝이는 아이디어, 새로운 비즈니스 모델을 가진 스타트업은 계속해 탄생하고 있습니다. 세상을 깜짝 놀라게 하겠다고 출사표를 던진 이들을 바이라인의 기자들이 만나봤습니다.

요즘 은행 영업점에 가면 눈에 띄는 인물(?)이 있다. 대형 키오스크 속 가상 은행원이다. 사람 키 높이 만한 키오스크 안 가상 은행원은 친절한 미소로 손님을 맞이하고 영업점 내부나 금융상품 등을 쉽게 설명한다. 최근엔 업무 능력이 진화했다. 가상 은행원은 환전을 해주거나 증명서를 발급해주는, 기존보다 한 단계 난이도 있는 업무를 처리하기도 한다.

지난 2016년 6월 출범한 딥브레인AI는 이 가상 은행원을 만든 인공지능(AI)휴먼 스타트업이다. AI 기반의 영상합성, 음성합성, 실시간으로 상담이 가능한 대화형 챗봇 등 AI휴먼 기술을 개발해 현재 KB국민은행, 신한은행, 우리은행, 하나은행, NH농협은행, IBK기업은행에 공급하고 있다.

딥브레인AI는 AI휴먼 개발을 위해 수많은 얼굴 데이터를 수집했다. 아시아 외에도 다양한 인종 데이터를 모아 다국적 AI휴먼을 생성할 수 있도록 했다. AI휴먼을 활용해 자동으로 영상을 만들 수 있는 AI스튜디오를 국내외에서 서비스한다. 가령 “바이라인네트워크를 소개하는 1분짜리 영상을 만들어줘”라고 명령하면 거대언어모델(LLM)의 자료수집을 기반으로 AI휴먼과 음성, 자막, 배경이 자동으로 생성되어 1분짜리 영상을 뚝딱 만들어낸다. AI스튜디오는 딥브레인AI 해외진출을 위한 핵심 서비스다.

딥브레인AI는 AI휴먼 기술의 반대편에 있는 ‘딥페이크 기술(AI 기술을 기반으로 한 가짜 이미지, 오디오, 영상)’도 개발하고 있다. 방대한 얼굴 데이터를 수집한 덕분에 가짜 얼굴을 걸러낼 수 있는 기술력을 확보하게 됐다는 것이 회사 측의 설명이다. 현재 경찰청을 비롯한 공공기관 등에 딥페이크 솔루션을 공급하고 있다.

딥브레인AI는 올해 전략을 크게 국내와 국외로 나눴다. 국내에서는 금융권의 AI휴먼 확산을, 국외에서는 AI스튜디오 고객 확보를 목표로 하고 있다. 이 성과를 바탕으로 이르면 올해 말 프리 기업공개(IPO) 투자유치를 준비할 계획이다. <바이라인네트워크>는 최근 장세영 딥브레인AI대표(=사진)를 만나 회사의 기술력과 사업계획 등의 설명을 들었다.

-딥브레인AI의 원천 기술은 무엇인가

AI휴먼 기술 또는 인공인간 기술이다. 딥러닝을 이용해 원하는 대상의 목소리와 얼굴을 똑같이 합성할 수 있는 원천 기술을 보유하고 있다. 예를 들어 연예인 유재석의 이미지와 목소리를 학습해 복제할 수 있다. 이 기술을 2019년 상용화했다.

-원하는 인물의 이미지와 목소리를 복제할 수 있는 오픈소스도 있는데, 오픈소스 대비 딥브레인AI의 원천기술은 어떤 장점이 있나

오픈소스의 경우 성능, 품질을 개선하는데 제한이 있다고 생각한다. 딥브레인AI는 오랫동안 이 기술을 연구해온 만큼 특정 대상과 가장 비슷하게 합성하는 품질에 자신이 있다. 기존 LLM과의 연동에도 자신있다. 챗GPT와 연계 시 합성 속도가 중요하다. 사용자가 질문했을 때 빨리 응답해야 한다. 딥브레인AI는 합성 속도가 빨라 응답 지연이 이뤄지지 않는다. 딥브레인AI가 국내 6대 은행에 AI은행원 서비스를 공급할 수 있었던 이유이기도 하다. 또 모바일 뱅킹 앱, 스마트 ATM 등 AI은행원이 들어간 기기가 500만대 이상인데, 오픈소스 대비 안정성, 보안성 측면에서 뛰어나다.

또 데이터 관점에서 이점이 있다. 딥브레인AI는 오랫동안 얼굴 데이터와 영상을 수집해왔다. 직접 만든 AI모델이 300명 이상이다. 한국인뿐만 아니라 외국 사람들에 대한 얼굴, 영상 데이터를 다수 보유하고 있다. 그동안 학습한 영상 데이터는 9억개, 음성 데이터는 8000만개다.

AI휴먼, 진짜 사람과 비슷해지려면

-AI가 어설픈 사람의 모습을 하면 거부감이 들 수 있는데, 사람과 최대한 비슷한 모습을 하기 위해 어떤 노력을 하고 있나

내부적으로 AI휴먼의 이미지가 얼마나 자연스러운지 성능 테스트를 한다. 테스트는 사람에게 직접 AI휴먼 영상을 보여줘 얼마나 자연스러운지, 1점부터 5점까지 점수를 매기는 방식이다. 또 다른 방법으로, AI휴먼 영상과 진짜 사람 영상 중 더 자연스러운 영상을 고르라고 한다. AI휴먼이 진짜 사람이라는 대답에 50대 50의 결과가 나온 경우도 있었다.

품질 측정 방법으로 AI휴먼을 촬영한 영상을 프레임 단위로 쪼개, 실제 사람의 영상과 픽셀을 비교한다. 딥브레인AI의 AI휴먼 영상과 사람 영상의 픽셀 비교 결과 유사도가 90%대로 나왔다.

-AI휴먼이 말을 할 때 입모양과 음성이 일치되는 응답속도(레이턴시)는 어느정도 되나

자체적으로 측정했을 때 합성 속도는 0.2초~0.3초 정도 나온다. 이 정도면 대화 시 (사람과) 유사하게 느껴진다.

AI휴먼, 국내 70% 이상이 금융사

-금융권 고객이 가장 많다고

AI휴먼의 국내 주력 고객사는 금융권으로 전체 중 70%이상에 해당된다. 주로 은행, 증권사, 보험사 등을 고객군으로 확보하고 있다.

-금융권에서 AI휴먼 수요가 많은 이유는 무엇인지

신한은행의 경우 최근 무인점포인 AI브랜치를 열었다. 실제 영업점 직원이 상주해있지만 사용자의 눈에 안 보이도록 기기 뒤에 상주해있다. 사용자 입장에선 AI은행원으로부터 계좌개설, 환전 등 은행업무를 도움받을 수 있다. 은행 또한 온라인 전환(DT) 과정에서 지점 비용을 줄이고 있는 가운데, AI 결합을 하며 비용을 절감하고 효율을 높이고 있는 것 같다.

-AI무인점포에서 AI휴먼의 역할은 어디부터 어디까지인지

대화형 AI휴먼이 작동되기 위해서는 음성인식이 잘 되어야 하고, LLM이나 챗봇이 결합되어 사용자가 요청한 은행업무를 텍스트로 전환해야 한다. 이때 딥브레인AI가 하는 역할은 ‘얼굴’이다. 사용자의 요청을 듣고 이를 LLM에 전달하고, 또 다시 LLM의 결과값을 사용자에게 보내주는 은행원으로서의 역할을 한다.

-은행에선 대고객 업무에 AI, LLM을 접목하는 것에 대해 어떤 고민이 있는지

실제 업무를 얼만큼 접목할 수 있는지 고민을 하는 것 같다. LLM이 사용자의 질문 의도를 잘 파악하고 거기에 맞게 응대하는 것이 중요한 지점인 것 같다. 아직까지 음성 인식, 속도, 자연스러움 등 넘어야 할 산이 많지만 지금은 어느 정도 업무를 처리할 수 있는 단계에 와 있고 개선되고 있다.

-AI휴먼에 대한 전체 시장 수요는 어떻게 되나?

글로벌에서 빠르게 성장하고 있다. 해외에서는 주로 교육 시장, 더빙 시장의 수요가 크다. 대기업에서 사내 교육을 하거나, AI휴먼을 통해 더빙을 하는 등의 사례가 있다.

AI휴먼을 활용한 영상 제작, AI스튜디오

-AI스튜디오와 비슷한 글로벌 서비스도 많은데 딥브레인AI의 차별점은 무엇인가

딥브레인AI의 AI스튜디오는 영상 크리에이터가 쓰기에 최적화가 되어 있다. 주제만 입력하면 영상이 뚝딱 만들어져 영상 촬영, 편집 기술을 몰라도 된다. 이때 챗GPT 등 LLM이 자료 수집 등을 하고 이를 기반으로 영상, 자막, 배경 이미지, AI휴먼 등이 구성된다. 내용이나 배경, AI휴먼 등은 수정할 수 있다.

또 쿠팡이나 아마존 상품 URL을 넣으면 상품 설명 영상이 자동으로 만들어진다.

-AI스튜디오는 주로 어떤 고객사가 쓰고 있나

대표적인 고객군은 교육이다. 사이버 대학교에서 많이 쓴다. 사이버 대학교는 기본적으로 온라인 강의를 하기 때문에 매년 수백개의 영상을 제작해야 한다. 그만큼 비용도 많이 든다. 지난해 서울사이버대학교, 경희사이버대학교 등에서 딥브레인AI 솔루션을 도입해 AI교수를 만들어 강의 영상을 제작하고 있다. AI스튜디오를 썼을 때 새로 영상을 찍는 것 대비 비용이 30%밖에 들지 않아 사이버 대학가에서 수요가 높은 편이다.

두번째는 보험 설계사, 영업사원들이 본인을 AI휴먼으로 만드는 경우다. 자신의 아바타를 이용해 몇 백명, 천명 단위의 사용자에게 상품설명서 등의 메시지를 보내는 등 마케팅에 이용하기도 한다.

-사이버대학 영상 제작은 기존 촬영본을 학습하나

지금은 영상 제작을 위해 스크립트를 만들어야 한다. 추후 기존 강의 영상 속 내용을 추출해 자동으로 영상화하는 작업을 할 수 있도록 준비하고 있다.

-AI스튜디오 운영 시 주의하는 것이 있다면

AI윤리 부문이다. 예를 들어, 사용자 본인 얼굴이 아닌데 유명인 얼굴로 무언가를 하려는 시도가 가끔 있다. 유명인을 활용해 AI휴먼을 만들지 못하도록 안정장치를 해뒀다. 또 폭력적, 외설적이거나 욕설이 포함된, 혹은 종교 편향, 성별 비하 등의 콘텐츠를 만들지 못하도록 설정 해뒀다.

-꼭 유명인이 아니더라도 지인의 사진이나 영상을 악용할 수 있지 않나

그런 경우를 막기 위해 본인인증을 도입하려고 한다. 예를 들어 특정 문구를 읽게 해 본인인증을 하고자 한다.