[인터뷰] 고객센터 직원들은 AI 챗봇 개발을 어떻게 주도했을까? (feat.핀다)

(사진=왼쪽부터 송영욱 핀다 고객경험(CX)팀 리드, 이하늘 CX팀 매니저, 김수호 데이터플랫폼(DP)팀 매니저)

요즘 고객센터에서 가장 왕성히 활동하는 이는 챗봇이다. 곧바로 상담원과 전화 연결부터 했던 과거와는 달리, 지금은 단순 문의는 챗봇으로 해결하는 게 대세다. 챗봇 도입으로 기업은 상담 업무를 효율화하고 고객의 소리(VOC)를 데이터화해 분석할 수 있어, 상담 AI챗봇을 도입하기도 한다.

대출중개비교 플랫폼을 운영하는 핀다는 상담 AI챗봇을 직접 개발했다. 현재 개발이 완료되어 내부 테스트용으로 쓰고 있으며, 다음달 중으로 고객 상담 업무에 도입한다. 이용자는 AI챗봇 도입으로 상담 시간 제한없이 24시간 고객 센터에 문의를 할 수 있다.

핀다가 기존 솔루션을 이용하는 대신 직접 개발을 선택한 이유는 금융에 최적화된 AI챗봇이 필요해서다. 금융은 다른 산업군에 비해 전문 용어가 많고, 상품군이 다양하다. 또 대출, 여신, 전세자금대출, 담보대출처럼 비슷한 범위의 단어가 많다. 이용자의 개인정보를 가명화, 익명화 해 식별할 수 없도록 해야 한다. 무엇보다 이용자에게 잘못된 정보를 제공할 경우 금전적 피해로 이어질 수 있다는 점에서 환각 현상(할루시네이션)은 치명적이다.

핀다는 금융에 특화된 AI챗봇을 직접 만들면서 금융 지식 데이터를 학습시키고, 이용자가 대출에 대한 질문을 하면 AI가 ‘대출’ 키워드가 들어간 데이터가 아니라, 큰 맥락에서 비슷한 뜻을 가진 데이터(가령 여신, 담보 대출 등)를 불러오도록 했다. 환각 현상을 줄이기 위해 잘못된 정보를 일일이 고치는 수작업을 진행하기도 했다. 핀다는 AI챗봇 도입을 통해 상담 업무를 효율화하고 깊이있는 VOC 분석으로 기존 서비스 고도화를 기대하고 있다.

흥미로운 점은 고객 상담을 하는 고객경험(CX)팀에서 AI챗봇 개발을 주도했다는 거다. CX팀 두 명과 개발 팀 한 명, 총 세 명의 인력이 약 8개월 만에 핀다에 최적화한 AI챗봇을 개발해냈다. 비개발 직군인 CX팀원들은 관련 지식을 습득해 데이터 학습, 데이터 정제 등 개발 업무에 투입했다. 프로젝트 기간 동안 차출된 개발 팀원은 AI챗봇 최적화, 관련 기능 개발 등 전반적인 개발을 도맡았다. 핀다의 개발, 비개발 직군 세명이 8개월간 고군분투해 만든 AI챗봇은 어떤 기능을 할까.

<바이라인네트워크>는 지난 20일 서울 강남구에 위치한 핀다 사무실에서 AI챗봇 개발 담당자들을 만나 왜, 그리고 어떻게, 어떤 AI챗봇을 만들었는지 개발기를 들어봤다.

인터뷰이 소개

송영욱 핀다 고객경험(CX)팀 리드

이하늘 CX팀 매니저

김수호 데이터플랫폼(DP)팀 매니저

-AI챗봇을 직접 만들게 된 계기가 무엇인지

송영욱 핀다 고객경험(CX)팀 리드(이하 송영욱): 핀다의 월활성사용자수(MAU) 대비 CX팀 인력은 총 세명으로 적은 편이다. 핀다의 MAU가 적을 때는 20만명, 많을 때는 40만명이 넘어간다. 자동화, AI시스템 등으로 효율화가 되지 않으면 CX의 질을 유지하기 힘들다. 단순 상담 업무를 효율화하는 대신 도메인에 더 전문성을 갖거나 VOC를 분석하는 것이 맞다고 생각해 AI솔루션을 개발하게 됐다.

-기존에 나와있는 상담 챗봇을 활용해도 됐을텐데

송영욱: 썼었다. 그러나 나와있는 CX솔루션은 대부분 핀테크 산업에 적합하지 않다고 느꼈다. 핀다는 안정성이 있는 성능, 보안, 내부 인프라 세팅 기능이 필요했는데, 시중에 나온 CX솔루션은 서비스형인터넷(SaaS)이다보니 (금융 망분리 규제를 지켜야 하는) 저희가 쓰기 쉽지 않은 점이 있었다.

-기존 툴 사용에 어떤 어려움이 있었는지 구체적으로 설명해달라

송영욱: 예를 들어, 상담 과정에서 이용자의 신용점수, 주소, 대출 가능 여부 등 (민감 개인정보) 얘기가 오가는데, 이런 데이터가 SaaS에 올라가면 금융감독원의 감독규정에 어긋난다. 더 깊이 있는 상담을 제공하기 위해 상담 데이터를 내부 인프라에 옮겨야 하는데, 시중에 나온 툴은 대부분 SaaS 기반이다.

두번째로 기존 챗봇은 금융 언어를 잘 이해하지 못하는 편이다. 가령 ‘전세대출’의 경우 사람마다 ‘보증금 대출’, ‘담보 대출’ 등 부르는 단어가 미묘하게 다르다. 물론 요즘 RAG를 통해 커스터마이징을 할 수 있지만, 조금이라도 잘못된 정보를 제공한다면 금융감독원에 민원이 들어갈 수 있다. 그러다보니 내부적으로 툴을 만드는 것이 맞다고 생각했다.

-가장 많이 받는 상담 문의는 무엇인가?

이하늘 CX팀 매니저(이하 이하늘): 전체 문의 중 약 70%가 ‘대출이 가능한지’다. 저희 입장에선 이용자가 신용 대출을 원하는지, 전세 대출인지, 담보 대출인지 알 수 있는 확인 과정이 필요하다. 또 이용자마다 직업 정보, 재직 날짜 등이 다르다. 기존 솔루션으로는 이용자들의 이러한 다양한 상황을 고려하기 어렵다.

또 팀 내부에서도 금융 지식을 잘 알고 있는 팀원이 많지 않다 보니, 팀원들도 도움을 받을 수 있는 솔루션이 필요하다는데 의견이 모아졌다.

-직접 개발한 AI챗봇, 어떤 것인가?

송영욱: 내부적으로 ‘핀다의 AI 컨설턴트’라고 불리는 챗봇이다. 이용자가 핀다 고객센터에 문의했을 때 고객이 질문한 내용을 AI가 1차적으로 분석하고 거기에 맞는 문서를 찾아 답변을 생성해 준다. 이용자가 “대출 받고 싶은데 가능하냐”고 물으면, 이용자의 근로 형태를 분석하고 어떤 대출을 받고 싶은지 등의 정보를 모아 기존에 저희가 세팅한 문서를 바탕으로 답변을 해준다는 점에서 기존 챗봇과 다르다.

-정리하자면 이용자 개개인의 상황을 반영해 상담할 수 있다는 점이 특징이겠다

이하늘: 그렇다. 이용자의 상황에 맞는 답변을 끌어낼 수 있도록 노력했다. AI 에이전트가 정확한 답변을 할 수 있도록 금융 관련 지식 자료, 필요한 자료를 학습시켰다.

김수호 데이터플랫폼(DP)팀 매니저(이하 김수호): AI가 참조하는 자료가 제일 중요하다. 자료에 잘못된 정보가 있으면 안되는데, 하늘님이 은행 상담 경력 10년차인 만큼 전문적인 도메인 지식을 바탕으로 데이터 정리를 깔끔하게 해줬다.

-어떤 데이터를 학습시켰는지

이하늘: 금융권에서 일하며 모아뒀던 금융 자료나 공신력이 있는 금감원, 금융위원회 자료를 바탕으로 입력했다. 이외에도 핀다 내부에서 전문지식을 가진 분들의 도움을 받았다.

데이터를 입력할 때 ‘신용 대출’에 대한 정보를 크게 묶으면 이용자가 원치 않는 정보가 튀어나올 수 있다. 예를 들어, “재직기간이 얼마나 되어야 하냐”의 질문에 답변을 한다고 가정하자. 학습한 데이터가 큰 크기로 들어갔으면 소득, 신용점수 등은 얼마가 되어야 한다는 불필요한 정보까지 같이 나올 수 있어 (큰 규모의 데이터 단위를) 끊어서 입력하는 작업을 주로 했다.

-핀다의 AI 컨설턴트, 기반 AI기술은 무엇인가?

송영욱: 핀다의 AI 컨설턴트는 챗우트(chatwoot)라는 오픈소스에 자체 개발한 AI 에이전트 컨설팅 봇을 붙여 만들었다.

김수호: 챗우트를 그대로 이용하기에는 잘 맞지 않아 핀다만의 스타일로 상당 부분 개조했다. 또 RAG의 질을 높일 수 있는 방안을 연구했다. RAG는 거대언어모델(LLM)이 잘 알지 못하는 도메인, 지식 정보를 주입해 이용자가 원하는 정보를 얻게 하는 기법이다. 기존 RAG 방식은 원하는 도메인의 문서를 가져오기 어려운 한계가 있다. 이를 극복하기 위해 벡터 임베딩, 키워드를 결합한 하이브리드 방식을 통해 문서 검색 정확도를 높였다. 벡터 임베딩은 의미 기반으로 유사한 의미를 찾는 것을 말한다.

송영욱: 예를 들어, 기존에는 LLM이 대출이라는 키워드 검색을 할 경우 대출이라는 단어와 100% 일치하는 것을 찾는다. 그러나 벡터 인베딩을 한다면 대출 검색 시 관련 단어를 유사도 기반으로 가져오는 것으로, ‘전세 대출’, ‘담보물’ 등의 문서를 찾아온다.

-여러 AI 중에서도 챗우트를 선택한 이유는 무엇인지

송영욱: 우선 내부망에 설치할 수 있는 솔루션이어야 했다. 알아보니 상당수의 AI의 내부 셋업 비용이 적게는 1억원에서 많게는 4억원을 지출해야 했고, 결국 (비용이 덜 드는) 오픈소스를 활용하자는 결론을 내렸다. 챗우트는 해외에서 많이 쓰이고 있어 어느 정도 검증됐다고 생각해 도입하기로 했다. 핀다와 딱 맞는 툴은 아니었지만 수호님이 책임지고 핀다에 맞게 개발해줬다.

-챗우트, 어떤 부분을 핀다만의 스타일로 개조했는지

김수호: 챗우트는 국제적인 기능이 많고, 사용자인터페이스(UI)가 한국에 최적화되지 않았다.

송영욱: 우리나라의 툴은 편의 기능이 많고 사용법이 쉬워 누구나 쓸 수 있다. 가령, 상담 중 이용자가 이탈하면 클릭 몇 번으로 고객에게 “상담이 끊겼는데 또 궁금한 것이 있냐”고 물을 수 있다. 또 자동화를 쉽게 할 수 있고 카카오톡 연동이 되어 있다. 반면 챗우트는 연동 채널이 한정적이다.

김수호: 챗우트로 알림톡을 보내는 기능, 보조 서버를 만들어 CX팀에서 필요한 자동화를 수행할 수 있도록 했다.

-자체 AI 기술은 어떤 것인가

송영욱: 앞단에서 이용자의 질문을 정리하고 LLM에 문서를 정리해주는 기능으로, 핀다의 자체 기술이다.

-앞서 말한 이용자 개인정보 문제는 어떻게 해결했나?

송영욱: 이용자를 특정 지을 수 있는 데이터를 내부망에서 가명화, 익명화(마스킹 처리)하고 있다. 이를 통해 이용자의 데이터가 아니라 상황, 맥락만 AI에 전달하고 답변을 받아오도록 해, 이용자 정보를 안전하게 처리하도록 했다.

-현재 상담 업무에 AI 에이전트를 도입했나

송영욱: 보안 이슈 때문에 아직 대고객 상담 업무에 도입하지 못했고, 3월 중으로 도입을 완료할 것으로 보고 있다. 지금은 내부적으로만 활용하고 있다.

-도입을 위해 금감원 등 당국의 승인을 받아야 하나

송영욱: 아니다. 내부적으로 AI 에이전트 사용은 결정됐고 시스템도 완성이 되어가고 있다. 다만 행정적인 절차가 남아있는데 약 2~3주 정도 소요될 것으로 보인다.

-AI 에이전트 개발 기간은 어떻게 되고, 투입 인력은 얼마나 되나

송영욱: 이번 프로젝트에 투입된 인력은 이 세명이 전부다. 안팎으로 도움을 준 분들도 있지만 핵심은 이렇게 세 명이다. 챗우트를 사용하기 위해 기본적인 인프라를 까는데 6개월이 소요됐고, 여기에 자체 AI를 붙이는데 한 두 달 정도 걸렸다.

-가장 중요한 질문일 것 같다. 환각(할루시네이션) 문제는 어떻게 해결하고 있나

송영욱: (잘못된 정보의) 데이터, 모듈을 바꿔가면서 계속 테스트했다.

김수호: 앞서 언급한 것처럼 관련 문서를 셋업하고 정확한 지식이 담긴 문서를 정제했다. RAG를 통해 원하는 문서를 불러올 수 있도록 정확도를 높였다.

-핀다의 AI 컨설턴트, 완성도는 어느정도 된다고 보나?

송영욱: 고객센터로 들어오는 문의 중 약 60%를 AI 컨설턴트로 해결할 수 있다고 생각한다. 내부 테스트 결과 그 중에서 70~80% 정도를 AI가 커버할 것으로 보이며, 이를 고려하면 전체 완성도는 약 75% 정도 생각하고 있다.

반대로, AI가 해결하면 안되는 문제도 설정했다. 예를 들어 금융사기나 특이한 상품에 대한 문의의 경우 AI로 해결하기 어렵다고 판단했다.

-AI 에이전트 도입 후 어떤 효과를 기대하고 있는지

송영욱: CX팀에서 사실상 관련 경력이 있는 하늘님만 대고객 업무를 하고 있다. 그러다보니 대고객 업무와 주요, 기타 업무 비중이 1대1 정도로, CX팀이 야근이 잦은 편이다. AI 에이전트 도입으로 지금의 대고객 업무 약 70~80%를 덜어낼 수 있을 것으로 기대된다. 이렇게 되면 VOC를 깊이 있게 분석해 관련 팀에 전달할 수 있다.

이용자 입장에선 상담 서비스를 24시간 받을 수 있다. 지금은 10시부터 6시까지 상담 문의를 할 수 있는데, AI 에이전트 도입 시 100% 모든 문의가 아니더라도 이용자는 1차적인 상담 응대를 받을 수 있다.

-송영욱 리드, 이하늘 매니저의 경우 비개발 직군인데 개발 지식이 상당한 것 같다. 이번 프로젝트를 위해 따로 공부한 것인지

이하늘: 입사했을 때 개발에 대한 지식이 전무했지만, 핀다가 IT기업인 만큼 어느 정도 관련 지식을 학습해야겠다고 다짐했다. 이번에 AI솔루션을 개발하면서 더 공부했다.

송영욱: 일에 도움이 되는 수준의 개발 지식은 있었다. 작년 말부터 회사 최고기술책임자(CTO)가 직원들에게 LLM 사용을 강조하면서 더 관심을 가지게 됐고, 이번 프로젝트에 돌입하기 전 공부를 하면서 지식을 쌓았다.

-AI 에이전트, 상담 업무 외에도 사용 확대 계획이 있는지

송영욱: RAG라는 것이 데이터만 바꿔 끼면 다른 형태의 챗봇으로 활용할 수 있는 특징이 있다. 지금 개발 중인 AI 에이전트는 이용자 상담 가이드, 기본 금융 정보 등이 학습되어 있는데 이를 이용자 리서치 데이터로 바꿀 경우 프로덕트오너(PO)들이 제품 개발에 사용할 수 있다.

종종 PO들이 사용자 리서치를 요청하면 채팅 시스템에서 일일이 키워드로 검색해 데이터를 모아 주는데, 소요 시간만 약 3~4시간이 걸린다. 지금은 AI 에이전트를 활용함으로써 편리해졌다. “이용자의 특정 문의를 정리해줘”라고 명령하면 AI 에이전트가 리포트를 만들어준다.

글. 바이라인네트워크

<홍하나 기자>0626hhn@byline.network