[if카카오2024] 리얼타임 되나요? ‘금융 AI’의 현실과 미래

24일, 카카오 개발자 컨퍼런스 ‘if(kakaoAI)2024’ 3일차 기조 강연에 카카오뱅크와 카카오페이, 카카오엔터프라이즈 최고기술책임자(CTO)들이 모였다. 기술 리더들이 개별 발표하고 파이낸스(금융) 패널 토크를 진행했다. <사진 오른쪽>부터 정규돈 카카오 CTO, 신재홍 카카오뱅크 CTO, 김동용 카카오페이 CTO, 이어형 카카오엔터프라이즈 CTO이다.

정규돈 CTO가 사회를 맡아 솔직한 패널 토크를 진행했다. “솔직히 리얼타임(실시간) 안되잖아요”라고 묻자, 김동용 CTO가 “솔직히 힘듭니다”라고 답하기도 했다 카카오페이가 사기거래탐지(FDS) 등 실시간 변화 대응을 위해 ‘적응형 기계학습(Adaptive ML)’을 활용하는 대목이었다. 회사는 룰베이스와 ML을 하이브리드 방식으로 도입해 대응 중이다. ML은 복잡한 사기 거래를 예측하는데 우수한 성능을 보인다.

“카카오페이 FDS 시스템은 실시간으로 변화하는 다양한 이상 거래를 처리하기 위해서 지속적으로 성장하는 어댑티브ML 기반으로 운영되고 있습니다. 실시간 모델을 학습시키는 파이프라인, 그리고 금융안전센터를 통해서 신고되는 각종 사기 데이터를 실시간으로 학습하고 배포하는 구조를 통해서 사용자가 카카오페이를 이용할 때 거의 실시간으로 개입하여 차단 경고 등을 할 수 있도록 되어 있습니다.”

“의료나 금융은 시간에 따라서 계속 결과가 바뀌는 데이터이다 보니까 결국엔 모델이 업데이트되면서 계속해서 변화를 할 수밖에 없습니다. 이 주기를 얼마나 짧게 가져가는가 이게 기술의 핵심인 것 같습니다. 저희는 그 주기를 굉장히 최대한 짧게 가져가려고 노력하고 있고요. 솔직히 리얼타임은 힘듭니다.”

“모든 사기 거래를 잡는 데 목적을 두게 되면 예를 들어 지나가는 모든 사람들의 신분증 검사를 하고 다 조사를 하게 되면 범인은 거의 100% 잡을 수 있겠죠. 그러면 모든 사람이 불편해질 수밖에 없는 구조인 거 같아요. 그래서 얼마나 정확하게 어느 수준의 정밀도를 가지고 타게팅을 할건지 등이 중요하다고 생각합니다. ML에서는 그런 정밀도와 재현율 사이에서 스트레스 홀드를 적절하게 유지하는 게 굉장히 중요하다고 봅니다.”

거대언어모델(LLM)보다 전문 AI 시스템을 구축한 뒤 어떻게 운용하고 평가하는지도 질문이 나왔다.

“국내 금융이나 세무, 법무 용어들이 굉장히 어렵고요. 사실 LLM이 잘 이해하지 못합니다. 신뢰성이 매우 중요하죠. 저희는 국내에 있는 그런 용어 정보들을 파인튜닝하고 LLM이 이해할 수 있는 그런 용어 사전들을 만드는 데 좀 집중을 했고요. 전문가 검증을 거친 시나리오를 생성하고 파라미터 튜닝이나 그런 것들을 통해서 완전히 격리된 상태로 독립적으로 평가하고 실험할 수 있는 구성을 만들었습니다.”

카카오페이는 ‘금융 비서’ 서비스를 운영 중이다. 첫 번째 내놓은 보험 진단을 시작으로 세무, 부동산, 투자 등 다양한 분야로 확장해 종합 금융 비서 제공을 목표한다.

“보험진단 서비스는 건강 데이터 기반으로 보험 전문 AI를 통해서 질병을 예측하고 건강 관리는 물론 고객에게 가장 적합한 보험 추천까지 원스톱으로 고객을 케어해드리는 서비스입니다. 페이 내 보험 혹은 보험 진단 탭에서 만나보실 수 있으며, 마이데이터 연결을 통해서 나의 건강검진 결과를 가져와서 개인화된 리포트를 제공합니다. 이 결과를 바탕으로 당뇨가 있으신 고객에게는 당뇨와 관련된 건강 정보를 제공하며 나아가 개인에게 필요한 보험 진단까지 해볼 수 있는 서비스입니다.”

“카카오페이 AI의 비전은 명확합니다. 카카오페이를 모든 금융 서비스의 중심 플랫폼으로 만들고 사용자의 개별 상황에 맞춰진 안전한 AI 서비스를 제공하며 모든 금융 요구를 충족하는 것입니다.”

‘설명 가능한 AI’가 이상거래 잡아내

“17세 남성이 금요일 오전 6시반에 아이스크림 할인점에서 7000원 결제 건이 있었습니다. 알고리즘이 이상거래라고 판단을 했죠. 금요일날 아침 아이스크림 할인점과 7000원 금액이 이상해 두 가지 피처에 대해 XAI(설명 가능한 AI)가 이상거래인 거 같다고 보고 현업 담당자에게 대시보드로 보여주게 됩니다. 실제 3일 후에 고객센터에 (이상거래로) 접수가 됐고요.”

신재홍 카카오뱅크 CTO가 XAI를 언급하자, 정규돈 CTO가 “예전 기억보다 많이 좀 발전했다”고 평했다. 은행에서 망분리 규제 등으로 LLM 사용이 힘들지 않냐고 되묻자, 신 CTO는 “8월 금융당국에서 망분리 개선 로드랩을 발표했고, 샌드박스를 이용해 혁신 서비스로 지정받게 되면 (클라우드 기반) LLM을 이용할 수 있게 됐다”고 답했다.

카카오뱅크는 올해 금융사 최초로 AI 경영 시스템 국제표준을 취득했다. AI 사업과 기술을 총괄하는 조직을 출범하고, 업무 효율성을 높이는 혁신에 속도를 내는 중이다. AI 허브를 구축해 전사 AI 역량 강화에도 힘주는 중이다.

은행 업무 특성상 혁신을 추구하면서도 보수적인 AI 운영이 필요하다. 카카오뱅크는 ‘AI 가드레일’를 갖췄다. 이를 보호막으로 표현했다. 국내 레퍼런스 유무로는 “(카카오뱅크 외) 아직 듣지 못했다”고 말했다.

“AI를 보호하는 기술적 장치라고 보시면 될 거 같습니다. 부적절한 콘텐츠가 LLM 모델에 도달하는 것을 원천적으로 방지하고요. 잘못된 대답을 하는 것에 대해서도 차단하고 의도된 올바른 대답을 하게 만드는 기술이라고 보시면 됩니다. 설계된 범위 내에서 답변하도록 입력값과 출력값 부분에서 유해 콘텐츠를 필터링하고, 프롬프트 인젝션(합법 프롬프트로 위장해 민감 데이터를 유출하도록 의도된 LLM에 대한 공격의 한 종류)도 방지하고, 데이터 프라이버시도 보호하고, 그 다음에 편향성 부분도 완화하는 컴포넌트를 적용했다고 보시면 될 것 같습니다. 그런 기술로 AI 가드레일을 구축했습니다.”

반도체 꺼내든 카카오엔터프라이즈 클라우드

이어형 카카오엔터프라이즈 CTO는 핵심 서비스인 카카오클라우드의 강점을 ▲고성능 ▲안정성 및 확장성 ▲보안성 ▲AI 엔지니어링 경쟁력 등 총 4가지의 요소로 나눠 설명했다. 이날 발표에서 반도체 하드웨어를 꺼내 들어 눈길을 끌었다. FPGA(Field Programmable Gate Array) 카드, 프로그래밍이 가능한 비메모리 반도체 카드다.

“AMD와 긴 시간 긴밀히 협업했고, 이를 이용해서 고집적 서버들과 VM(가상머신) 간 경합이 발생하지 않는 기술을 통해 안정적인 성능을 제공하고 있습니다. 여기 보이는 이 카드는 FPGA라고 말하는 프로그래밍이 가능한 카드로, 수년간 AMD와 더불어 자일링스와 협업해 이 카드를 만들고 계속 발전시키고 있습니다. 네트워크 모듈에 이런 카드들이 탑재돼 네트워크 사용이 CPU에 영향을 주지 않을 만큼 좋은 네트워크 성능을 내는 VM 서비스를 제공 중입니다.”

이 CTO는 AI 엔지니어링 경쟁력을 재차 짚었다. 지난 5월, 국제슈퍼컴퓨팅컨퍼런스(International Supercomputer Conference)가 발표한 슈퍼컴퓨터 순위 TOP500에서 카카오클라우드의 슈퍼컴퓨터 2종이 각각 44위, 70위를 기록한 사례를 상기했다. 순위권에 든 국내 기업 중 클라우드제공업체(CSP)로는 카카오엔터프라이즈가 유일하다는 설명이다.

“이 조사는 전 세계 슈퍼 컴퓨팅의 연산 능력을 주요하게 나타내고 있고, 어찌 보면 클러스터 사이즈에 따라 순위가 매겨진다고 볼 수 있습니다. 우리는 상위 10% 이내 순위를 기록해 경쟁력을 보였습니다. 이것보다 중요한 것으로 GPU클러스터의 효율성을 이야기하고 싶습니다. 이 효율성은 Rx라고 말하는 측정된 최대치와 Rpeak라고 말하는 이론상 최대치의 비율로 해당 자원들이 얼마나 이론적 수치에 가깝게 잘 사용되고 있는지 구성돼 있는지 알 수 있는 값입니다. 우리는 89.7%로 국내 다른 업체의 80% 정도에 비하면 훨씬 좋은 수치로 성과를 냈고, AI 엔지니어링 경쟁력을 보였다고 생각합니다.”

글. 바이라인네트워크

<이대호 기자>ldhdd@byline.network