금융권에서 생성형 인공지능(AI)을 당장 고객용 서비스에 도입하지 못하는 이유 중 하나는 잘못된 정보를 전달하는 환각(할루시네이션) 현상 때문이다. 따라서 금융권은 직원들을 대상으로 하는 서비스에 먼저 생성형AI를 적용한 뒤, 성능을 고도화하고 검증한 후 고객용 서비스에 생성형AI를 도입할 계획이다. 신한은행은 생성형AI의 환각 현상을 줄이기 위해 리트리버 기술을 활용하고 생성형AI 모델 검증 프로세스를 만들고 있다.
임은택 신한은행 AI유닛 본부장은 7일 서울 여의도 콘래드서울 호텔에서 금융보안원 주최로 열린 금융정보보호 컨퍼런스 ‘FISCON2024’에서 생성형AI로 발생하는 환각 현상 해결방안을 공유했다.
신한은행은 생성형AI를 내부망에서 활용하기 위해 금융위원회에 금융규제샌드박스를 신청했다. 신한은행은 외부 오픈소스 생성형AI 모델을 활용할 계획이다. 챗GPT-4.O, 라마3.2, Qwen2.5 등을 검토하고 있다. 이와 함께 신한은행은 생성형AI 도입으로 생길 수 있는 환각 현상을 리트리버 기술로 해결하고자 준비하고 있다.
리트리버(Retrieval)는 사용자가 필요로 하는 정보를 탐색하고 찾아주는 기술을 말한다. 신한은행은 리트리버를 통해 생성형AI가 하지 말아야 할 것을 가이드하고 있다. 임 본부장은 “AI는 학습 데이터를 통제해서 실제 모델을 설계하는 반면, 생성형AI는 리트리버와 프롬프트로 (환각현상을) 해결한다”며 “신한은행은 리트리버를 모든 서비스에 붙이고 있다”고 설명했다.
환각현상을 막기 위한 신한은행의 두번째 노력은 거대언어모델(LLM) 검증 프로세스를 만드는 일이다. 임 본부장은 “과거에 AI 검증이 품질, 성능 위주였다면, 지금은 신뢰성을 강하게 보고 있다”며 “특히 LLM을 검증하는 방법을 고민하고 있다”고 전했다.
신한은행이 LLM을 검증하는 방식은 에이전트를 활용하는 것이다. 예를 들어, 신한은행이 LLM을 도입해 챗봇을 서비스한다고 가정하면, 챗봇 시나리오 100개 만들어 약 6000개의 상황을 테스트한다. LLM이 질문과 답을 잘 학습하고 반영하는지를 중점적으로 검증한다.
아울러, 임 본부장은 어려운 금융 용어, 전문지식 등의 과제는 생성형AI의 부분 학습을 통해 해결할 계획이라고 말했다. 임 본부장은 “언어처리 시 은행 전문용어는 별도의 학습 데이터가 필요한 만큼 부분 파인튜닝을 통해 특정 업무(태스크)를 잘할 수 있도록 훈련하고 있다”며 “목표는 혁신금융을 통해 생성형AI를 활용하게 되면 하나의 모델을 범용 형태로 쓰는 것”이라고 밝혔다.
이를 위해 신한금융그룹 차원에서 AI거버넌스 프레임워크를 만들고 있다. AI의 신뢰적, 윤리적 문제를 방지하기 위한 일종의 가이드라인으로, AI 서비스, 상품 개발 시 해당 가이드라인을 토대로 한다.
한편, 신한은행은 궁극적으로 AI가 직접 고객에게 금융 서비스를 제공하는 것을 목표로 하고 있다. 임 본부장은 “신한은행은 AI가 고객을 응대하고 상담, 거래를 응대하도록 하는 것이 목표”라며 “고객 관점에서 AI은행원을 만들고 직원 관점에서 AI업무 비서와 AI업무 전문가를 양성해 전문성, 내부 통제를 강화하는 것이 목표”라고 강조했다.
글. 바이라인네트워크
<홍하나 기자>0626hhn@byline.network
