“LG유플러스에 여러 인공지능(AI) 서비스가 있고, 각 서비스에 공통되는 기능이 있다. 각자 개발하기보다 공통 기능을 플랫폼으로 만들면, 서비스 개발 민첩성과 안정성을 확보할 수 있다. 그렇게 AI 플랫폼을 만들었고, ‘익시오’ 서비스가 이 플랫폼에서 구동되고 있다. 특히 보안에 많은 노력을 기울여서, 사용자가 안심하고 쓸 수 있게 하고 있다”
권기덕 LG유플러스 에이전트엔지니어링 개발1팀 팀장은 최근 본지와 인터뷰에서 자사의 AI 서비스 개발을 지원하기 위해 구축한 AI 플랫폼을 이같이 설명했다.
복잡한 에이전트 개발을 체계화함으로써 지속적이고 반복적인 개발요소를 최적화하는 게 좋다. LG유플러스의 공통 활용 플랫폼은 AI 서비스에 필요한 인프라와 보안 리소스, 개발용 API, 튜닝 및 설정, 모니터링 등을 제공하게 구축됐다.
권기덕 팀장은 “여러 AI 서비스별 특화 기능 외에 재활용 가능한 공통 기능을 만들면 각 서비스마다 기능의 성능을 별도로 검증하지 않아도 된다”며 “플랫폼에서 중요한 기술은 멀티 LLM 오케스트레이션인데, 서비스별로 목표, 비용, 품질, 속도, 고품질 등 다양한 목적이 있으니 그에 맞는 LLM을 잘 매칭시켜준다”고 설명했다.
권 팀장은 “멀티 LLM 오케스트레이션은 비용, 품질, 실시간성 등에서 거버넌스를 갖추게 하고, 사회적 문제를 일으킬 답변이나 환각 등을 막는 기능도 같이 한다”고 덧붙였다.
LG유플러스의 에이전트 플랫폼은 맨 아래계층에 자체 AI 모델이 자리한다. 자체 모델인 익시(ixi) 외에 앤트로픽 클로드, xAI의 그록, 오픈AI GPT, 구글 제미나이 등을 제공한다.
모델 계층 상단에서 서비스 특화 AI와, 문서 기반 AI 응답 등 두가지 AI 서비스 유형으로 플랫폼 기능을 제공한다. 서비스 특화 AI 유형의 경우 통화요약 API, TTS API, STT API, 피드백 수집 API, 로드밸련싱, 비동기 처리, 미완료 재처리, 데이터 비식별화, 페일오버, 정책 관리 등을 제공한다. 문서 기반 AI 응답 유형의 경우 채팅 API, 멀티턴 대화, 사용량 대시보드, 서비스 관리, 답변 캐싱, 유사도 검증, 프롬프트 튜닝, 문서 관리, 개인정보 필터링, 벡터 검색, 사용이력 관리 등을 제공한다.
에이전트 플랫폼은 작년 4월부터 만들어졌다. 작년 11월 LG유플러스가 익시오를 출시한 시점에 기본 기능을 구축하고 계속 고도화하고 있다.
공통 플랫폼을 이용하는 여러 서비스가 내부에서 혼선을 일으키지 않을 지 우려될 수 있다. 이에 대해 권 팀장은 “기능은 같이 공유하지만, 실제 운영 인프라 요소는 분리돼 있다”며 “서비스 신뢰성을 깨지 않기 위해 개발만 공통으로 하고 서비스별로 배포한다”고 설명했다.
LG유플러스 에이전트 플랫폼에 사용된 기술 스택은 아마존웹서비스(AWS)의 서비스를 최대한 활용하고, 그를 바탕으로 자바스크립트, HTML, CSS, 랭체인, 파이썬, Fast API, 마이SQL, 플라스크 등을 활용해 멀티 LLM 오케스트레이션을 구현했다. 아르고CD, 깃허브, 데이터독, 수모로직 등으로 데브옵스 환경을 마련했다.
권 팀장은 “서비스가 많기 때문에 표준화된 API가 필요해 RESTful API를 쓰고 있고, LLM의 답변 속도가 다르기 때문에 각각의 처리 시간을 감안해 병행할 수 있기 비동기 처리 구조로 만들었다”며 “서비스가 많으면 트래픽을 예측하기 어려우므로 오토스케일링을 구현했고, 데이터 보안을 고려해 외부에 노출되는 인터페이스를 제거할 목적으로 프라이빗 네트워크를 사용하고 있다”고 말했다.
그는 “클라우드 간 보안 연결을 확보했으며, 유용한 라이브러리를 쉽게 활용할 목적으로 파이썬을 개발언어로 채택했다”고 설명했다.
파이썬을 개발 언어로 선택한 건 플랫폼 개발 조직이 모델 개발팀에서 출발했기 때문이라고 한다. 권 팀장은 “데이터와 비전 모델링하던 인력들이어서 파이썬 개발을 많이 했다”며 “파이썬을 택하면 메모리 관리나 응답시간 예측 문제가 있어서 고민을 많이 했지만, 메타가 모든 개발을 파이썬으로 했다는 작년 발표를 듣고 전격적으로 파이썬으로 결정했다”고 말했다.
모델과 개발 플랫폼 계층을 바탕으로 여러 AI 서비스 애플리케이션이 개발되고 운영된다. 익시오와 AI 비즈콜, 익시 음성챗봇, NTOSS 헬프데스크, 우리가게 패키지, 홈에이전트, PASS 등이 운영되고 있다.
LG유플러스 익시오는 AI 기능을 제공하는 휴대폰 전화 앱이다. 통화녹음, 요약, 스케줄 제안, AI 대신 받기, 보이는 전화 등의 기능을 제공한다. AI 비즈콜 바이 익시는 기업용 회사 전화 서비스다. 녹음한 통화 내용을 텍스트로 변환해 문자나 이메일로 공유할 수 있고, 전화 수신 전 최근 소통한 이력을 파악할 수 있다. 개인 번호를 노출하지 않고 사무실 번호로 통화할 수 있다. 익시 음성 챗봇은 LG유플러스 IPTV 셋톱박스에 탑재된 AI 서비스다. IPTV 리모컨에서 마이크 버튼을 눌러 음성으로 서비스 문의나 불편을 접수 하면, 고객서비스 답변을 화면에서 보여준다. 24시간 가상 고객센터다.
NTOSS 헬프데스크는 통신 네트워크 구축 현장에서 사용되는 현장 업무자용 서비스다. 현장 이슈 발생 시 출동한 인력은 문제를 파악해 회사 내부의 전문가에게 지원을 요청해 해결하게 된다. 과거에 발생했던 이슈 7만건을 학습한 AI가 현장인력의 질문에 해결 방법을 안내한다. 과거에 수시간 걸리던 이슈 처리 중 50%는 실시간으로 처리되고 있으며 계속 개선되고 있다. 우리가게 패키지는 LG유플러스의 소사장 서비스다. 자영업자에게 필요한 사업 정보를 알려주는 챗봇으로 임금 처리, 주휴수당, 세금 등이나 레시피 제안 등을 제공한다. CCTV를 이용하는 경우 관련 장애에 대한 대응 방법을 가이드하기도 한다. AI는 과거 CCTV 장애 이슈 3만건을 분석해 지식을 갖고 있다.
LG유플러스는 에이전트 플랫폼을 통해 연동 개발 1회 수행에 따른 개발비용을 절감하고, 보안 네트워크 구성을 공유해 인프라 비용을 절감하고 있다. AI 모델 요청 분산이나 모델 변경 설정으로 로드밸런싱을 간소화하고, AI 모델 장애 시 페일오버를 제공해 유연하게 장애에 대응할 수 있게 됐다.
권 팀장은 “에이전트 플랫폼을 사용하면서 회사는 앱 서비스 개발자가 어떻게 더 빠르게 개발하고 안정적으로 서비스할 지를 고민하게 됐다”며 “멀티 LLM 오케스트레이션에서 다이나믹 쿼리 라우팅 같은 새로운 기술이 나오고 있는 걸 보면, 모델 매칭이 얼마나 중요한 지 알 수 있다”고 말했다.
공통 에이전트 플랫폼과 함께 LG유플러스는 사내 업무를 보조하는 다양한 업무용 에이전트를 개발해 배포하고 있다. LG유플러스는 이를 ‘AI 워크에이전트’라 부른다. 업무 생산성을 극대화하기 위해 프로세스를 자동화하고 지원하는 에이전트다. 자연어처리, LLM, 워크플로우 등 여러 기술을 활용해 사용자의 요청을 이해하고 업무를 수행한다.
현재 마당AI 챗봇 에이전트, 메일 에이전트, 마켓 인텔리전스 에이전트, AI 크롤링, 인프라 에이전트, AI 코드액트 패턴, 코드 에이전트 등을 개발해 현업에 배포했다.
마당 AI 챗봇은 HR 가이드, 정보보호, 홈매니저 등을 제공는 임직원용 만능 챗봇 에이전트다. 익시젠(ixi-GEN), 챗GPT, 클로드3.7 등의 모델을 활용할 수 있다. 보안 측면으로 권한 제어, 사용 로그, 개인정보 마스킹 등을 갖췄다.
강병래 LG유플러스 AI 워크에이전트 TF PM은 “마당 AI 챗봇의 경우 임직원이 쓰는 에이전트로 인사, 복지, 보안 프로세스, 설치기사 질의응답 등을 지원한다”며 “명함 신청방법을 물어보면 안내하고, 회사 안에서 안전하게 챗GPT나 제미나이 같은 외부 LLM 서비스를 안전하게 사용하게 해준다”고 설명했다.
메일 에이전트는 사무직을 위해 배포한 에이전트로 시간 단위별로 수신한 모든 메일을 요약하고, 첨부파일을 요약하며, 답장 작성을 요청할 수 있다. 강 PM은 “수신한 메일을 누가 왜 보냈고, 그동안의 타임라인은 뭔지, 추가 정보는 뭔지, 요약해 메신저에서 보여준다”며 “외국어 메일을 번역하는 것도 가능하다”고 말했다.
마켓 인텔리전스 에이전트는 시장 동향 분석을 지원한다. 수십개 뉴스 사이트의 키워드를 검색해 분류하고, 요약해 보고서 형태로 만들어준다. 관심있는 키워드를 등록하면 하루동안의 뉴스를 제목, 세줄요약, 출처 등을 담아 보여준다. 강 PM은 “AWS 이벤트브릿지를 이용해 슈퍼바이저란 멀티펑션 호출기를 통해서 크롤링 사이트만큼 작은 에이전트들을 호출하면, 각 에이전트가 웹 검색이나 기사 크롤링 요약 분류 등을 해서 슈퍼바이저에 전달한다”며 “완료되면 최종 보고서를 작성해서 컨플루언스나 원노트에 저장하고 메일이나 메신저로 전달하게 돼 있다”고 설명했다.
인프라 에이전트는 수천개에 달하는 LG유플러스 서비스의 운영을 지원한다. 새벽 시간동안 담당 서비스의 서버 이상 여부를 확인해 보고서를 만들어준다. 강 PM은 “오전에 운영 담당자가 출근해서 에이전트가 작성한 보고서에서 특정 시간대 에러코드를 확인하고 처리 업무에 들어갈 수 있다”며 “인프라 제어나 모니터링을 자연어로 할 수 있고, 특정 서비스의 특정 기간 비용 추이 같은 것도 제공받을 수 있다”고 말했다.
AI 코드액트패턴이 인프라를 자연어로 제어하게 해주는 요소다. LLM에 요청하면 코드를 생성해 리뷰하고 실행까지 한다.
코드 에이전트는 개발된 코드를 운영 시스템에 배포하기 전 AI를 활용해 에러 가능성이나 보안 위험성 등을 리뷰하는 에이전트다. 에이전트가 코드 중 위험한 부분을 찾아 댓글을 달며, 개발자 업로드 수정 코드 전체를 리뷰해 목적과 변경 영향도를 알려준다. 강 PM은 “개발자는 빠르게 코드를 리뷰하고, 관리자에게 메신저로 리뷰를 빠르게 전달할 수 있다”며 “관리자는 누가 어떤 코드를 올리는 지 확인할 수 있다”며 “AWS의 서버리스 아키텍처를 활용해 저렴한 비용으로 운영하고 있다”고 말했다.
LG유플러스는 AI 워크에이전트를 지속적으로 늘리고 있다. 다양한 부서에서 필요한 기능을 접수한 뒤 우선순위에 따라 개발하고 있다. 강 PM은 “회사의 모든 부분에서 AI를 하나 이상씩 만들고 있다”며 “일단 직원이 많이 쓰는 기능부터 시작했고 그래서 메일 에이전트는 ROI에 상관없이 무조건 개발했다”고 밝혔다.
업무용 에이전트를 개발하려면 회사 내 업무 프로세스를 정규화해야 한다. 프로세스를 실제로 이해하지 못하면 제대로 작동하는 에이전트를 만들 수 없다. 강 PM은 “실제 하는 일을 알아내기 위해 아침마다 해당 직원의 업무를 몇시간씩 봤다”며 “그가 하는 업무를 보고 어떻게 만들 지 같이 구성하고 결과 리포트도 같이 만들고 있다”고 말했다.
LG유플러스의 AI 전환 프로젝트 중 실제로 배포해 쓰이지 않는 건 없다고 한다. 향후 에이전트 프로젝트의 목표는 직원의 ‘셀프 빌드’다. 강 PM은 “비 개발자인 직원이 직접 에이전트를 만들려는 요청이 많아서 툴을 살펴보고 있다”고 말했다.
대고객용과 내부용으로 다양한 AI 에이전트를 구축하면 인프라와 LLM 비용의 상승을 우려하기 쉽다. 운영의 묘가 요구되는 대목이다. 권기덕 팀장은 “사용자가 늘어나면 비용이 늘어나는 건 필연적이므로, LLM 오케스트레이션이 더욱 중요하다”며 “서비스 비용 높은 모델 대신 동일 성능을 낼 수 있는 더 저렴한 모델을 활용하게 하면서 비용을 잘 관리하고 있다”고 설명했다.
그는 “프롬프팅의 양을 줄이거나 답변의 토큰 양을 최소화하거나, 답변 캐시를 활용하는 등 비용 최적화 작업을 계속하고 있다”고 말했다.
강병래 PM은 “에이전트도 토큰을 많이 쓰기 때문에 최소한 작게 태스크를 쪼개서 작은 모델에서 수행하게 하고 있다”며 “모델의 성능이 상향 평준화된 덕에 대형 모델을 쓰지 않아도 될 정도로 소형 모델도 똑똑해졌다”고 덧붙였다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
