“엔터프라이즈 기업의 인공지능(AI)에서 오픈소스의 의미는 선택권을 준다는 것이다. AI 관점에서 볼 때 수세는 안전한 방식으로 온프레미스에서 완전히 실행되는 ‘프라이빗 AI’ 솔루션’을 제공한다. 언어모델, 벡터 데이터베이스, 검색증강생성(RAG), 각종 라이브러리와 프레임워크 등 스택의 모든 요소를 선택할 수 있다. 모든 AI 스택의 상태에 대한 관찰과 런타임 보안을 제공하는 통합 보안도 포함한다.”
이안 쿼켄보스 수세 글로벌 AI 리드는 16일 서울 삼성동 그랜드인터컨티넨탈서울파르나스에서 개최된 ‘수세 오픈소스데이’ 발표에서 이같이 밝혔다.
이안 쿼켄보스는 “모든 것은 랜처와 랜처프라임을 통해 애플리케이션 카탈로그로 제공된다”며 “모두 안전한 공급망으로 구축되며 모든 구성요소를 수세에서 지원한다”고 강조했다.
그는 수세의 AI 노력을 이루는 5가지 핵심 기둥을 설명했다. 선택의 자유, 엔터프라이즈급 보안, 비용 관리, 프라이빗 디자인, 에어갭 친화적 환경 고려 등이다.
리눅스와 오픈소스는 오늘날 생성형 AI 시대의 주요 인프라다. 많은 언어모델은 리눅스 컨테이너 안에서 실행되며, 그 LLM을 담은 컨테이너는 쿠버네티스 플랫폼에서 운영된다. 여러 AI 라이브러리와 프레임워크, 벡터 DB, 노트북 등도 오픈소스 기반으로 움직인다.
공급망 문제로 GPU 서버 수급 불균형 현상에 따라 퍼블릭 클라우드 활용이 일반적 방안으로 인식된다. 단기간에 생성형 AI 프로젝트를 실행하기에 풍부한 자원과 서비스를 보유한 퍼블릭 클라우드를 사용하는 것이 유용하기 때문이다. 하지만, LLM 이용 비용이 만만치 않다.
이안 쿼켄보스는 “챗GPT 같은 퍼블릭한 생성형 AI는 토큰 기반으로 진행돼 실제 비용을 제어하기 힘들고, 기하급수적으로 증가하는 비용 문제에 직면할 수 있다”며 “기업은 원하는 인프라에서 비용을 관리할 수 있는 플랫폼을 원한다”고 설명했다.
그는 “프라이빗 아키텍처로 생성형 AI 환경을 구성하면 데이터의 외부 통신에 따른 소유권 문제를 원천적으로 해결할 수 있다”며 “또한 망분리나 통신단절된 에어갭 환경에 대한 접근도 고려해야 한다”고 덧붙였다.
기업이 프라이빗한 생성형 AI를 구축하려면 일련의 워크플로우를 가져야 한다. 그 가운데 보안과 규제 문제 해결은 필수다. 국가별, 조직별로 제각각인 컴플라이언스를 제대로 유지해야 하고, 다양한 규제 요소와 변화에 적절히 대응하는 게 필요하다.
그는 “수세는 고객 한명 한명과 협력해 전세계 다른 지역에서 AI 제품을 출시할 때 규정을 준수할 수 있도록 돕고 있다”고 강조했다.
그는 머신러닝과 생성형 AI의 근본적 차이를 ‘데이터 전처리’로 제시했다. 전통적인 머신러닝은 실제 운영에 앞서 학습 데이터를 구조화하는 전처리 작업을 거쳐야 한다. 고품질의 데이터를 주지 않으면 머신러닝 기반 환경은 낮은 수준의 결과를 낸다. 반면, 생성형 AI는 데이터 구조화 작업 없이도 우수한 결과를 낼 수 있다.
그는 “이 접근 방식은 실제로 많은 산업의 일하는 방식을 바꾸고 있다”며 “다른 회사가어떻게 생성형 AI를 어떻게 활용하는 지 이해하면 앞으로 나아갈 관점을 설정하는 데 도움이 될 것”이라고 말했다.
그는 생성형 AI로 생산성 개선 효과를 이룬 실제 수세 고객 사례를 몇가지 들었다. JP모건체이스는 1000여개 법률 문서를 분석할 수 있는 AI 문서 분석 도구를 만들었다. 만약 사람이 법률 문서를 분석하려면 36만달러를 지불해야 했지만, 생성형 AI를 통해 그 이상을 절약했다.
마스터카드는 사기 탐지 시스템을 생성형 AI 기반으로 구축했다. 전통적인 사기 탐지는 머신러닝과 룰 기반 접근방식으로 만들어져왔는데, 이는 진화하는 신종 사기 패턴에 전혀 대응할 수 없다는 문제를 안고 있다. 새 수법은 학습하지 않았기 때문이다. 생성형 AI는 사전에 학습받지 않은 패턴도 찾아낼 수 있으므로 매우 적은 양의 데이터로 사기를 탐지할 수 있다. 마스터카드는 거래 데이터에서 사기 패턴을 감지하고 정확도를 높이고 오탐률을 줄였다.
HSBC는 개인화된 재무 조언 서비스를 대규모로 제공하는 생성형 AI 기반 시스템을 만들었다. 이는 고객 만족도를 높이고 더 나은 조언을 고객에게 제공할 수 있게 했다.
핑안보험(Ping An Insurance)은 청구 처리용 생성형 AI 기반 에이전트 시스템을 개발했다. 보험금 청구 관련한 모든 워크플로우를 에이전트 기반으로 구축했다. 내부의 수많은 업무를 담당했던 사람의 역할을 대부분을 에이전트로 자동화함으로써 프로세스를 단축하고, 사용자 만족도를 높였다. 이를 통해 보험 청구 처리 속도가 전보다 28배 개선됐으며, 휴먼 에러를 제거해 정확도까지 높였다. 이안 쿼켄보스는 “이 과정에서 그들이 한 건 휴먼 인 더 루프 워크플로우, 즉 최종 출력의 정확성을 확인하는 데 인간을 개입시키는 것이었다”며 “동일한 작업을 전보다 훨씬 더 적은 사람에게 의존하고 훨씬 더 빠르게 수행하게 됐다”고 설명했다.
최근홍 수세코리아 지사장은 ‘클라우드 네이티브 시대 올바른 오픈소스 전략에 대한 제언’을 주제로 발표했다. 최근홍 지사장은 “오픈소스는 생성형 AI 같은 혁신을 일으키는 핵심 인에이블러이면서, 그에 수반하는 문제점을 내포하기에 올바른 오픈소스 전략을 가져야 한다”며 “오픈소스는 매우 빠르게 발전하고 사라지기에 빠른 기술 변화에 적절히 대응하지 못하면 기술 부채를 안게 된다”고 말했다.
그는 “또한 공짜로 보이지만 적지 않은 유지보수 비용을 발생시키고, 자칫 특정 기술에 종속되는 문제도 생긴다”며 “선택권을 극대화해 자신의 가치를 높여서 가격을 낮추고 서비스 품질을 높이려면 경쟁적 환경을 구성해 자신에게 유리한 환경을 도입해야 한다”고 조언했다.
그는 수세리눅스엔터프라이즈(SLE)의 보안성을 레드햇엔터프라이즈리눅스, 우분투 등 타 리눅스 배포판과 비교하면서 차별화했다. RHEL이나 우분투 대비 가장 다양하면서 가장 높은 등급의 보안 인증을 받고 있으며, 심지어 양자컴퓨팅 관련 보안 인증도 경쟁사 대비 한단계 더 높은 등급을 받았다고 했다.
그는 “수세는 특정 업체에 종속되지 않게 하며, 무엇보다 보안에 철투철미한 인식을 갖고 있다”며 “수세매니저는 보안과 컴플라이언스를 자동 감지해 시각화하고, 랜처의 뉴벡터는 컨테이너 환경의 제로트러스트를 구현하는 등 전체 스택에 걸쳐 포괄적으로 보안을 접근하고 있다”고 강조했다.
그는 “모니터링을 넘어 가시성이라 얘기하는 부분을 확보하려면 운영중인 주요 서비스에서 병목 현상이나 예기치 못한 장애의 원인과 위치를 실시간으로 확인하고, 미션크리티컬한 체인 어디서 붕괴가 일어나는지 분석할 수 있어야 한다”며 “전 인프라의 다양한 앱과서비스에 대한 포괄적 가시성과 관찰성을 확보할 수 있다”고 덧붙였다.
글. 바이라인네트워크
<김우용 기자>yong2@byline.network
