[AI와 디지털전환] 단일 AI를 넘어, 산업 맞춤형 AI 오케스트레이션으로

지난 달 오픈AI가 공개한 o3 모델은 전례 없는 수준의 멀티모달 능력을 보여줬다. 이미지를 이해하고 음성을 인식하며 텍스트와 이미지, 영상까지 생성하는 것은 물론 중요한 업무에서 숙련된 사람이 할 수 있는 일을 인공지능(AI) 시스템이 대체하는 거대 모델의 완성도가 급속도로 높아지고 있다. 그럼에도 산업 현장에서의 요구 사항은 더욱 세분화되고 정교해지고 있는 것이 문제다. '단일 AI' 만으로 발생되는 여러 변수와 산업별 특수성을 모두 커버하기에는 한계가 있다.

우선, AI가 커버해야 하는 영역과 디테일이 방대하다. 제조업의 품질 검사, 의료계의 진단 보조, 금융권의 리스크 분석 등 각 산업의 핵심 업무마다 AI의 역할이 다르다. 여기에 각 산업의 규제와 보안 요건까지 고려하면, AI 전환을 위한 시스템은 더욱 복잡해질 수밖에 없다.

또, 산업의 복잡성을 다루면서 생산성까지 끌어올리기 위해서는 기술적 요구사항도 까다로워진다. GPU 자원을 효율적으로 관리하고 수많은 모델 버전을 체계적으로 추적하며 성능을 실시간으로 모니터링해야 한다. 특히 금융이나 의료와 같은 규제 산업에서는 AI의 의사결정 과정에 대한 설명가능성과 감사 가능성도 확보해야 한다.

이러한 배경에서 각 업무에 특화된 정교한 수십개의 AI 시스템을 묶어 효과적으로 운영하는 접근이 더욱 중요해진다. 본격적인 'AI 오케스트레이션'의 필요성이 대두되고 있는 것이다. AI 오케스트레이션은 여러 AI 모델을 마치 오케스트라처럼 조화롭게 운영하는 기술이다. OCR로 문서를 읽고 거대언어모델(LLM)로 내용을 이해하며 예측 모델로 위험을 분석하는 식이다. 하나의 거대 모델이 아닌 여러 전문 모델들의 협업으로 복잡한 업무를 해결하는 것이다.

AI 시장은 이미 이러한 흐름으로 움직이기 시작했다. 아마존웹서비스(AWS)는 '베드록 에이전트'를 통해 여러 AI 에이전트를 통합 관리하는 '슈퍼바이저 에이전트' 체계를 구축했다. 이를 통해 기업은 복잡한 코딩 없이도 업무별 AI 에이전트를 만들고 연결할 수 있게 됐다. 마이크로소프트(MS)도 '애저 AI 파운드리'를 통해 기업들이 AI 솔루션을 자유롭게 설계하고 운영할 수 있도록 지원하고 있다. 시장조사기관들은 AI 오케스트레이션에 집중한 시장이 2032년까지 55조원 규모로 성장할 것으로 전망한다.

이러한 상황에서 국내 AI 스타트업들의 대응은 더욱 중요해지고 있다. 네이버와 카카오가 전반적인 AI 산업을 이끌고 있지만 산업별 특화 솔루션은 스타트업들의 몫이다. 대기업이 갖추기 어려운 유연성과 특정 영역에 대한 전문성으로 틈새시장을 공략하는 것이 국내 AI 스타트업들의 차별화 전략이 될 수 있다고 믿는다.

베슬AI는 ML옵스(Ops) 기반의 베슬(VESSL) 플랫폼을 통해 AI 인프라 구축과 운영 효율화에 집중하고 있다. 이를 바탕으로 산업 맞춤형 AI 시스템 구축에 주력하며 기업들이 자체 인프라에서 AI를 안정적으로 운영할 수 있도록 지원한다. 최근 금융권의 엄격한 보안 요구사항과 규제, 업계의 특수성을 고려한 AI 시스템 구축 사례를 통해 스타트업이 가진 가능성을 확인할 수 있다.

대표적인 사례로, A 보험사와의 협업을 통해 컨택센터 상담원들의 업무 효율과 생산성을 높이는 AI 시스템 도입을 진행했다. 보험이력, 계약내용, 신상정보, 건강정보 등의 관리가 매우 엄격하며 다양한 정부당국의 금융업 관련 규제사항이 적용되는 산업이었기에 망분리 환경에 최적화된 맞춤형 AI 아키텍처 설계가 필요했다. 결과적으로 기업의 폐쇄망 내에서 운영 가능한 검색증강생성(RAG) 기반 AI 시스템을 구축했고, 응답 시간 30% 단축, 서비스 연동 20% 개선, GPU 활용률 40%를 증가시켰다.

올해 한국의 AI 산업은 중요한 갈림길에 서있다. 기업의 AI 도입은 이제 선택이 아닌 필수가 되었지만 성공의 열쇠는 '맞춤형 접근'에 있다. 글로벌 빅테크들의 범용 AI 모델 활용도 중요하지만 우리 기업들에게 필요한 것은 산업별 특성을 이해하고 여러 AI 모델을 조화롭게 운영하며 지속적으로 최적화할 수 있는 시스템이다. 바로 여기서 AI 오케스트레이션이 해답이 될 것이다.

안재만 한국소프트웨어산업협회 초거대AI추진협의회 이사·베슬AI 대표 jaeman@vessl.ai