오케스트로 “AI 도입 최대 걸림돌은 GPU 비용…기업들 비용‧보안 고민”

AI 수요가 빠르게 늘고 있지만, 기업들의 실제 도입은 여전히 주춤한 상황이다. 가장 큰 걸림돌은 GPU 등 고성능 인프라에 대한 높은 투자비용과 데이터 보안에 대한 우려였다.

AI‧클라우드 전문기업 오케스트로(대표 김범재)는 17일, 지난 6월 실시한 ‘클라우드 환경에서의 AI 활용방안’ 설문조사 결과를 발표했다. 이번 조사는 클라우드 서비스를 활용하는 기업 및 공공기관 종사자 6,615명을 대상으로 진행됐다.

조사 결과에 따르면, 기업들이 AI 도입 시 가장 큰 제약 요인으로 꼽은 것은 ‘GPU 등 기술 도입 비용’(23.5%)이었다. 이어 ‘전문 인력 부족’(22.6%), ‘데이터 보안 우려’(14.4%) 등이 뒤를 이었다. 특히 AI는 초기 구축비뿐만 아니라 사용량에 따라 지속적으로 과금되는 구조로 인해 장기적인 총소유비용(TCO) 부담이 크다는 점에서 중소기업은 물론 중견·대기업 모두 고민이 깊어지고 있는 상황이다.

보안 문제 역시 중요한 요인으로 작용했다. AI 학습과 운영에 필요한 핵심 데이터가 외부 퍼블릭 클라우드에 저장되면서 민감한 정보가 외부로 유출될 가능성에 대한 우려가 커졌다는 것이다. 이에 따라 점점 더 많은 기업들이 자체 데이터 센터를 활용한 프라이빗 AI 환경으로 눈을 돌리고 있다.

실제 기업들이 AI에 기대하는 바 역시 ‘비용 최적화’(20.7%)와 ‘실시간 보안 대응’(20.7%)에 집중되어 있었다. 이 외에도 ‘장애 원인 분석’(17.1%), ‘성능 병목 해소’(15.9%) 등 운영 효율을 높이기 위한 수요도 컸다. 기업들이 꼽은 주요 과제는 ▲비용 최적화(22.7%) ▲보안 관리(19.1%) ▲장애 대응(15.2%) 순이었으며, 실제로 가장 많은 시간이 소요되는 업무도 ▲비용 분석 및 최적화(22.7%), ▲모니터링 및 장애 대응(19.5%) 순으로 나타났다.

기업 규모별로도 관심사에 차이가 뚜렷했다. 대기업은 ‘보안 관리’와 ‘비용 분석’에, 중견기업은 ‘인프라 구성’과 ‘모니터링’에, 중소기업은 ‘비용 최적화’에 집중하고 있는 것으로 나타났다. GPU 투자 규모에서도 차이가 컸다. 중견기업은 월 500만~2천만 원대(33.3%)가 많았고, 대기업은 월 1억 원 이상(34.5%)에 몰렸다.

클라우드 운영 환경도 점점 더 복잡해지는 추세다. 전체 응답 기업의 절반에 가까운 49.1%가 멀티 또는 하이브리드 클라우드를 사용 중이라고 응답했다. 특히 이들 중 60.2%는 세 개 이상의 클라우드를 동시에 운영하고 있다고 밝혀, 단일 클라우드 환경은 점점 줄어들고 있는 것으로 나타났다.

이러한 복잡한 환경 속에서 오케스트로는 GPU 인프라 비용과 AI 도입 장벽을 동시에 낮추기 위한 전략으로 ‘Cloud for AI’를 제시하고 있다. 핵심은 자체 서버 가상화 솔루션 ‘콘트라베이스(CONTRABASS)’다.

콘트라베이스는 GPU 가상화 및 최적화, 스케줄링, 모니터링 기능을 제공해 고성능 연산이 요구되는 AI 환경에서도 효율적이고 안정적인 자원 활용을 지원한다. 특히 VMware 환경을 사용하는 기업은 ‘콘트라베이스 레가토(CONTRABASS-Legato)’를 활용하면 시스템 중단 없이 마이그레이션이 가능해, 기존 인프라 교체에 따른 부담을 줄일 수 있다.

오케스트로는 클라우드 통합 운영 솔루션 ‘오케스트로 CMP’를 통해 퍼블릭, 프라이빗, 멀티, 하이브리드 클라우드를 모두 아우르는 관리 기능을 제공하고 있다. 이와 함께 생성형 AI 챗봇 ‘클라리넷(CLARINET)’과 지식 검색 플랫폼 ‘G-AIDSP(오보에)’를 통해 인프라 운영 자동화와 정보 탐색 효율을 높이는 다양한 AI 도구도 선보이고 있다.

클라리넷은 대화형 질의응답 솔루션으로 반복 업무를 자동화하고, G-AIDSP는 생성형 AI의 약점으로 지적되는 ‘할루시네이션’ 현상을 줄여 정보 신뢰도를 높인다. 이처럼 오케스트로는 기술적 안정성과 함께 비용 부담을 해소할 수 있는 실질적인 대안을 제시하고 있다.

김범재 오케스트로 대표는 “GPU 인프라 도입에 대한 부담과 데이터 보안 우려가 여전한 상황에서, 운영 효율성과 자동화를 중심으로 한 실질적인 AI 도입 전략이 중요해지고 있다”며 “오케스트로는 복잡한 클라우드 환경에서도 고객이 비용과 보안 걱정 없이 AI를 안정적으로 도입할 수 있도록 적극 지원하겠다”고 밝혔다.

★정보보안 대표 미디어 데일리시큐 / Dailysecu, Korea's leading security