마이크로소프트 애저 쿠버네티스로 지능형 앱 개발하기

생성형 인공지능(AI)은 이제 전 산업에서 필수로 여겨진다. 생성형 AI는 조직 내에서 사용해온 기존 앱을 지능형으로 발전시키지만, 데이터, 생성형 AI 모델 그리고 애플리케이션 등을 유기적으로 결합할 수 있는 기본 체계가 필요하다.

생성형 AI의 기본 체계는 현대화된 애플리케이션이다. 이는 마이크로서비스 아키텍처를 구성하고 지속적인 통합과 전달(CI/CD) 기반으로 꾸준히 개선되는 형태다. 이런 애플리케이션 현대화의 과정에서 변화와 혁신, 지속적 개선과 최적화를 수용하는 능동적 문화로 체질을 개선하는 것도 필요하다. 애플리케이션 현대화의 이점은 반복적이고 지속적인 접근방식을 취할 때 최대화된다.

지난 17일 바이라인플러스 웨비나 <쿠버네티스 10주년, 클라우드 네이티브의 현재와 미래>에서 마이크로소프트의 어거스트 리 이노베이션허브 테크니컬 아키텍트(표지 사진)는 ‘애저 오픈AI와 AKS 기반 GenAI 애플리케이션 구축하기’라는 주제로 발표를 진행했다.

애플리케이션 현대화는 6R이란 6가지 전략 중 하나로 진행할 수 있다. 기존 앱 사용을 중단하는 리타이어(Retire), 리호스트(Rehost), 리플레이스(Replace), 리플랫폼(Replatform), 리아키텍트(Rearchitect), 리빌드(Rebuild) 등이다. 이중 리타이어와 리호스트는 마이그레이션 전략에 속하고, 리플랫폼과 리아키텍트는 현대화에 속한다. 리타이어에서 리빌드로 갈수록 더 많은 노력을 들여야 하지만, 더 많은 혁신을 도모할 수 있다.

마이크로소프트는 주로 애플리케이션과 데이터를 재플랫폼화하고, 재설계하는 단계를 제안한다. 마이크로소프트 애저는 이 과정에서 클라우드 환경으로 매끄러운 현대화를 하도록 한다.

어거스트 리 아키텍트는 “재플랫폼화의 경우 기존 애플리케이션을 새로운 런타임 플랫폼으로 이동하면서 최소한의 코드 변경으로 핵심 아키텍처는 변경하지 않는다”며 “완전한 재설계 없이 새로운 플랫폼의 기능을 활용하면서 애플리케이션을 최적화할 수 있다”고 밝혔다.

그는 “많은 기업에서 현대화 여정의 시작점으로 이 접근 방식을 선택하고 있다”며 “클라우드 네이티브한 서비스를 구축하면서 구성요소가 관리형 플랫폼 서비스에 어떻게 적합한지 결정할 수 있다”고 말했다.

애저쿠버네티스서비스(AKS)는 마이크로소프트 애저에서 이용가능한 완전관리형 쿠버네티스 서비스다. 컨트롤 플레인인 마스터노드를 자동으로 관리해 사용자는 직접 관리하지 않아도 된다. 클러스터 설치, 업그레이드, 배치, 자가 치유 등이 자동으로 진행된다. CI/CD 파이프라인을 구성하고, 통합 개발 및 보안 운영을 하나로 묶는 데브섹옵스를 지원하며, 엔트라ID와 RBAC 등 엔터프라이즈급 보안 및 정책 제어를 지원한다. 자동으로 노드를 확장하고 장애 발생 노드를 복구하는 기능을 제공해 클러스터 가용성과 안정성을 높여준다.

그는 “마이크로소프트는 고객의 AKS 도입 시 엔터프라이즈급 규모로 배포하기 위한 6가지 핵심 설계 영역을 제안한다”며 “고객 요구사항을 마이크로소프트 애저 구조와 기능으로 변환하고, 온프레미스와 클라우드 설계 인프라 간의 불일치를 해결해 엔터프라이즈 규모 정의와 성공적 애저 도입을 진행하게 한다”고 설명했다.

마이크로소프트에서 제안하는 6가지 핵심 설계 영역은 ▲ID 및 액세스 관리 ▲네트워크 토폴로지 및 연결성 ▲운영 관리 ▲비즈니스 연속성 및 재해복구 ▲보안 거버넌스 ▲배포 옵션 등이다.

이 과정에서 어떤 클러스터 인증이 사용되는지, 프라이빗/퍼블릭 IP 및 서브넷 주소 핳당을 어떻게 할 지, 클러스터 내 워크로드 구분을 어떻게 할 지, CPU와 메모리 등 자원을 효율적으로 사용하기 위한 POD를 어떻게 제한할 지, 클러스터 컨트롤플레인에서 공용 인터넷을 사용가능하게 할 지, 어떻게 CI/CD를 구성할 지 등을 고민하게 된다.

오늘날 많은 기업은 쿠버네티스 기반의 클라우드 네이티브 환경에서 생성형 AI 앱을 구축하려 한다. 마이크로소프트 애저의 AI 애플리케이션 플랫폼은 이 같은 형태의 지능형 앱 구현을 위해 구성됐다. 신규 개발과 현대화에 필요한 서비스 외에도 개발자 생산성을 고려해 각 요소가 애저의 보안 기능 및 거버넌스, 책임있는 AI 등을 사용할 수 있게 한다. 개발스택은 AI와 통합돼 생산적이고 현대화된 서비스를 만들 게 해준다.

그는 “AKS는 기업이 기술을 수용하고 변화하는 과정에서 효율성을 높여주고, 기존 클라우드 투자 가치를 극대화해 최신 AI 기술로 빠르고 안전하게 지능형 앱을 개발하게 해준다”며 “클라우드 개발자의 생산성을 높이고, 새로운 기술 혁신을 일으킬 수 있다”고 강조했다.

애저 애플리케이션 플랫폼으로 개발자는 원하는 아키텍처와 언어를 사용해 앱을 구축할 수 있다. AKS는 오픈소스 쿠버네티스 API와 호환돼 PaaS 기반 앱을 쉽게 구축하고 확장할 수 있다. API 기반 개발과 서버리스를 간단히 구축하게 하고, 깃허브 코파일럿을 활용도 간단하다.

그는 “애저는 엔드투엔드 클라우드 네이티브 개발이 가능하도록 준비됐다”며 “특히 애저 오픈AI를 비롯한 애저 내 머신러닝과 AI 서비스는 도입에 많은 고민과 수고를 들이지 않고 비즈니스와 개발의 본질에 집중하도록 도와준다”고 말했다.

그는 “AI 개발을 위해 새로운 프로젝트를 새로 시작하는 게 아니라, 기존의 개발 과정에 애드온 형태로 추가할 수 있다”고 강조했다.

수백, 수천개 쿠버네티스 클러스터를 보유하는 조직의 경우 대규모 클러스터 관리와 클러스터 간 시나리오 조정에 어려움을 겪는다. 미리보기 중인 AKS의 ‘애저 쿠버네티스 플릿 매니저(Azure Kubernetes Fleet Manager)’는 복수의 클러스터를 효율적이고 일관되게 관리하고 모니터링하게 한다.

애저 마켓플레이스를 이용하면 쿠버네티스 확장성을 도와주는 다양한 애플리케이션을 쉽게 활용할 수 있다. AKS 클러스터에 서비스 메시의 이스티오, 모니터링에 쓰이는 프로메테우스나 그라파나 등을 마켓플레이스에서 관리형 서비스로 사용가능하다. AKS 리소스 생성 단계에서 필요한 서비스 추가도 가능하다.

그는 AKS와 애저 오픈AI 서비스를 활용해 현대화된 앱을 구축한 사례의 아키텍처를 예로 제시했다.

먼저 개인화와 제품 추천 앱을 구축해 실시간 추천과 다양한 고객 경험을 제공한 사례다. 애저 오픈AI 서비스와 애저 AI 서비스를 사용해 외부에서 트렌드 데이터를 가져와 제품 카탈로그 선택을 큐레이팅하는 AI 기반 서비스다. 실제로 수주일 만에 AI 기반 서비스의 프로토타입을 제작했다고 한다.

고객 정보와 리뷰는 애저 코스모스DB에 저장하고, 제품 이미지와 설명서 같은 정적 콘텐츠는 애저 블롭 스토리지에 저장한다. 애저 AI 서치로 모든 데이터에 대한 시멘틱 벡터 인덱스를 생성하고 사용하며, 애저 ML 기반 제품 추천을 제공한다. 서버리스인 애저 펑션을 이용해 애저 코스모스DB에 업데이트 발생 시 트리거로 재훈련한다. 제품 및 사용자에 대한 내부 데이터와 외부 데이터를 애저 오픈AI를 활용해 애저 오픈AI 챗GPT로 고객에게 대화형 인터페이스를 제공한다.

다음으로 금융권의 사기 탐지 및 예방을 지원하는 이상 탐지 기반 모델 구축 사례를 소개했다. 결제 거래는 애저 코스모스DB로 대규모 처리되고, 거래 데이터는 마이크로소프트 패브릭에서 실시간 미러링돼 실시간으로 분석한다. 애저 오픈AI 서비스로 실시간 사기 경고를 대시보드에서 확인하고, AKS로 구축된 앱으로 대시보드에서 데이터에 질문하고 답을 받을 수 있다. LLM과 AI 서비스를 통해 여러 데이터를 안전하고 정확하게 파악하고, 심층 분석할 수 있게 했다.

세번째로 맞춤형 코파일럿을 개발한 아키텍처가 소개됐다. 애저 코스모스DB와 애저 오픈AI 서비스를 비롯한 주요 애저 서비스를 통합해 AI 어시스턴트 UI를 갖춘 생성형 AI 솔루션을 구축했다. 검색증강생성(RAG) 패턴 솔루션을 설계하고 구축해 트랜잭션 데이터를 생성하고 저장할 수 있다. 실시간 벡터 생성 및 저장, 데이터베이스에서 데이터에 대한 벡터 검색 수행, 대화형 컨텍스트 및 채팅 기록 관리 및 토큰 관리, 검색을 위해 벡터화할 데이터를 정의하는 데이터 모델 관리 등이 가능하다. 이 과정 전후의 앱을 위해 AKS가 백엔드로 활용됐고, AKS가 앱의 배포와 관리를 책임진다.

그는 “이 과정은 생성형 AI 앱을 구축할 때 개발자가 직면하게 될 여러 개념을 보여주고, 인프라 담당자와 AI 개발자 및 엔지니어 간 협업이 이뤄지는 방법을 보여준다”고 설명했다.

그는 “점점 더 많은 기업이 느슨하게 결합된 마이크로서비스, 이벤트, 관리형 데이터베이스, 지능형 AI 서비스 등을 통합해 더 빠른 속도로 혁신하는 클라우드 네이티브 앱 구축을 중요하게 여기고 있다”며 “이런 앱은 일반적으로 가변적인 부하에 맞게 조정되는 탄력적 인프라로 구동되며, 무중단 롤아웃을 지원하고 전세계적으로 낮은 대기 시간으로 데이터에 접근할 수 있다”고 말했다.

그는 “AKS는 개발팀이 이를 달성하도록 지원하는 대표적인 기술의 예”라며 “AKS와 애저 오픈AI 서비스를 활용해 지능형 앱을 개발하고 현대화하기 위한 다양한 솔루션과 오퍼링이 준비돼 있다”고 덧붙였다.

글. 바이라인네트워크

<김우용 기자>yong2@byline.network