“디노도 플랫폼은 생성형 AI의 핵심 인프라”

“디노도 플랫폼은 모든 데이터를 시맨틱하게 통일해주고, 시맨틱 데이터 통합을 통해 초개인화를 지원한다. 그리고 페더레이티드 데이터 거버넌스를 유일하게 지원하는 플랫폼이며, 인공지능(AI) 앱에 단일화된 데이터베이스를 제공한다. 생성형 AI가 역사상 어느 시기보다 많은 산업을 변화시키는 때에 디노도는 유일무이한 역량을 통해 기업을 지원할 수 있다.”

리차드 존스 디노도 아시아태평양 & 일본 지역 총괄 부사장(표지 사진)은 최근 <바이라인네트워크>와 인터뷰에서 생성형 AI 기대 자사의 강점을 이같이 밝혔다.

리차드 존스 부사장은 “모든 기업의 데이터는 앱, 데이터베이스, 클라우드, 온프레미스 등 다양한 곳에 존재하기 때문에 연합된 형태의 시맨틱 통합이 중요하다”며 “시맨틱 통합을 통해 데이터의 엘리먼트까지 파악해서 적시 적소에, 적절한 사람에게 필요한 데이터를 제공한다”고 설명했다.

그는 “엔터프라이즈 데이터 환경에 대한 거버넌스를 갖추는 건 요즘처럼 리스크 많은 프레임워크 상에서 특히 중요하다”며 “AI 앱에 대해 단일화된 데이터베이스를 제공한다는 건 모든 인프라 상에서 어떤 앱이든 필요한 데이터를 표면화해 사용하게 해준다는 것”이라고 강조했다.

디노도 플랫폼은 이기종 데이터 저장소를 논리적으로 통합하는 데이터 가상화 기술을 통해 최신 데이터 확보 등 데이터 분석에 필요한 요구사항을 충족시킬 뿐 아니라 세밀하고 견고한 데이터 보안 및 거버넌스 체계를 수립할 수 있는 중앙 집중화된 환경을 제공한다.

디노도 플랫폼이 제공하는 다양한 원천 데이터 저장소의 통합, 즉 이기종 데이터 소스 간의 논리적 통합 기능은 데이터의 신속한 탐색, 데이터 운영 간소화, 접근 권한 통합 관리 등 데이터 관리 과정 전반의 효율성을 향상시킨다. 데이터 조회 이력을 분석해 맞춤 데이터를 추천하고 자주 찾는 데이터를 알려주는 등 데이터의 손쉬운 접근을 도와주는 디노도의 데이터 카탈로그 기능은 데이터 업무 전반의 효율성을 개선시킨다.

그는 “페더레이트 데이터 거버넌스는 데이터 에셋에 대한 보안을 강구해준다는 것”이라며 “데이터는 모든 곳에 존재하므로 어떤 앱이나 사람이 어떤 채널을 통해서든 접근할 때 민감 데이터를 보지 않게 하고, 권한 없는 데이터를 보지 못하게 하는 액세스 컨트롤이 중요하다”고 말했다.

그는 “디노도 플랫폼으로 이걸 사일로 형태 앱에 적용하는 게 아니라 단일화된 방식으로 다 적용할 수 있다”며 “우리 플랫폼은 완전한 데이터 에셋 유니피케이션을 지원하고 있고. 은행급의 안전한 보안 강구된 거버넌스를 지원한다”고 덧붙였다.

디노도는 데이터 가상화 기술을 바탕으로 논리적으로 연합된 데이터 패브릭 아키텍처를 그려준다. 여기에 최근 생성형 AI 환경을 지원하는 기능을 추가해 기업의 최신 데이터 수요를 수용할 수 있게 됐다.

최신 버전인 디노도 플랫폼 9.1은 새로운 AI 기능과 도구를 강화하고 데이터레이크하우스 성능을 높였다. AI 기반 자연어 쿼리와 검색 증강 생성(RAG)을 지원하고 데이터 관리에 지능형 데이터 배포를 도입해 생성형 AI 애플리케이션에서 신뢰할 수 있는 통찰을 얻을 수 있도록 했다.

디노도 플랫폼 9.1은 시맨틱 계층을 활용해 데이터 엔지니어링 작업을 자동화하고 AI 기반의 디노도 어시스턴트를 통해 데이터 분석가와 비즈니스 사용자에게 상황에 맞는 인사이트와 데이터 추천 서비스를 제공한다.

쿼리 마법사는 자연어 쿼리 기능을 바탕으로 쿼리 생성의 각 단계별 안내를 통해 사용자의 기술 수준에 상관없이 쿼리를 쉽고 정확하게 작성할 수 있도록 해준다. 쿼리 자동 완성 기능은 상황에 맞는 제안을 제공해 더 효율적으로 쿼리를 작성할 수 있도록 도와준다. 데이터 준비 마법사 기능으로: 데이터 팀 도움 없이도 데이터 프로덕트를 다양한 이용 목적에 맞게 신속하게 만들 수 있다. 데이터 뷰와 테이블 컬럼 설명 생성 기능을 활용하면 데이터 뷰와 테이블 컬럼에 대해 비즈니스적으로 의미가 통하는 설명을 자동으로 생성해 데이터 자산을 더 쉽게 만들고 이해할 수 있다. 텍스트 기반 비정형 데이터 정제 기능은 텍스트 자동 요약 및 분류, 데이터 개체 식별 및 추출, 감정 분석, 민감한 데이터 식별 및 삭제, LLM을 사용한 텍스트 번역 등을 단일 함수 호출로 모두 수행한다.

디노도 플랫폼 9.1은 RAG 구현과 AI 애플리케이션 및 에이전트 개발을 가속화하는 오픈 소스 툴킷인 디노도 AI 소프트웨어개발키트(SDK)를 포함한다. 디노도 AI SDK는 정형, 비정형 데이터를 생성형 AI 모델에 통합하는 작업을 간소화해 답변의 정확도를 높이고 성능을 향상시킨다. API제공과 재사용 가능한 컴포넌트는 데이터 소스로부터 실시간 데이터를 LLM에 제공하는 프로세스를 간소화한다. RESTful 데이터 API는 RAG 기반 AI 에이전트 개발을 위해 설계됐고 낮은 수준의 데이터 API와 오케스트레이션 로직을 추상화하며 임베디드 애플리케이션 API 및 벡터 데이터베이스와의 통합을 용이하게 한다. 세션 수준 보안으로 RAG 기반 AI 에이전트가 데이터 프라이버시와 보안 요구 조건을 충족하도록 한다. 유연한 통합 옵션으로 개발자가 특정 환경에 맞게 AI 솔루션을 패키지화해 제공한다. RAG 애플리케이션 샘플과 튜토리얼을 통해AI 개발자는 RAG 기반 개발을 빠르게 시작할 수 있다.

디노도 플랫폼 9.1은 AI에 중점을 둔 것 외에도 핵심 기능들을 강화해 데이터 레이크하우스를 포함한 다른 데이터 플랫폼의 성능을 보완할 수 있다. 일반 사용자도 스키마 확인과 시간 여행 기능으로 아이스버그 테이블을 관리하고 조회할 수 있다. 마이크로소프트 패브릭과 원레이크를 지원하며, 애로우플라이트 SQL을 지원해 클라우드 데이터 웨어하우스와 레이크하우스의 쿼리 성능을 가속한다.

아파치 라이선스에서 무료로 배포되는 디노도 AI SDK는 현재 디노도 고객에게 제공되고 있다. 무료 체험 버전인 디노도 익스프레스에도 패키지로 제공된다.

디노도 플랫폼의 AI 기능은 구글클라우드 버텍스AI와 아마존웹서비스(AWS)의 아마존 베드록과 통합돼 생성형 AI 기능의 클라우드 서비스 통합을 지원한다.

리차드 존스 부사장은 “생성형 AI 시장은 2032년까지 670억달러 규모에 이를 것으로 예측되는데 모든 산업에 영향을 끼치고 있다”며 “모든 기업이 고객과 경쟁사의 추이를 쫓기 위해 AI에 적응할 수 박에 없는 실정”이라고 설명했다.

그는 “널리 쓰이는 LLM은 퍼블릭하고 개방적인 환경이고, 모든 기업은 엔터프라이즈 데이터를 지적재산이라 생각하므로 그 어떤 기업도 그 데이터를 개방형 환경에 내놓으려 하지 않는다”며 “그래서 이런 데이터를 효과적으로 사용하려면 특정 산업에 트레이닝되거나 튜닝된 LLM과 기업 데이터를 함께 사용할 수 있어야 한다”고 말했다.

현재 시장의 유력 LLM은 대부분 공용 데이터를 학습한 범용 모델로 기업의 비즈니스 맥락을 제대로 이해하지 못한다. 일례로 은행의 임원이 사내 LLM 기반 대화형 챗봇에 1주일의 대출 승인 건수를 물었을 때 범용 LLM은 적절한 대답을 할 수 없다. LLM이 비즈니스 맥락을 이해하려면 사내 데이터를 활용할 수 있어야 하며, 사내 데이터 접근은 보안 강구된 환경에서 이뤄져야 안전하다.

존스 부사장은 “디노도는 LLM과 엔터프라이즈 데이터 간의 간극을 좁혀주는 교각 역할을 한다”며 “디노도 AI SDK를 사용하면 유니파이드 시멘틱 레이어를 통해 전 비즈니스 에셋에서 데이터를 가져와 LLM과 비즈니스 데이터 간 소통을 할 수 있게 된다”고 말했다.

그는 “생성형 AI 앱은 보안 강구된 형태로 기업 데이터에 신뢰할 수 있는 접근을 할 수있다”며 “디노도 생성형 AI 앱에 물어보면 LLM으로 질문을 전환하고 지식을 가져와 소비자에게 답을 제공할 수 있게 된다”고 강조했다.

디노도 플랫폼의 시맨틱 레이어 구축은 비즈니스 맥락을 담은 메타데이터를 벡터화하는것이다. 실제 데이터를 벡터화하지 않으므로 생성형 AI 앱에 기밀 데이터를 직접적으로 노출하지 않으며, 일반적인 벡터 데이터베이스보다 훨씬 더 작은 크기로 구축돼 성능과 비용에서 이점을 갖는다.

그에게 디노도 플랫폼으로 AI를 활용한 사례 공유를 부탁하자 그는 독일 기업 페스토(FESTO), 미국 법률기업 퍼킨스코이, 남아프리카공화국 금융기업 알렉스 포브스 등의 사례를 제시했다.

페스토는 산업 자동화 및 산업 인사이트 강화를 위해 인텔리전트 데이터 커뮤니케이션 엔진을 구축하고자 하는 기업 목표에 따라 디노도와 함께 기존 챗 GPT와 유사한 ‘Festo GPT’를 개발했다. 디노도는 텍스트 음성 변환(Text to Speech) 및 이미지 생성을 제공하는 스킬 플롯을 기반으로 음성, 텍스트 이미지를 복합적으로 사용할 수 있는 맞춤형 애플리케이션을 개발함으로써 산업 현장의 엔지니어, 컨설턴트들이 다양한 유형의 데이터를 자유롭게 활용하도록 했다. 이를 통해 페스토의 컨설팅 및 프로젝트 관리자는 대화형 인텔리전스를 활용해 데이터 접근성을 개선할 뿐만 아니라, 정확한 영업 및 컨설팅 매출과 KPI 보고가 가능해졌다.

퍼킨스 코이는 고객 서비스 역량을 강화해 고객들의 승률을 향상시킨다는 기업 목표와 관련해 PC 챗을 개발했다. PC 챗은 보안이 강화된 GPT 형태의 자연어 인터페이스로, 디노도는 법률 기업 특성상 민감한 고객 데이터를 다루는 점을 고려해 통합 거버넌스를 구축함으로써 세분화된 데이터에 대한 보안 체계를 마련했다. 이를 통해 기업은 고객 요청에 대한 응답 시간을 단축하고, 고객과 직원과의 실시간 의사 결정 과정을 크게 개선했으며, 결과적으로 데이터 관리 및 보안 도구를 디노도 플랫폼에 통합함으로써 기술 부채를 감소시켰다.

알렉스 포브스는 데이터 셀프서비스를 임직원 및 고객에게 제공하고자 하는 기업의 목표에 따라 디노도와 함께 챗GPT와 유사한 인터페이스를 개발해 각 페르소나에 부합하는 맞춤형 서비스를 제공할 수 있도록 했다. 이를 통해 기업은 SQL 사용자, 금융 애널리스트, 또는 경영진 등 각 페르소나의 특성에 맞춰 서비스를 제공함으로써 훨씬 더 신속하고 나은 의사 결정을 할 수 있게 됐으며, 생성형 AI SDK 전반에 사용되는 기술을 통해 확장성을 향상시킴으로써 데이터 관리 비용을 크게 감소시켰다.

디노도는 생성형 AI 가속 프로그램을 운영중이다. 기존 고객에게 초점을 맞춰 디노도 플랫폼을 활용해 생성형 AI를 빠르게 도입하도록 지원하는 프로그램이다. 리차드 존스 부사장은 “현재 이 프로그램으로 온보딩한 고객이 13개 정도 있고, 일부는 이미 프로덕션 환경에서 활용중”이며 “앞선 3개 기업이 그 중 일부”라고 밝혔다.

기업의 산재된 데이터를 통합적으로 활용하게 하는 방안은 물리적으로 한곳에 통합해 여러 애플리케이션에게 각각의 접근 권한을 열어주는 방식과, 물리적 통합 대신 논리적으로 통합하고 접근권한과 거버넌스를 관리하는 방식이 있다. 디노도의 방식은 후자다.

이에 대해 리차드 존스 부사장은 “하나의 환경으로 모든 데이터를 옮겨야 하는 방식을 채택하면 AI 팀이 통합 환경 외부의 엔터프라이즈 데이터에 접근할 때 어려움이 있을 수 있다”며 “데이터를 가져와 정제하고 전환하고 라벨링하고 가용하게 만든 다음에야 AI 쪽에서 접근할 수 있으므로 AI 팀은 충분히 빠르지 않고 민첩하지 못하다는 불만을 갖게 되며, 예상치 못했던 전혀 모르는 질문에 적합하지 않게 된다”고 설명했다.

그는 “데이터가 분명히 어느 앱에 있는데 리얼타임 쿼리가 들어왔을 때 데이터레이크까지 데이터가 아직 안 들어간 상황이 있을 수 있다”며 “이는 하나의 방식이 유일한 정답이 아니란 것이며, 엔터프라이즈 비즈니스 시맨틱 레이어로 통합하고 여기에 데이터레이크가 함께 들어가는게 가장 이롭다고 생각한다”고 밝혔다.

그는 “기업의 환경은 복잡하고 데이터 에셋은 모든 곳에 존재할 수 있다는 걸 염두해둬야 한다”며 “생성형 AI 전략으로 가면서 항상 대화형 인텔리전스를 간과할 수 없으므로 데이터가 어디있는지 알고 있어야 그 대화 발생 시 바로 데이터를 가져올 수 았다”고 강조했다.

디노도코리아는 올해 지사 설립 4년을 맞았다. 그동안 데이터 가상화와 데이터 패브릭 아키텍처를 시장에 인식시키는데 주력했다면 올해부터 구체적인 고객사례를 여럿 만들어낼 것으로 기대하고 있다.

존스 부사장은 “올해는 우리 아태지역 팀을 하나의 미션에 초점을 맞춰 움직이게 하는 걸 목표로 하고 있다”며 “지역끼리 많이 협업하고 공유하며 서로 배울 수 있는 계기를 만들 것”이라고 말했다.

그는 “얼마 전 중국에서 아태지역 임직원이 모이는 글로벌 컨퍼런스를 개최했는데, 이 사실 자체가 아태지역을 얼마나 디노도에서 중요하게 보는 지 알려주는 것”이라며 “이전보다 더 빨리 성장할 수 있길 기대하고 있으며 아태지역의 실행 속도에 맞춰 지속적으로 투자할 것”이라고 강조했다.

글. 바이라인네트워크

<김우용 기자>yong2@byline.network