스노우플레이크는 어디서 와서 어디로 가는가

클라우드 컴퓨팅이 태동하던 2012년, 세계 최대 데이터베이스(DB) 소프트웨어 회사인 오라클에서 두 명의 아키텍트(구조 설계자)가 새로운 데이터 플랫폼을 만들겠다며 회사를 떠났다. 이들은 클라우드 시대에는 새로운 아키텍처의 데이터 플랫폼이 필요하다고 생각했다. 당시 이들의 나이는 40대 중반. 세계 최고 DB 회사의 고위직에 오르는 등 성공적인 커리어를 이어가고 있었지만, 과감하게 새로운 도전에 나섰다.

이들은 스노우플레이크의 베누아 다쥬빌, 티에리 크루아네스 공동창립자다. 2012년 오라클에서 나온 이들은 한 사람의 아파트에 모여 클라우드와 빅데이터에 맞는 데이터 플랫폼을 구상했다.

약 8개월 동안 준비 끝에 새로운 아키텍처의 데이터 플랫폼의 구상이 완성됐다. 이후 2013년 초 스노우플레이크를 창업해 본격적인 개발과 비즈니스를 시작했다. 이후 13년이 지난 현재 스노우플레이크는 시가총액 80조원에 달하는 소프트웨어 회사로 성장했다.

사실 이들이 처음부터 오라클을 떠날 계획은 아니었다고 한다. 처음에는 오라클에서 클라우드 기반의 혁신적 DB 서비스를 만들고자 했다. 하지만 새롭게 만들어질 제품은 오라클의 기존 제품과 카니발라이제이션(기존 주력 제품의 시장을 갉아먹는 현상)을 일으킬 것이 분명했다. 이들은 회사가 자신들에게 오라클 DB 시장을 잠식할 제품에 투자할 가능성이 없다고 보고 창업에 나섰다.

클라우드와 빅데이터의 흐름에 맞는 데이터 플랫폼을 만들자

베누아 다쥬빌과 티에리 크루아네스가 스노우플레이크를 창업할 당시 IT업계에는 클라우드와 빅데이터라는 거대한 기술적 흐름이 있었다. 클라우드는 컴퓨팅 자원을 자유롭게 빌려 쓸 수 있는 새로운 개념의 기술이었고, 빅데이터는 그동안 관리.분석할 기술이 없어 버려졌던 비정형 데이터까지 활용하는 방안이었다.

빅데이터는 하둡이라는 기술의 등장으로 떠올랐다. 비정형 데이터를 저비용으로 저장, 관리하는 기법이 등장한 것이다. 하둡이 등장한 이후 비정형 데이터도 쓸모가 있다는 생각이 확산됐다. 하지만 하둡은 빅데이터 트렌드를 이끌었음에도 지나치게 낮은 성능과 복잡성으로 또다른 숙제를 IT업계에 안겨주고 있었다.

스노우플레이크의 두 창업자는 클라우드를 기반으로 하둡의 문제까지 해결하고자 스노우플레이크를 창업했다고 설명했다. 베누아 다쥬빌은 “스노우플레이크는 클라우드를 기반 무한한 확장성을 제공하면서 정형 데이터뿐 아니라 모든 종류의 데이터를 처리하려고 했다”고 말했다.

스노우플레이크는 현재 가장 각광받는 클라우드 기반의 데이터 플랫폼이다. 정형 데이터를 다루는 전통적인 분석 데이터베이스(데이터웨어하우스)뿐 아니라 pdf나 doc 등 모든 종류의 데이터를 관리하고 분석할 수 있다. 또 AI 기술을 활용해 SQL과 같은 DB 언어와 문법을 몰라도 자연어로 데이터를 다룰 수 있도록 하고 있다.

“사용량만큼 과금, 안 쓴 요금은 내지마세요”

스노우플레이크의 데이터 플랫폼은 정형 비정형 데이터를 하나의 플랫폼에서 처리할 수 있다는 특징 이외에 여러가지 독특한 접근법을 보여줬다. 가장 대표적인 것이 ‘과금’ 방식이다.

일반적으로 클라우드 기반의 소프트웨어 기업은 ‘서브스크립션(Subscription, 구독)’이라는 방식으로 과금을 한다. 매달 일정 비용을 내는 방식이다. 서브스크립션은 사용을 하든, 하지 않든 매달 비용을 지불해야 한다. 넷플릭스를 보든 안 보든 매달 결제되는 것이 이 방식이다.

반면 스노우플레이크는 컨섬션(Consumption, 소비량)이라는 방식을 채택했다. 이는 초 단위로 사용량을 계산해 과금하는 방식이다. 사용하지 않을 땐 과금이 되지 않는다. 티에리 크루아네스는 “어떤 워크로드가 전혀 가치를 창출하지 않다면 그냥 셧다운 할 수 있고, 높은 가치 창출하는 워크로드라면 더 많은 리소스를 사용할 수 있게 한다”면서 “컨섬션(소비기반) 모델을 통해 고객의 비용을 줄여 신뢰 얻을 수 있었다”고 말했다.

“데이터 플랫폼도 구글처럼 쉬워야”

스노우플레이크가 강조하는 또 하나의 가치는 ‘데이터 플랫폼 활용의 민주화’다. 여기서 말하는 민주화는 전문적인 기술을 몰라도 누구나 사용할 수 있도록 하자는 개념이다. 기존의 DB 소프트웨어는 SQL이라는 언어를 알아야 원하는 데이터를 뽑아낼 수 있었다. IT 직군이 아닌 경우 데이터가 쌓여 있어도 직접 활용할 수가 없었다. 때문에 IT 부서에 데이터나 분석 리포트를 요청할 때가 많았다.

티에리 크루아네스는 “스노우플레이크를 창립했을 때 저희 데이터 플랫폼이 구글처럼 활용되길 원했다”고 전했다. 구글에서 검색을 할 때 특별한 전문지식이 필요하지 않은 것처럼, 전문지식 없이 데이터 플랫폼을 이용할 수 있도록 하겠다는 의미다.

현재 스노우플레이크는 AI를 활용한 제품 ‘코텍스 AI’를 통해 이 창립이념을 구현하고 있다. 챗GTP에 입력하듯 자연어 질의를 통해 비정형 데이터를 검색하고 요약하고, 자연어로 데이터를 분석할 수 있다. SQL을 몰라도 문맹이 아니라면 데이터 플랫폼을 이용할 수 있다.

“고객을 종속(Lock-IN)시키지 말라”

현재 스노우플레이크가 강조하는 것은 ‘상호운용성’이다. 고객 입장에서 특정 회사의 제품이나 기술에 매몰되지 않도록 하자는 것이다. 상호운용성이 있다면, A 회사의 기술을 이용하던 고객이라도 마음만 바뀌면 언제든 쉽게 B 회사의 기술로 이동할 수 있다.

이를 상징하는 것이 ‘아이스버그’다. 아이스버그는 대용량 분산 데이터를 쉽게 관리하기 위해 등장한 개방형 데이터 테이블 포맷이다. 넷플릭스가 개발해 오픈소스로 공개했다. 스노우플레이크는 자체적으로 개발한 데이터 테이블 포맷이 있지만, 아이스버그도 자사 플랫폼에 내재화했다. 동시에 아이스버그용 통합 카탈로그 시스템인 자사의 ‘폴라리스 카탈로그’를 오픈소스로 공개했다.

아이스버그가 주는 가장 큰 장점은 데이터를 복제할 필요가 없게 된다는 점이다. 예를 들어 스노우플레이크로 데이터를 관리하기 위해서는 기업의 자체 서버에 있는 데이터를 스노우플레이크 클라우드 서버로 복제해야 했다. 같은 데이터가 이중, 삼중으로 복제되는 것은 시간과 비용 면에서 낭비를 초래하고, 보안 면에서 리스크를 키우는 일이다. 하지만 아이스버그를 이용하면 기업 자체의 데이터센터에 있는 데이터나 다른 클라우드 데이터 저장소에 있는 데이터도 스노우플레이크로 통합 관리할 수 있게 된다. 데이터 플랫폼의 종속성이 사라지게 된다.

베누아 다쥬빌은 “아이스버그는 스노우플레이크 테이블 포맷이든, 고객에게 선택권을 제공하는 게 중요하다”면서 “고객이 꼭 스노우플레이크를 활용하게 만들 필요는 없고, 필요한 업무에 가장 적합한 툴을 이용할 수 있도록 해야 한다”고 말했다.

최기영 스노우플레이크코리아 지사장은 “스노우플레이크를 통해 사용되지 않던 80% 데이터가 사용될 수 있도록 온라인 됐고, AI를 통해 데이터 소비 측면에서 파괴적 혁신이 일어나고 있다”면서 “스노우플레이크는 데이터 저장소나 데이터 타입에 종속되지 않고 고객이 원하는 최고의 기술을 선택해 사용할 수 있도록 지원하고 있다”고 말했다.