[디지털데일리 이종현기자] 데이터 환경이 점점 더 복잡해지고 있다. 전통적인 온프레미스를 비롯해 클라우드 등 형태가 다변화되는 데 더해 관계형 데이터베이스(RDB)와 NoSQL처럼 DB의 종류도 수십종 이상이다. 모든 정형 데이터를 한데 모으는 데이터웨어하우스 나아가 원시 및 비정형 데이터까지 모으는 데이터레이크 등 계속해서 새로운 개념이 등장하고 있다.

그리고 최근에는 데이터웨어하우스와 데이터레이크의 장점을 결합한 최신 플랫폼으로 데이터레이크하우스도 등장했다. 4차 산업혁명 시대의 쌀, 원유라고 불리는 데이터를 보다 잘 활용하기 위한 노력의 산물이다. 관련 기술 분야에서 시장을 주도하고 있는 스노우플레이크와 같은 기업이 크게 주목받는 이유다.

이수현 스노우플레이크 에반젤리스트는 “데이터를 저장하고 활용하는 방식은 빠른 속도로 발전하고 있다. 정형화된 데이터를 저장하기 위해 데이터웨어하우스라는 개념이 등장했고, 점차 비정형·반정형 데이터 활용이 늘면서 데이터레이크라는 컨셉으로 전환됐다. 그리고 보다 빠른 확장을 위해 퍼블릭 클라우드를 채택하기 시작했고, 온프레미스와 클라우드에 흩어진 데이터를 통합하기 위해 데이터레이크하우스까지 이어졌다”고 소개했다.

◆데이터 클라우드 기업 스노우플레이크

스노우플레이크는 데이터 클라우드 분야에서 최일선을 달리는 기업이다. 2012년 설립된 스노우플레이크는 빅데이터를 보다 쉽게 수집·통합·활용할 수 있도록 하는, 데이터 관련 전반의 기술 스택을 제공하는 것이 특징이다. 2021년11월 한국지사를 설립했다.

이수현 에반젤리스트는 데이터 사이언티스트 출신으로, 스노우플레이크의 기술 및 소식을 전달하는 역할을 맡고 있다. 에반젤리스트(Evangelist)는 시시각각 변화가 이뤄지는 정보기술(IT) 업계에서 최신 기술 트렌드와 기술이 가진 의미 등을 전달하는 임무를 수행한다.

그는 빅데이터 업계의 주요 화두로 통합과 비용 효율성을 꼽았다. 인공지능(AI) 등 빅데이터의 활용이 커짐에 따라 곳곳에 흩어진, 사일로(Silo)화된 데이터를 통합하고자 하는 수요가 커졌지만 이 과정에서 계속해서 데이터를 복제할 경우 이를 저장·관리하는 데 필요한 비용은 기하급수적으로 커진다. 데이터가 커지는(빅) 만큼 가격도 커진다는(빅) 지적이다.

이 에반젤리스트는 “데이터레이크하우스를 통해 사일로를 없애려는 움직임이 활발해졌지만 서로 다른 컨셉을 하나로 통합하는 것이 쉽지는 않다. 스노우플레이크는 이 부분을 해결하는 데 집중한다. 모든 데이터를 하나의 플랫폼에서 관리하고, 전 세계적으로 연결해 통찰력을 얻을 수 있도록 한다. 2014년 정식 버전(GA)으로 제품을 출시한 뒤 데이터 산업의 혁신을 주도하고 있다”고 피력했다.

그는 스노우플레이크가 보유한 게임 체인저 기술로 데이터 셰어링을 꼽았다. 데이터를 복제하지 않고, 메타 데이터를 이용해 라이브 형태로 즉시 공유할 수 있도록 하는 것이 골자인 기술이다. 추출·변환·적재(ETL)라는, 데이터를 활용코자 하는 기업들이 겪는 최대 애로사항 중 하나를 해결해 준다.

이 에반젤리스트는 “여러 핵심 기술들이 있지만 스노우플레이크의 최대 강점은 사용하기 쉽고 고성능이라는 점이다. 자체 기술력을 통해 높은 수준의 압축률로 데이터 저장에 필요한 저장공간을 줄이고, 메타 데이터의 관리, 최적화를 비롯해 머신러닝(ML)이나 안전한 애플리케이션(앱) 개발을 위한 데이터 거버넌스 등 데이터와 관련된 포괄적인 기술을 제공하고 있다”고 전했다.

◆금융 중심으로 빠르게 확장 중··· 국내 금융기업도 도입 초읽기

스노우플레이크의 플랫폼은 데이터를 활용코자 하는 기업 대부분이 활용할 수 있다. 제조나 유통, IT 등 산업군을 가리지 않는다. 그중에서도 특히 스노우플레이크 도입에 적극적인 것은 금융이다.

김도현 스노우플레이크 상무는 “금융은 과거부터 데이터를 활용하는 데 적극적인 산업군이었다. 과거에는 온프레미스를 기반으로 데이터를 분석해왔는데 퍼블릭 클라우드에 대한 규제가 해소됨에 따라 가장 적극적으로 기술을 도입하고 있다. JP모건, 골드만삭스, 씨티뱅킹 등 글로벌 상위 10개 금융기업 중 7개사가 스노우플레이크의 플랫폼을 이용 중”이라고 밝혔다.

이런 움직임은 한국에서도 그대로 재연되고 있다. 코로나19 이후 비대면 문화가 확산됨에 따라 금융당국은 전자금융감독규정을 개정, 금융산업의 클라우드 이용에 대한 규제를 완화했다. 올해부터 크고 작은 클라우드 사업이 이어지고 있는 배경이다.

스노우플레이크는 이런 수요를 충족하기 위해 6월8일 금융보안원의 안전성 평가를 완료했다. 기존에는 금융기업들이 클라우드 서비스의 안전성을 평가하고 금융감독원에 보고한 뒤 도입하는, 다소 까다로운 절차였던 것에 반해 올해부터는 클라우드 서비스 기업이 대표 평가를 받을 경우 금융기업은 평가를 받은 서비스를 곧바로 이용할 수 있게 됐다. 국내 금융기업들에게 서비스를 제공하기 위한 절차를 마쳤다는 의미다.

김 상무는 “이미 개념증명(PoC)를 진행하고 있는 금융기업이 상당수 있다. 경쟁 대상에 따라 차이를 보이겠지만 평균적으로 기존 온프레미스 레거시 환경의 서비스 대비 5배 이상, 퍼블릭 클라우드 환경의 서비스 대비로는 3~10배 이상 높은 성능을 제공한다는 결과가 나왔다. 퍼블릭 클라우드 환경에서의 성능은 그만큼 비용이 절감된다는 의미로 이어진다. 가격과 성능을 모두 잡았다”고 말했다.

이어서 “올해 기업들의 최대 화두는 IT 비용 절감이다. 그리고 스노우플레이크는 성능 고도화와 비용 절감이라는, 두 마리 토끼를 모두 잡을 수 있는 효과를 제공한다. 덕분에 많은 관심을 받고 있다. 안전성 평가가 완료되기를 기다리고 있던 고객사도 있다. 곧 유의미한 레퍼런스 소식을 전해드릴 수 있으리라 생각한다”고 부연했다.

한편 스노우플레이크는 미국 라스베이거스 현지시각 26일부터 29일까지 연례 콘퍼런스 ‘스노우플레이크 서밋 2023’을 개최한다. 프랭크 슬루트만(Frank Slootman) 스노우플레이크 최고경영자(CEO)와 젠슨 황(Jensen Huang) 엔비디아 CEO가 생성형 AI를 주제로 대담을 나누는 것을 시작으로 데이터와 관련된 갖가지 이슈 및 트렌드에 대해 조명할 예정이다.