[디지털데일리 이종현기자] 데이터는 디지털 시대의 쌀, 원유라고 불린다. 데이터를 어떻게 활용하느냐가 기업의 성패를 결정한다는 것인 이제 익숙해진 표현이다. 빅테크(Big Tech)라고 불리는 글로벌 기업들 모두가 데이터를 핵심 가치로 삼고 있다.

자연히 데이터를 관리하기 위한 다양한 기술과 솔루션이 등장하는 가운데, 데이터 및 인공지능(AI) 기업 데이터브릭스(Databricks)는 20일 한국 지사 설립을 발표했다. 서울 강남구 삼성동에 사무실을 두고 국내 파트너사와 협력해 디지털 전환을 지원한다는 포부다.

데이터브릭스는 아마존웹서비스(AWS), 마이크로소프트(MS), 구글로 대표되는 글로벌 빅3 클라우드 기업의 투자를 동시에 유치한 기업이다. 데이터웨어하우스(DW), 데이터레이크(DL) 기술을 보유하고 있으며, 이를 융합한 ‘레이크하우스(Lakehouse)’라는 비전을 제시하는 중이다.

데이터웨어하우스와 데이터레이크는 유사한 개념 탓에 혼용되는 경우가 많은 기술이다. 데이터를 가공해서 저장하느냐, 원시(로우, Raw) 데이터로 저장하느냐에 따라 데이터웨어하우스와 데이터레이크가 구분된다. 가공되는 데이터가 데이터웨어하우스, 가공되지 않은 데이터가 데이터레이크다.

장경운 데이터브릭스 팀장은 “데이터웨어하우스는 과거에 무슨 일이 있었느냐를 확인하기 위한 비즈니스 인텔리전스(BI)를 위해 활용되고, 데이터레이크는 앞으로 무슨 일이 일어날지를 예측하기 위한 AI를 위해 활용된다”고 정의했다.

다만 데이터웨어하우스와 데이터레이크가 별도의 플랫폼으로 구현돼 데이터를 활용코자 하는 기업들이 어려움을 겪고 있다는 것이 장 팀장의 설명이다. 양 플랫폼에 데이터를 중복 저장하면서 비용이 증가하고, 서로 호환되지 않는 시스템으로 인해 보안 문제도 발생할 수 있다고 강조했다. 이로 인해 각 플랫폼에서 얻은 인사이트가 서로 병합되기 어렵다고 전했다.

장 팀장은 “데이터웨어하우스와 데이터레이크가 별도로 운영됨에 따라 너무 많은 비용과 복잡성을 수반한다. 데이터에 숨어 있는 모든 가능성을 끌어내기도 어렵다”고 피력했다.

이런 문제를 극복하기 위해 데이터브릭스가 제시한 것은 데이터웨어하우스와 데이터레이크를 결합한 레이크하우스다. 모든 데이터를 하나의 저장소에 저장하고, 오픈소스와 오픈 표준을 기반으로 해 특정 벤더 종속성 우려가 없는 것도 데이터브릭스가 내세우는 강점 중 하나다. AWS, MS 애저(Azure), 구글 클라우드 플랫폼(GCP) 등 클라우드 빅3에서 모두 이용할 수 있다.

골드만삭스, 라이엇게임즈, 월마트 등이 데이터브릭스의 대표 고객이다. 골드만삭스는 AI를 활용해 아이폰의 신규 애플 카드를 5분 이내에 승인 및 인수할 수 있도록 구현했고, 라이엇게임즈는 AI를 활용해 약 1억명의 게임 사용자의 개인화된 경험을 얻을 수 있도록 했다. 유통회사인 월마트는 데이터 사이언스 기술을 도입해 공급망을 최적화했다.

알리 고드시(Ali Ghodsi) 데이터브릭스 공동창업자 겸 최고경영자(CEO)는 “현재 기업들이 직면한 데이터 사일로(Silo)는 매우 심각한 상황이다. 데이터브릭스는 데이터+AI 기업으로서 데이터 분석과 AI를 통해 데이터 팀이 데이터브릭스 레이크하우스로 기업이 당면한 가장 어려운 문제를 해결하는 것을 돕겠다”고 말했다.

이어서 “서울에 있는 데이터블릭스 한국팀을 올해 2배 규모로 늘릴 계획이다. 데이터브릭스가 코로나19 팬데믹 이후의 시대에 디지털 미래를 새롭게 구상하고 한국 경제의 모든 부문에서 비즈니스 혁신을 돕는 중요한 역할을 할 것이라 믿는다”고 부연했다.

한편 데이터브릭스는 클루커스, 메가존 등 국내 기업과 협력 중이다. 국내 클라우드 시장이 커지는 가운데 스노우플레이크 등 경쟁사와 경쟁하게 된다.