한국IBM 홍규표 부장 [ⓒ디지털데일리]

[디지털데일리 박세아 기자] 과학기술정보통신부(이하 과기정통부)와 정보통신산업진흥원(NIPA), 디지털데일리와 함께 서울 서초구 양재 엘타워에서 개최한 ‘오픈 테크넷 서밋 2023’에서 한국IBM이 '차세대 데이터 레이크하우스 아키텍처 기반 오픈소스 활용 방안'에 대해 발표했다.

한국IBM 홍규표 부장은 "세일즈, 마케팅, IT, 인사관리 등 모든 분야에서 데이터 기반 결정이 증가하고 있다"라며 "하지만, 폭발적인 데이터 증가와 클라우드와 애플리케이션에 위치한 사일로 현상 등으로 데이터 통합과 정리에 많은 시간이 증가하고 있다"라고 말했다.

이에 복원력을 개선하고 직간접 데이터 관리 비용을 줄이기 위한 인프라 현대화가 요구되고, 새로운 인사이트를 도출해 비즈니스 성과를 개선하는 디지털 전환이 요구되고 있다고 전했다. 이와 같은 요구를 만족시키는 데이터 처리 인프라 중 하나가 '레이크하우스'다.

이날 홍 부장은 레이크하우스가 등장하게 된 배경에 대해 먼저 자세히 설명했다. 홍 부장에 따르면 먼저 '데이터 웨어하우스'가 가장 먼저 등장하면서 대용량 데이터를 처리하는 데 있어 지배적인 방법으로 시장에서 부상했다 . 하지만, 신뢰할 수 있고 쉽게 분석할 수 있다는 장점과는 별개로 비용이 많이 든다는 단점 또한 존재했다.

이후 데이터의 양과 속도, 다양성이 증가함에 따라 데이터 웨어하우스를 대체할 '데이터 레이크'가 등장했다. 데이터 레이크는 데이터 웨어하우스보다는 저렴하게 시스템을 구축할 수 있었지만, 복잡성이 높고, 데이터 품질이 떨어진다는 단점이 있었다.

이후 클라우드 상에서 데이터 웨어하우스를 제공하는 업체가 등장하기 시작했다. 특히 클라우드 데이터 웨어하우스는 컴퓨팅과 스토리지를 분리 도입하고, 기존 웨어하우스의 확장성 문제를 해결할 수 잇다는 점에서 주목받았다. 하지만, 이 또한 온프레미스 웨어하우스보다 고비용이라는 문제가 있었다.

이에 클라우드 웨어하우스 데이터시스템과 데이터 레이크하우스 시스템이 각각 발전하는 과정에서 사스 형태이면서 개방형 기술인 '오픈 데이터 레이크하우스'가 중요한 기술로 성장했다. 이는 멀티 하이브리드 클라우드와 AI의 대규모 배포와 같은 환경이 작용한 결과라는 게 홍 부장 설명이다.

홍 부장에 따르면 '레이크하우스' 아키텍처는 단순화된 아키텍처이자, 복잡한 데이터 파이프라인이 감소하는 구조로 이뤄져있어 비용 효율적인 시스템을 만들 수 있다. 이 외에도 레이크하우스 아키텍처는 모든 워크로드를 한 곳에서 처리할 수 있고, 차세대 SQL 엔진을 사용한다.

그는 "레이크하우스는 데이터 레이크와 웨어하우스를 최적의 단일 통합 플랫폼으로 결합해 매우 복잡한 데이터 변환과 다양한 사용 사례를 지원한다"라며 "데이터 레이크하우스는 웨어하우스의 엔진이라는 장점과 데이터 레이크의 스토리지라는 장점을 가지고 있다"라고 말했다.

특히 현대적인 레이크하우스 아키텍처는 컴퓨팅과 스토리지를 분리하고, 독립적으로 확장 가능해야 한다는 게 홍 부장 설명이다. 또 데이터 원본에 대한 현재 위치 엑세스와, 오브젝트 저장소에 대한 데이터 복사가 가능해야 한다고 전했다.

이 가운데 IBM은 '왓슨X.data'를 통해 이와 같은 레이크하우스 아키텍처를 가능하게 한다고 강조했다.

홍 부장은 "왓슨X.data는 기업들이 직면하고 있는 비용과 복잡성을 극복할 수 있도록 설계된 차세대 레이크 하우스"라며 "하이브라드 클라우드에서 관리되는 데이터 및 AI워크로드에 최적화된 유일한 개방형 데이터 저장소"라고 말했다.

이어 "왓슨X.data는 멀티 쿼리 엔진을 갖춘 레이크하우스로 고객이 워크로드를 최적의 엔진과 매칭해 비용과 성능을 최적화할 수 있도록 한다"라며 "하이브리드 클라우드 및 멀티클라우드 환경에 대한 완벽한 지원으로 어디에나 배포될 수 있다"라고 덧붙였다.