[디지털데일리 심재석기자] 지난 해 IT업계에서 가장 뜨거웠던 버즈워드는 빅데이터였다.

빅데이터는 데이터의 양이 기존과 비교할 수 없을 정도로 늘어나고, 데이터의 종류도 정형 데이터 대신 비정형, 비구조적 데이터가 다수를 이루며, 데이터 증가속도도 어마어마하게 빠른 현상을 말한다.

올해도 역시 빅데이터는 놓치지 말고 주목해야 할 이슈다.  가트너의 2013년 전망에도 '전략적 빅데이터'가 포함됐고, IDC도 올해는 빅데이터 솔루션의 수요 확대를 예측했다.

이 빅데이터를 이야기할 때 절대 빼 놓을 수 없는 기술 중 하나가 아파치 하둡이다. 하둡은 클라우데라를 비롯해 맵R, 호든웍스 등의 배포판이 있으며 하이브, 피그, 주키퍼 등의 오픈소스 소프트웨어와 함께 생태계를 구성하고 있다. 하둡은 빅데이터를 상징한다고 봐도 무방할 정도다.

하둡의 발전은 전통적인 데이터웨어하우스(DW)를 위협하고 있다. 저렴한 하드웨어와 무료인 오픈소스소프트웨어를 이용해 기업이 데이터를 분석할 수 있다면 굳이 고가의 DW를 도입하고 싶어 하는 기업은 많지 않다. 

국내 빅데이터 전문기업 그루터의 권영길 대표는 "하둡 및 관련 기술들은 장기적으로 DW를 대체하거나 기존 벤더 중심의 DW를 약화시킬 것"이라고 전망했다. 하둡이 발전하면서 기존의 DW에서 처리하는 기능을 포함하게 될 것이기 때문에 기존 DW 솔루션을 사용할 필요가 없어진다는 설명이다.

실제로 클라우데라는 SQL을 이용해 하둡의 데이터에 접근하는 '임팔라' 프로젝트를 선보인바 있다. 이는 복잡한 맵리듀스 대신 이미 업계에서 많이 활용하고 있는 SQL을 통해 하둡의 데이터를 처리하는 기술이다. 이를 이용하면 마이크로스트레티지와 같은 분석소프트웨어도 하둡 상에서 직접 구동할 수 있다고 클라우데라 측은 설명하고 있다.

반면 기존의 DW 업체들은 하둡이 발전하더라도 전통적인 DW 솔루션들은 건재할 것이라고 보고 있다. 

이들은 하둡은 DW를 보완하는 기술이지 DW를 대체할 성질의 기술이 아니라고 설명했다. 정형 데이터는 기존의 DW에서 처리하고 하둡은 대량의 비정형 데이터를 저장하는 역할을 맡기는 전략이다. 때문에 테라데이터나 IBM 네티자 등 업체들은 하둡의 데이터를 DW에 올리는 어댑터를 제공하고 있다. 

ETL(데이터 추출, 변환, 적재) 솔루션 업체 인포매티카는 모든 데이터 소스에서 데이터를 추출해 하둡에 저장하고, 분석이 필요한 데이터를 다시 하둡에서 추출해 DW에 적재하는 아키텍처를 제안하고 있다.

한국인포매티카 유승주 본부장은 "빅데이터 기술은 기존 DB기반 데이터 처리 기술과 비정형 파일기반 처리 기술 사이의 어려움을 메워주는 데이터 처리 기술"이라며 "기존 DBMS를 대체하는 기술이 아니다"고 강조했다.

DW의 아버지라 불리는 빌 인먼은 "빅데이터와 DW는 전혀 다른 개념"이라며 "빅데이터는 기술에 대한 용어이고 DW는 아키텍처에 대한 용어"라고 말했다. 그는 "빅데이터로 인해 DW가 필요없어진다고 이야기하는 사람은 DW가 뭔지 모르는 사람"이라고 강변했다.

<심재석 기자>sjs@ddaily.co.kr