[디지털데일리 심재석기자] 지난 2~3년 전부터 빅데이터라는 이슈가 IT업계를 강타하고 있다. 빅데이터는 말 그대로 데이터의 양이 방대하고, 데이터의 종류가 다양하며, 증가하는 속도가 빠른 현상을 이르는 말이다. 

그러나 이런 현상이 최근에 갑자기 일어난 일은 아니다. IT업계에서는 이미 10년 전부터 데이터 급증에 대한 대책 마련을 주문했으며, 관련 업체들은 이에 대한 여러 기술들을 선보이기도 했다.

그렇다면 왜 갑자기 빅데이터라는 이슈가 IT 트렌드의 핵심이 됐을까?

이는 새로운 테크놀로지(기술)가 등장했기 때문이다. 과거의 방식으로는 처리하지 못했던 데이터들을 다룰 수 있는 기술이 나타났다. 특히 이 기술들은 오픈테크놀로지를 활용하기 때문에 비용이 저렴하다는 특징을 가지고 있다.

이렇다 보니 기업들은 기존에 관리하고 분석하지 못했던 데이터들에 눈길이 돌리기 시작했다. 페이스북이나 트위터에 나타나는 잠재 고객들이 이야기나 공장 생산라인에서 나오는 로그데이터 등이 대표적이다. 이런 데이터들은 기존에 기업들이 관심을 갖지 못했던 데이터다. 이를 처리할 기술도 마땅치 않았고, 비용도 너무 많이 들었기 때문이다. 

재고, 고객, 자재, 회계 등과 관련된 정형 데이터를 넘어서 오픈테크놀로지를 활용한 새로운 데이터를 기반으로 새로운 통찰력을 찾고자 하는 회사들이 생겨나면서 빅데이터의 가치가 높아진 것이다.

이를 이끈 기술의 핵심은 '하둡'이다. 하둡은 대규모 데이터의 분산 처리를 위한 오픈소스 프레임워크다. 기존 RDBMS(Relational Database Management System) 방식으로는 처리가 어려운 데이터를 다루기 위해 데이터를 여러 컴퓨터에서 병렬로 처리하는 것이 특징이다.

HDFS(Hadoop Distributed File System)이라는 기술을 통해 데이터를 분산 저장하고, 맵 리듀스(Map Reduce)라는 프레임워크로 분산 처리한다. 즉 하둡은 여러 개의 컴퓨터를 마치 하나인 것처럼 묶어 주는 기술을 통해 저장 공간과 처리 능력을 늘려준다.

예를 들어 KT는 통신분야 데이터 로그 처리와 해석을 위해 하둡을 도입했다. KT는 약 50TB에 이르는 통화 로그 데이터가 발생한다고 한다. 또 스마트폰의 등장으로 무선데이터 이용에 대한 분석도 필요하게 됐다. KT는 이를 위해 하둡을 활용했다. 이를 통해 이용자들이 패턴을 분석할 수 있게 됐고, 통화 폭주 등에 대한 대비를 할 수 있게 됐다.

하둡의 빅데이터의 핵심으로 떠오르자 기존의 상용 소프트웨어 기업들도 자신들의 기술을 하둡과 연결하기 시작했다. 오라클, IBM, 마이크로소프트, 테라데이터 등 RDBMS 업체들은 물론이고 SAS, 마이크로스트레티지, 인포매티카 등 분석 업체들까지 하둡과 연결을 시도하고 있다.

하둡은 오픈테크놀로지 진영의 히어로일 뿐 아니라 빅데이터 전체의 표준 플랫폼이 돼 가고 있다.

가트너는 "앞으로 대다수의 비즈니스인텔리전스(BI) 패키지 소프트웨어에는 분석을 위한 기본 데이터 플랫폼으로 하둡이 장착될 것"이라고 전망했다.

가트너에 따르면 2015년까지 패키지 방식의 분석 애플리케이션 중 65%가 하둡(Hadoop)을 탑재할 것으로 나타났다. 현재 기업들은 하둡을 자체적으로 실험하거나 하둡과 연동된 데이터베이스관리시스템을 사용하는 경우가 많은데, 앞으로는 BI 업체들이 맞춤형(purpose-built) 하둡 기반 분석 기능을 패키지 애플리케이션에 포함시킨다는 것이다.

리타 살람 가트너 리서치 부사장은 "조직들은 폭증하는 외부 콘텐츠 외에도 조직 내부의 텍스트, 이메일, 동영상, 음성 등 광범위한 콘텐츠 저장소로부터 통찰력을 탐색, 조합하고 있다"며 "(이를 위해)기업들은 하둡이 구현하는 분석이 빅 데이터 프로그램에 가져다주는 강점을 인식하기 시작했다"고 말했다.

<심재석 기자>sjs@ddaily.co.kr