[디지털데일리 심재석기자] 빅데이터 시대에 가장 성공을 거둔 두 플랫폼 ‘하둡’과 ‘스플렁크’가 좀더 긴밀하게 연결된다.

스플렁크(www.splunk.com)는 지난 1일 하둡용 스플렁크 분석 플랫폼인 ‘헝크’의 베타버전을 공개했다. 이에 따라 하둡에 저장된 데이터를 스플렁크에서 직접 분석해 시각화 할 수 있을 전망이다. 

지금까지 스플렁크는 ‘스플렁크 인덱스’로 저장된 데이터만을 분석 대상으로 했다. 스플렁크를 이용하는 기업들은 기존처럼 NAS 등의 스토리지 시스템에 데이터를 저장해야 했다.

그러나 헝크가 정식으로 출시되면 하둡에 저장된 데이터도 특별한 변환 없이 스플렁크로 분석할 수 있게 된다 것이 회사 측의 설명이다.

하둡은 저렴한 대용량 데이터 저장소를 활용하기 때문에, 이를 이용하면 보다 값싸게 스플렁크 환경을 구현할 수 있을 것으로 전망된다. 

기존에는 하둡에 있는 데이터를 스플렁크로 분석하려면 하둡의 데이터를  스플렁크 인덱스로 옮긴 다음 분석해야 했다. 스플렁크는 하둡의 데이터를 스플렁크 인덱스로 전환시켜주는 커넥터를 공급해왔다.

그러나 회사 측에 따르면, 스플렁크는  ‘버추얼 인덱스’라는 새로운 기술을 개발해 헝크를 만들었다. 이를 통해 데이터 모델링이 필요 없고, 배치(Batch) 처리 없이도 분석 결과를 얻을 수 있다는 것이다. 

스플렁크 서치 프로세싱 랭귀지(SPL, Splunk Search Processing Language) 기술을 통해 마치 데이터가 스플렁크 인덱스(Splunk Index)로 저장된 것처럼 원하는 데이터 탐색, 분석, 시각화를 가능하게 한다고 덧붙였다.

대표적인 하둡 배포판 업체 클라우데라의 비즈니스 및 기업 개발 담당 부사장인 팀 스티븐스(Tim Stevens)는 "이번 발표를 통해 스플렁크는 하둡 커뮤니티에 더 많은 혁신과 전문성을 제공하게 될것”이라며 “클라우데라는 앞으로 계속해서 스플렁크와 협력하여 아파치 하둡용 클라우데라 배포판에서 헝크를 검증할 계획"이라고 말했다.

호튼웍스의 기업전략 부사장인 샤운 코널리(Shaun Connolly)는 "헝크는 스플렁크의 강점인 사용 용이성과 신속한 상호 분석 기능을 하둡에 있는 데이터에도 적용할 수 있도록 해준다”면서 “양사 고객들에게새로운 가능성을 제시하게 될 것으로 기대하고 있다"고 덧붙였다.

한편 하둡의 데이터를 스플렁크로 분석할 수 있게 됨에 따라 스플렁크 라이선스 체계의 전환도 이어질 것으로 전망된다. 지금까지 스플렁크는 데이터의 용량에 따라 라이선스를 부과했었다. 그러나 빅데이터 시대의 도래로 데이터 용량이 급속도로 늘고 있기 때문에 기업들은 “스플렁크가 너무 비싸다”는 불만을 계속 표출해왔다.

하지만 앞으로는 스플렁크가 아닌 하둡에 저장돼 있는 데이터를 분석해야 하기 때문에 이 체계가 바뀔 가능성이 있다.

이에 대해 스플렁크 측은 “헝크는 아직 베타버전만 나온 상태이기 때문에 라이선스 체계까지는 정해지지 않았다”고 설명했다.

<심재석 기자>sjs@ddaily.co.kr