- sql on hadoop…빅데이터 플랫폼의 차세대 핵심기술

[디지털데일리 백지영기자] 국내 빅데이터 플랫폼 전문 기업인 그루터(www.gruter.com 대표 권영길)가 외산 업체들이 주도하고 있는 빅데이터 분석 처리 엔진 개발에 나섰다. 이에 따라 관련 솔루션을 제공하는 클라우데라와 호튼웍스, EMC 등의 업체와 본격적으로 경쟁하게 됐다.

28일 그루터는 빅데이터에 필요한 핵심 기술인 실시간 빅데이터 분석처리 엔진(Interactive Analysis; 이하 IA)를 개발한다고 밝혔다.

이는 최근 전세계적으로 주목받는 빅데이터 플랫폼의 핵심 기술 중 하나로, 실시간 데이터 처리에 약점을 가졌던 하둡의 한계를 극복하고, 빠르게 의미있는 데이터를 뽑아내는 ‘sql on hadoop’이라 불린다.

그동안 이 분야는 미국 클라우데라의 임팔라, 호튼웍스의 스팅거, 맵알의 드릴, EMC 자회사인 피보탈의 호크 등이 서로 경쟁해 왔다.

이번에 그루터가 개발하는 빅데이터 분석 처리 엔진은 ‘타조(Tajo, http://tajo.incubator.apache.org/)’다.

타조는 지난 3월 세계 최대 오픈소스 재단인 아파치 소프트웨어 재단의 인큐베이터 프로젝트로 채택되며 전세계 빅데이터 관련 개발자들의 관심을 한몸에 받은 프로젝트다.

북미 지역 이외의 첫 IA이면서 아시아에서 등장한 첫 IA라는 점에서 관심이 높다. 타조는 이미 아파치 재단의 인큐베이션 프로젝트 선정 이전부터 글로벌 IT기업들의 뜨거운 관심을 한몸에 받은 바 있다. 미항공우주국(NASA) 제트추진연구소(JPL), 인텔, 링크드인, 호튼웍스, 플랫포라 등의 개발자가 커미터로 참여중이다.

타조를 적용하면 기존 하둡 빅데이터 처리엔진 대비 10배 이상 100배까지 빠르게 데이터를 처리할 수 있다.

특히 조만간 타조와 같은 IA 기술과 하둡 생태계 진영에서 나온 기술들을 최적화할 경우 기업들이 사용하는 상용 DW(Data Warehouse)를 상당 부분 대체할 수 있을것으로 관련 업계는 내다보고 있다.

그루터는 지난  2012년부터 IA 개발에 대한 준비기간을 거쳐 올 6월부터 본격적인 개발 작업에 착수했다. 아파치 재단의 PMC(프로젝트 관리위원회) 멤버이며 타조 최초 발의자인 최현식 박사가 졸업과 동시에 그루터에 합류했다.

또한 그루터에서 활동중인 두명의 타조 커미터와 내부 빅데이터 플랫폼 전문가들 뿐 아니라 외부의 전문가들도 활동하는 등 빅데이터 핵심 인력들이 참여 중이다.

이 회사는 올해 중으로 타조의 성능을 엔터프라이즈급으로 향상시키는 것을 목표로 하고 있다.

권영길 그루터 대표는 “sql on hadoop 기술은 빅데이터 플랫폼의 차세대 핵심 기술로 기존하둡의 응용면에서도 엔터프라이즈급 성능을 제공함으로써 많은 부분 기존 시장의 대체와함께 신규시장을 빠르게 확대하는데 일조할 것”이라고 강했다.

한편 그루터는 하둡과 하둡 에코시스템 관리 툴인 ‘클라우몬’, 빅데이터 플랫폼인 ‘쿠바’를 바이오인포메틱스, 보안, 쇼핑, 온라인 콘텐츠 서비스 분야 등에 적용하면서 주목받은 기업이다.

이미 회사 내부에 2006년부터 하둡을 도입한후 2007년부터 데이터플랫폼으로 하둡을 실질적인 내부 인프라로 적용시켜면서 노하우를 쌓아왔다. 삼성과 SK, GS 등 국내 유수기업의빅데이터 플랫폼 레퍼런스를 가지고 있으며 내부인력들은 NHN, 삼성전자, 야후등 대용량서비스와 인프라를 경험한 인력들로 구성돼 있다.

<백지영 기자>jyp@ddaily.co.kr