[디지털데일리 심재석기자] 전 세계적으로 빅데이터 표준으로 자리잡은 하둡은 PC 수준의 저가 하드웨어를 병렬로 연결해 엔터프라이즈 수준의 데이터 저장소로 만드는 기술이다.

오라클 등 기존 DB의 경우에도 병렬처리가 가능했지만, 확장할 수 있는 노드의 개수가 한정적이었다. 반면 하둡은 수십, 수백대를 넘어 수만대의 노드를 연결해 거대한 데이터 클러스터를 만들 수도 있다.

하지만 이런 클러스터를 구성할 때는 관리의 어려움이 따른다. 특히 오라클처럼 안정성과 성능이 확인된 고가의 장비에 설치하는 것이 아니라 낮은 성능의 저가 장비에서 운용되는 하둡은 관리의 중요성이 더욱 부각된다.

상시적으로 하둡을 모니터링 하면서 성능저하 및 장애에 빠르게 대응하고, 효율적으로 운용할 수 있는 프로세스가 필수적이다.

시장의 이런 요구에 먼저 움직인 것은 역시 오픈소스 업계다.

빅데이터 업계의 ‘레드햇’이라 볼 수 있는 클라우데라의 경우 ‘클라우데라 매니저’라는 솔루션을 공급하고 있다. 회사 측에 따르면, 이는 웹상에서 하둡 환경에 대한 설정, 배포, 모니터링, 측정, 리포트 등 일련의 운영 및 관리를 통합적으로 할 수 있게 해주는 도구다. 

클라우데라와 오픈소스 기반 빅데이터 양대산맥인 호튼웍스도 유사한 솔루션 ‘호튼웍스 매니지먼트 센터’를 제공한다.

국내 오픈소스 전문기업 그루터는 ‘클라우몬(Cloumon)’이라는 하둡 관리 솔루션을 보유하고 있다. 클라우몬은 하둡뿐 아니라 하둡에코시스템 전체에 대한 관리 기능을 제공하는 것이 특징이다. 하둡 노드에 대한 모니터링부터 맵리듀스 잡모니터링, 하이브 테이블 스키마 관리, 주키퍼 데몬 모니터링, 플럼 노드 모니터링, H베이스 데이터/스키마 관리, 우지(Oozie) 기반의 워크플로우 생성 및 실행 등의 기능을 제공한다.

그러나 아직 기존의 상용 솔루션 업계는 하둡 관리를 위한 특별한 솔루션은 내 놓지 않고 있다.  스플렁크가 하둡을 모니터링 하는 하둡옵스 앱을 출시한 정도다.

오라클의 경우 자사의 빅데이터 플랫폼 ‘빅데이터 어플라이언스’ 안에 클라우드데라 하둡 배포판과 클라우데라 매니저를 내장했다.

IT관리 업계 전통의 강자 CA테크놀로지스는 지난 4월 CA월드 2013에서 하둡 관리를 위한 솔루션 출시를 준비중이라고 밝힌 바 있다.

<심재석 기자>sjs@ddaily.co.kr