2일 아파치 재단은 오픈소스 빅데이터 웨어하우스(Big Data Warehouse) 엔진인 타조(TAJO)를 최상위 프로젝트(Top Level Project)로 선정했다고 공식 밝혔다.

아파치 재단은 글로벌 오픈소스 프로젝트들을 후원하는 세계 최대의 오픈소스 단체로, 기술 성숙도가 높고 커뮤니티가 활성화된 오픈소스 프로젝트들을 최상위 프로젝트로 선정해 지원한다. 타조의 경우, 불과 지난해 3월 인큐베이션 프로젝트로 선정됐는데 1년만에 최상위 프로젝트가 됐다.

한국 개발자들이 주도하는 프로젝트가 글로벌 핵심 오픈소스 프로젝트로 선정된 만큼, 빅데이터 분야에서 한국의 위상도 한층 높아지게 됐다는 것이 관련 업계의 분석이다.

타조는 하둡에 저장된 대량의 데이터를 SQL 질의를 이용해 분석하는 SQL-온-하둡(SQL-on-Hadoop) 계열의 솔루션이다. 하둡에서 사용하던 느린 속도의 맵리듀스 대신 자체 고성능 분산 처리 엔진을 사용하고 데이터베이스 분야의 고급 성능 향상 기법들을 적용해 처리속도를 대폭 향상시킨 것이 특징이다.

또한 메모리 크기를 넘는 대규모 데이터도 안정적으로 처리할 수 있어, 대규모 배치 작업과 실시간 인터랙티브 분석에 모두 사용할 수 있는 장점을 가지고 있다.

고려대학교 데이터베이스랩에서 시작된 타조는 지닌해 3월 아파치 인큐베이션 프로젝트로 선정된 이후 그루터와 SK텔레콤, 링크드인 등의 핵심 개발자들이 참여해 새로운 기능을 추가하고 다양한 실무 환경에서 필드 테스트와 기능 개선을 통해 성능과 완성도를 크게 향상시켰다.

특히 지난해 11월 실리콘밸리에서 열린 하둡 사용자 그룹 행사에서 소개되는 등 글로벌 인지도도 꾸준히 향상돼 가트너와 기가옴 등에 소개되며 빅데이터 전문가들의 주목을 받았다.

타조 프로젝트 리더인 그루터 최현식 박사는 이번 최상위 프로젝트 선정과 관련, “날개를 단 기분”이라고 감회를 밝혔다.

그는 “SQL-온-하둡 은 빅데이터 분석 분야에서 기술과 마케팅 측면의 경쟁이 가장 치열한 분야인데, 그동안 타조의 기능과 성능이 비약적으로 발전해 온 것에 비해 글로벌 인지도가 다소 낮은 점이 아쉬웠다”며 “이번 승격을 계기로 최상위 프로젝트라는 브랜드 파워를 가지고 글로벌 오픈소스로 당당히 경쟁할 수 있게 됐다”고 말했다.

기술적 성장 뿐만 아니라 현재 타조 오픈소스 커뮤니티의 성장도 주목된다. 현재 타조 프로젝트에는 그루터, SK텔레콤, 링크드인을 비롯해 고려대학교, NASA, 인텔 등 다양한 회사의 개발자들이 커미터로 활동하고 있다. 특히 타조는 SK텔레콤의 빅데이터 분석 솔루션으로 채택돼 운영 중이다.

현재 타조 커미터로 활동하고 있는 SK텔레콤 박근태 매니저는 “지난 1년간 SKT가 빅데이터 웨어하우스로 타조를 사용한 결과, 실무 환경에서 나타난 기술 이슈를 빠르게 해결했으며 다양한 테스트와 튜닝을 통해 성능과 기능을 계속 개선해 왔다”고 강조했다.

이밖에 현재 NASA도 내부 테스트를 진행 중이다. NASA 제트추진연구소의 크리스 매트만 교수는 “전파 천문학, 공중 눈 관측소 등의 NASA 프로젝트에서 빅데이터 저장과 질의 처리를 위해 타조 도입을 검토하고 있다”고 밝혔다.

그동안 타조 개발의 메인 스폰서로 적극 지원해 온 그루터 권영길 대표는 “한국에서도 하둡 등 오픈소스 기술을 사용하는 기업들이 늘고 있지만, 대부분 사용만 할 뿐 오픈소스 커뮤니티에 공헌하는 경우는 거의 없는 실정”이라며 “그러나 핵심 기술의 확보 없이 오픈소스의 사용자로만 남아서는 글로벌 경쟁력을 가지기 어렵다”고 지적했다.

타조 개발팀은 이달 초 성능과 안정성을 강화한 0.8 버전을 출시할 예정이다. 새 0.8버전에서는 테이블 파티셔닝 기능을 추가하고 질의 수행계획 최적화를 통해 수행 속도와 안정성을 높였으며, 기존 하이브 테이블을 그대로 타조에서 사용해 성능 향상을 얻을 수 있는 것이 특징이다.

<백지영 기자>jyp@ddaily.co.kr