지난 6월 24일, 국내 최대 음원 서비스인 ‘멜론’은 10주년을 맞아 서비스를 개편했다. 이는 지난 10년 간 모은 2400만 가입 고객의 소비이력 데이터 등을 분석했기 때문에 가능했다. 고객들에게 맞춤형 음원을 제공하는 한편, 기획사나 아티스트가 활용할 수 있도록 이 데이터를 개방했다.

멜론을 서비스하는 로엔엔터테인먼트의 김강석 멜론사업본부 IT그룹장<사진>은 최근 기자와 만나 “서비스는 현재 완성된 것이 아니라 이제 시작하는 과정”이라 그동안의 빅데이터 구축 과정을 공유했다. 인터뷰는 지난 17일 진행됐다.

그에 따르면, 멜론은 2년 전쯤부터 빅데이터를 활용해 새로운 서비스를 만들어야 한다는 고민에 빠졌다. 지난 2012년 초 IBM 네티자 데이터웨어하우스(DW)를 도입해 구매이력 등에 대한 통계치를 고도화하는 수단으로 사용했지만, 비용 측면에서 이를 확장해 빅데이터를 적용하기에는 부담이 컸다.

결국 하둡과 같은 오픈소스 기반의 기술들을 검토해 빅데이터를 구축하려던 차에 국내 빅데이터 전문기업인 그루터의 도움을 받아 기반을 마련했다는 설명이다.

김 그룹장은 “기술적인 검토를 거듭할수록 빅데이터로 비즈니스 요구를 해결할 수 밖에 없다는 결론을 내렸으며, 중장기적인 관점에서 외부 솔루션 도입이 아닌 자체적인 기술 내재화를 통해 구축하기로 했다”고 말했다.

이어 그는 “빅데이터를 한번 도입하고 끝이 아니라, 데이터 마이닝을 거쳐 계속해서 새로운 서비스를 발굴해 내는 것이 중요했다”며 “하둡과 같은 오픈소스 빅데이터 기술 역시 이미 어느 정도 안정성은 검증됐다고 판단했다”고 덧붙였다.

현재 멜론은 하루에도 수천만건에 달하는 스트리밍 건수와 1TB 이상 발생하는 데이터 하둡 에코 시스템을 통해 처리하고 있다.

분석계와 서비스계로 나눠져 있는 시스템상에서 서비스에 남는 로그 일부는 플럼을 통해 실시간으로 수집하고, 이중 일부는 스쿱을 통해 DB로 적재된다. DB 역시 오픈소스인 마리아DB를 사용한다. 여기에서 적재된 데이터는 분석계 시스템으로 이동, 이를 다시 서비스계의 H베이스에 올리는 구조다.

이를 통해 멜론은 ▲아티스트가 신규 앨범이나 영상, 공연 등의 새로운 컨텐츠 등록할 경우 수십만명의 관심 사용자에게 소식을 전할 수 있게 됐으며 ▲기획사 등 파트너를 위한 각종 통계 지표 제공하며 ▲나와 유사한 이용자를 친구로 추천, ▲실시간 데이터 수집을 통한 차트를 예측할 수 있게 됐다. 현재 이는 이용자들에게는 ‘소식함’, ‘팬맺기’ ‘아지톡’ 등의 이름으로 제공된다.

김 그룹장은 “예를 들어 현재 멜론 사이트에서 가수 아이유에 ‘팬맺기’를 한 이용자는 660만명에 달하는데, 빅데이터를 통해 개발한 ‘팬 소비지수’를 기획사와 가수에게 제공하고 있다”며 “팬맺기를 한 이용자는 아이유 음악에 대한 감상횟수나 댓글달기 등의 활동을 통해 팬 소비지수가 높아지게 되는데, 이러한 데이터를 바탕으로 기획사나 아티스트는 맞춤형 마케팅이 가능해졌다”는 설명이다.

이러한 새로운 기능은 이용자 입장에서도 좋아하는 아티스트와 소통이 강화되고, 최신 소식을 더 빠르게 받아볼 수 있게 됐다. 특히 팬들과 접점을 찾기 어려웠던 중소, 인디 기획사들도 팬들과 적극적으로 소통할 수 있게 됐다는 설명이다.

최근 안드로이드 플랫폼 기반의 모바일 사이트까지 개편한 멜론은 향후 날씨나 위치기반까지 활용, 최대한 이용자들이 만족할 수 있는 음악 추천 서비스를 제공하는 것이 목표다. 현재 5분마다 업데이트되는 음악 차트도 보다 실시간으로 제공할 계획이다.

현재 이를 위해 지속적인 하둡 엔지니어를 충원하고 있으며, 자체적인 내부 교육도 실시하고 있다고 김 그룹장은 밝혔다.

<백지영 기자>jyp@ddaily.co.kr