[라스베이거스(미국)= 박기록기자] "IBM은 '대용량 정보 분석'(Big Data)에 있어서는 지구상에서 경쟁자가 없다".

26일(현지시간) IOD(Information On Demad) 행사에서 스티브 밀스(Steve Mills) IBM 부사장(SW그룹 총괄)은 1만명이 넘게 운집한 청중들 앞에서 IBM의 대용량 분석 솔루션에 대한 강한 자신감을 숨기지 않았다.  

실제로도 IBM이 지향하는 최종 목표인 '스마터 플래닛'(Smarter Planet)은 이같은 대용량 분석 기술이 뒷받침되지 않으면 실현 불가능하다. 더 넓게 보면, IBM이 겨냥하고 있는 미래의 거의 모든 핵심 비즈니스의 출발점이 바로 '대용량 정보 분석' 여기에서 출발한다.

때문에 IBM이 올해 IOD 행사에서 '대용량 정보 분석' 에서 자신있게 진일보한 기술 공개를 하게 될 것이란 예상은 어느 정도 당연했다.

실제로 그 진일보한 기술로써 IBM이 이번 IOD행사에서 처음 공개한 것이 바로 '빅 인사이트(Big Insights)' 이다. 처음 언급됐기 때문인지 이번 행사에 참석한 사람들 대부분이 '빅 인사이트'의 실체를 이해하기위해 상대적으로 많은 관심을 표명하고 있다. 

'빅 인사이트'는 대용량 정보를 분석한다는 의미와 함께 IBM이 강조하는 통찰력(Insight)를 높인다는 뜻도 동시에 내포돼 있다.

한편으론 이는 앞으로 분석 솔루션 시장에서 오라클과의 기술 경쟁이 더욱 치열하게 전개될 것임을 예고한다.

◆'빅 인사이트'는 대용량 정보 분석 엔진 ='빅 인사이트'는 대용량 정보 분석을 지원하기위한 강력한 분석 엔진및 관련 기술 전략으로 쉽게 이해할 수 있다. 많아 알려지지 않았지만 IBM은 기존에도 대용량 정보처리및 저장(스토리지 플랫폼)을 위한 '하둡(Hadoop)' 기술을 확보하고 있었다.

그러나 하둡은 대용량 정보처리 부문에서 뛰어난 성능을 자랑했지만 분석 기능에서는 취약점을 보였기때문에 범용적인 분석 솔루션 시장에서는 지배적인 위치에서 벗어나 있었다. 그러나 이번 '빅 인사이트'의 출시로 상황이 달라지게 됐다.

'빅 인사이트'는 기존 하둡의 약점을 보완하는 기술이다. 때문에 기존 하둡의 기술 스펙에 분석 기능이 얹어지면서 강력한 기능 개선이 가능할 것으로 기대된다.

특히 IBM은 이번 '빅 인사이트'의 공개를 통해, 최근 IT시장의 화두로 떠오르고 있는 비정형 데이터에 대한 분석력을 대폭 높인 점에서 의미를 부여하고 있다. 비정형 데이터는 음성, 영상 등의 상태에서 선형화되어있지 않은 데이터를 말하는 데,이 부문에서 IBM은 자사의 강점이 경쟁사들에 비해 더욱 차별화될 것이라고 자신하고 있다. 

◆ 분석 기능 취약했던 하둡의 단점 보완, 대용량 정보분석 툴로 재탄생 = IBM의 빅 데이타 그룹에서 '빅 인사이트'를 맡고 있는 탐 도이췌(Tom Deutsch)는  " 하둡과 관련해 고객들이 과연 어떤 것을 원하고 있는지를 면밀히 살폈왔다"며 "그 결과 고객들은 궁극적으로 보다 큰 규모(대용량)의 시스템을 지향하고 있다는 것을 알 수 있었다"고 빅인사이트의 출시 배경을 소개했다.

이와함께 일종의 스토리지 기능을 갖고 있으며 오픈소스 기반인 하둡의 사용자들이 보다 진보된 분석 역량을 활용할 수 있도록 돕기 위해 IBM이 강점을 가진 역량들을 결합시킨 것이 '빅 인사이트'라고 설명했다. 

대용량 분석 시장을 겨냥한 빅 인사이트의 출현은 결국 IBM에겐 어깨에 날개를 달아준 격이 됐다고 평가할 수 있다. 특히 코그노스(COGNOS), SPSS, 인포스피어 서버 등 기존 IBM의 분석 솔루션들과 결합할 경후 분석솔루션 포트폴리오의 완성도도 더욱 높아질 것이란 평가이다.

한편 '빅 인사이트'는 클라우드 컴퓨팅 환경에서의 운영이 가능하도록 최적화된 점도 장점으로 꼽힌다. 최대 140여대에 이르는 정도의 여러대의 컴퓨터에 분산된 상황에서 스토리지및 분석 성능을 구현함으로써 어떤 한 컴퓨터에 문제가 있더라도 전체 시스템에 영향을 미치지 않고 업무를 수행할 수 있다고 IBM은 소개했다.  

<미니인터뷰>

탐 도이췌(Tom Deutsch), Big Data Anlytics & Hadoop 프로그램 책임자

- '빅 인사이트'가 제시된 배경에 대해 설명해 달라

"IBM은 2년 동안 하둡(Hadoop)과 관련하여 고객들이 과연 어떤 것을 원하고 있는지를 면밀히 살폈으며, 그 결과 고객들은 하둡에 매우 관심이 있지만, 구글이나 야후와 같은 큰 규모의 작업은 많지 않고 대부분 작은 프로젝트 규모로 진행해온 것을 발견할 수 있었는데, 그들이 궁극으로는 보다 큰 규모의 시스템을 지향하고 있다는 것을 알 수 있었다. 그래서 IBM은 하둡을 보다 용이하게 사용할 수 있도록 하기 위한 노력을 했고, 그것이 빅 인사이트이다"

- 빅 인사이트는 '하둡'을 대체하는 것이 아니라 보완하는 것으로 봐야 하는가?

" 우리가 알만한 대부분 산업에 속한 대부분의 고객들은 하둡에 관심은 있었는데, 이것은 바로, 확장성과, 데이터 형식에 구애받지 않는 자율성, 또한 그 속도 등의 장점에 기인한 것으로 파악했다. 대부분의 대기업들은 수많은 트랜잭션을 수행할 매우 훌륭한 시스템을 갖고 있지만, 외부의 데이터들을 효과적으로 활용지는 못하고 있다. 이는, 모든 데이터를 처리하기에는 그 양이 너무 어마어마 하거나, 또는 해당 정보가 기업의 기존 정보 형식과는 너무 달라 함께 처리할 수 없기 때문이기도 하다.

정보의 활용은 BI, 보안, 모니터링 등 다양한 역량을 필요로 하는데 하둡은 이런 부분에서는 초보적인 단계에 있었다. 그래서 하둡을 IBM이 가진 강력한 관리(Management) 플랫폼과 연계하면 더 큰 밸류를 제공할 수 있다고 생각했다. 하둡을 더욱 강력하게 하는 점에서 보완 관계라고 보면 된다.

인포스트림(InfoSphere Streams)으로 구현되는 실시간 분석과 히스토리컬 데이타(Historical Data) 분석을 지원하는 Big Insights는 매우 효과적으로 상호 시너지를 낼 수 있는 솔루션이다. 예를 들어 실시간 분석을 위해서는 경우의 수에  적용되는 일종의 패턴들에 따라 분석을 수행하게 되는데, Big Insights가 분석해내는 어마어마한 양의 축적된 Historical Data 분석 결과에 따라 파악된 패턴에 따라 더욱 그 패턴이 정교화될 수 있기 때문이다."

 

- 빅 인사이트가 기존 스토리지 업체들과의 충돌을 야기할 수 있는가?

 

"빅 인사이트는 일종의 스토리지 기능을 갖고 있는 엔진의 성격으로 오픈소스 기반인 하둡의 사용자들이 보다 진보된 분석 역량을 활용할 수 있도록 돕기 위해, 하둡위에 IBM이 강점을 가진 역량들을 결합한 것이다.

기존의 스토리지와의 충돌여부는 빅인사이트에서 크게 중요한 부분은 아니다. 빅인사이트를  개발하면서 초점을 맞춘 고객의 니즈는 바로 그들이 하둡을 활용하면서 보다 나은 분석 역량을 갖기를 원했다는 것이고 그것을 위해 개발됐다.

IBM이 갖고 있는 기존 스토리지 제품들과도 다른 방식의 스토리지를 구현하고 있는데, 여러대의 컴퓨터에 분산되 스토리지를 구현함으로써 어떤 한 컴퓨터에 문제가 있더라도 전체 시스템에 영향을 미치지 않도록 개발됐다.

하지만 장기적으론, EMC나 히다찌 등 기존 스토리지시스템을 사용하는 사용자들에게 빅 인사이트를 고려할 경우 교체가 필요할 수 있다."

<박기록 기자> rock@ddaily.co.kr