[디지털데일리 심재석기자] 기업이 정보 기반의 통찰력을 얻기 위해 ‘데이터 통합’이 필수적이라는 사실은 이미 IT업계에서 증명된 사실이다.

ERP(전사적자원관리) 시스템에 있는 재무 데이터와 CRM(고객관계관리) 시스템에 있는 고객 데이터, SCM(공급망관리) 시스템에 있는 협력업체 데이터 등을 통합해 볼 수 없다면, 기업의 전략은 실행되기 어렵다.

매출의 추이와 고객의 상황을 비교해 판단하지 못하거나, 부품 조달이 힘든 제품의 판매계획을 확대하는 우를 범할 수 있기 때문이다.

이 때문에 많은 기업들은 각각의 데이터를 통합해 하나의 관점에서 분석하려는 노력을 해 왔다. ETL(추출ㆍ변환ㆍ연계), 데이터웨어하우스(DW) 등이 이를 위한 대표적인 기술들이다. 애플리케이션에서 운영 데이터를 추출해 정제한 후 데이터웨어하우스 등에 적재한후 여러 방면에서 분석해 비즈니스 통찰력을 얻고자 했다.

하지만 최근에는 데이터 통합 기술이 어려움에 봉착했다. 기존에는 운영 애플리케이션에서발생하는 체계화 된 데이터만 통합의 대상이었는데, 이제는 소셜 미디어, 센서 네트워크 등에서 발생하는 비정형 데이터도 통합해야 하는 숙제가 생긴 것이다. 특히 이들 데이터는 기존에 기업들이 경험하지 못한 페타바이트 규모로 발생하기 때문에 고민은 더 커지고 있다.

기존의 비즈니스 인텔리전스 시스템으로는 이와 같은 빅 데이터를 처리하기 어려워진 것이다.

가트너의 리서치 담당 부사장인 마크 베이어(Mark Beyer)는 “기존 트랜잭션 데이터 규모가 급증하고, 소셜 네트워크, 이미지 등 과거에는 활용되지 않았던 새로운 유형의 데이터가 폭발하고 있다”면서 “데이터 통합, 데이터 품질, MDM(Master Data Management)은 기업들이 빅 데이터의 잠재성을 완벽하게 활용할 수 있도록 돕는 핵심 기술 요소”라고 말했다.

데이터 통합 전문기업 인포매티카가 최근 선보인 데이터 통합 플래폼 ‘인포매티카 9.1’은 이 같은 빅 데이터 통합에 대한 해결책을 제시하기 위해 개발된 것이다.

빅 데이터 통합을 위한 인포매티카9.1의 가장 큰 특징은 아파치 하둡(Hadoop)과 연계된다는 점이다. 하둡은 대용량 비정형 데이터를 저장하는 기술로, 빅 데이터 시대의 총아로 오르고 있다.

인포매티카 9.1은 하둡의 데이터를 추출해 가져오거나 하둡에 데이터를 보낼 수 있다. 이런 연결기능로 인해, 하둡에 있는 데이터에까지 데이터 품질관리, 데이터 프로파일링 등의 기술을 적용할 수 있게 됐다. 기존의 데이터 통합 기술을 하둡까지 확장한 것이다.

또 인포매티카 9.1에 포함된 새로운 소셜 미디어 커넥터는 페이스북, 트위터, 링크드인 등 소셜 미디어의 데이터 소스에 엑세스 할 수 있도록 지원한다.

인포매티카 기술에 익숙한 기업이라면, 추가적인 기술 습득 없이 하둡과 소셜 미디어의 데이터를 통합할 수 있다.

아울러 인포매티카 9.1은 빅 데이터 처리의 속도 및 복잡성 문제를 해결하기 위해 CEP(복합 이벤트 처리) 기술을 데이터 품질 및 통합 모니터링에 도입했다. 이는 문제 발생시 현업 부서 사용자나 IT 부서에 실시간으로 문제를 경고해준다.

인포매니카 9.1의 데이터 가상화 및 페더레이션 기능도 빅 데이터의 복잡성을 해결하기 위한 것이다. 여러 종류의 소스에서 발생한 데이터를 하나의 데이터 소스처럼 볼 수 있고, 이를 필요한 애플리케이션에 결합할 수 있다.

이를 통해 개발자들이 기존 접근법보다 상당히 짧은 시간과 적은 비용으로 다양한 데이터 서비스를 신속하게 설계, 구현 및 재사용할 수 있다고 회사측은 설명하고 있다.

IT시장조사기관 오범의 애널리스트 마단 시이나는 보고서에서 “인포매티카 9.1의 하이라이트는 빅 데이터 통합”이라면서 “인포매니카는 클라우데라 및 EMC와의 제휴를 통해 하둡으로의 데이터 이동을 지원할 뿐 아니라 인포매니카와 하둡간의 쌍방향 연결 기능까지 추가했다”고 말했다.

<심재석 기자>sjs@ddaily.co.kr