디바이스 내 여러 센서로부터 발생한 센서데이터는 그 양이 매우 방대할 뿐 아니라 데이터의 포맷이 다양하고 스트림 형태로 데이터가 출력된다.

또한 바이너리 형태로 출력이 되는 경우가 많아 원하는 데이터를 색출하고 변환하는 과정을 거쳐야 비로소 분석이 가능하다.

빅데이터 특성을 포함한 센서데이터를 분석하기 위해 서버에서는 하둡 기반으로 데이터를 저장, 파싱, 변환, 가공 및 분석을 하는 아키텍처를 도입하기도 한다.

그러나 하둡의 맵리듀스 처리가 일괄 배치 처리하는 특성을 가지고 있어 실시간 분석 요건에는 적합하지 않을 수 있다. 센서데이터의 특성상 약 1% 정도만이 의미 있는 데이터라고 가정했을 경우에도 이러한 데이터 전체를 서버에서 분석하기에는 불필요한 데이터 처리비용이 많이 소요된다.

때문에 서버에서 이러한 데이터를 전부 수용하기 보다는 어느 정도 의미 있다고 판단되는 데이터만 필터링해 서버로 전송하는 것이 비용이나 네트워크 입출력(IO)을 줄일 수 있다는 관점에서 좀 더 효율적으로 여겨진다.

때문에 현재 많은 글로벌 IT업체들이 IoT를 통해 생성되는 수많은 센서데이터 등을 비용 효율적으로 분석하기 위한 다양한 솔루션을 출시하고 있다. EMC나 테라데이타, IBM, 오라클 등이 이 시장에서 경쟁하는 대표적인 업체들이다.

EMC의 경우, 대용량 데이터 저장이 가능한 스케일아웃 네트워크 스토리지(NAS) 아이실론을 포함해 하둡 배포판인 피보탈 HD, 하둡 기반 실시간 분산형 인메모리 통합 분석 플랫폼 피보탈 젬파이어 XD 등을 내세우고 있다.

테라데이타는 애스터 솔루션의 고급 디스커버리 기능을 통해 단순한 SQL에서는 쉽지 않는 센서 데이터 분석은 물론 테라데이타 통합 데이터 아키텍처(UDA)를 통해 저렴한 비용으로 센서데이터를 하둡파일시스템에 저장할 수 있다는 설명이다.

오라클 역시 다양한 솔루션을 통해 적극적인 시장 대응에 나서고 있다. 자사의 하드웨어 및 소프트웨어(SW)를 최적화시킨 엔지니어드 시스템이 빅데이터 분석에서도 중요한 역할을 담당한다.

엑사데이타, 엑사리틱스 등 대표적인 엔지니어드 시스템과 함께 정형 및 비정형 데이터의 모델링 없이 예상치 못한 요청에도 빠른 분석 결과를 보여주는 기업용 검색 SW 플랫폼인 오라클 엔데카 인포메이션 디스커버리, 대량의 비정형 데이터 처리를 우한 오라클빅데이터어플라이언스 등이 대표적이다.

IBM은 센서를 통해 적은 전력으로도 빠른 데이터 송출이 가능한 ‘MQTT(Message Queuing Telemetry Transport)’ 기술을 탑재하고 있는 메시지사이트라는 솔루션을 통해 실시간으로 대량 이벤트들을 처리하고 있다.

또한 IoT 관련 개발자들을 위한 IoT 클라우드 서비스를 무료로 제공하고 있다. 이는 개발자들이 사물인터넷 환경을 간단하게 구성하고 테스트할 수 있다.

이밖에 사물인터넷 시대의 효율적인 데이터 처리를 위해 최적화된 통신 프로토콜을 무료로 공개하고, 전용 서버 솔루션도 준비하고 있다는 설명이다.

한 업계 관계자는 “향후에는 콘텐츠와 플랫폼이 더욱 다양한 방법으로 만들어지기 때문에 혼자서는 서비스를 제공할 수 없으므로 결국 모든 콘텐츠는 서로 같이 사용할 수 있는 방향으로 고민해야 한다”며 “많은 기업들이 플랫폼을 통해 어떤 데이터를 활용하고 관리할지 역할을 나눠야 하며, 결국 적절한 역할 분배로 융합을 이뤄내야 한다”고 강조했다.

[백지영 기자 블로그=데이터센터 트랜스포머]