[디지털데일리 박세아 기자] AI 금융 스타트업 크래프트 테크놀로지스(Qraft Technologies)가 데이터 엔지니어링, 웨어하우징, 데이터레이크 등에 있어 혁신적인 경험을 공유했다.

6일 크래프트 테크놀로지스 이유진 데이터 엔지니어는 <디지털데일리>와 인터뷰에서 복잡한 데이터 처리를 스노우플레이크 솔루션을 통해 효율적으로 해결할 수 있었다고 밝혔다.

크래프트는 인공지능(이하 AI)을 데이터에 입혀 금융 및 투자를 지원해주는 회사다. 이 회사는 AI기반 투자 상품을 만들고, AI기술을 사용해 전 세계 자산 관리자에게 투자 서비스를 제공해준다. 소프트뱅크에 1700억~1800억원 투자를 받은 회사로 쿠팡 다음으로 국내에서 유일하다.

이 엔지니어는 사내에서 통합 데이터 플랫폼이나 파이프라인을 구축하는 역할을 담당하고 있다. 데이터 사이언티스트들이 데이터를 사용할 수 있게 인프라를 만들고 서비스를 제공해주는 역할을 한다.

이 엔지니어는 "뉴욕 증권거래소에 자사 AI기반 투자 상품 상장지수펀드(ETF)가 4개 상장돼 있다. 하지만, ETF 구성으로 역할을 국한하기에 자사의 인프라와 리소스가 많았고, 전반적인 투자 프로세스에 AI를 적용하고자 하는 게 사업 핵심"이라고 설명했다.

특히 금융데이터의 경우 데이터 속성이 어렵고 복잡하기 때문에 필터링 과정이 필수적이다. 이런 데이터에 AI기술을 입히는 게 생각보다 어려웠지만, 스노우플레이크 솔루션을 통해 작업을 단순화할 수 있었다고 전했다.

이 엔지니어는 "궁극적으로 데이터 플랫폼을 구축해야 한다고 생각했다. 기존에는 데이터를 사용하는 방식이 소프트웨어개발키트(SDK)를 하나 만들면, 직접 연결해서 사용하는 방식이었다. 즉 서로 다른 각각 데이터를 받기 위해 데이터를 호출해야 했다. 서로 다른 데이터 호출방식과 관리에서 비효율성이 나타난 것"이라고 말했다.

그는 데이터 사이언티스트들이 데이터를 간편하게 조회할 수 있도록 솔루션을 적용해야 했다. 데이터베이스(DB) 스키마를 일일이 따로 이해하고 관리해야 하는 번거로움을 스노우플레이크 솔루션 적용으로 일부 해소할 수 있었다는 생각이다.

AI를 활용함에 있어 모델을 돌리려면 기본적으로 대용량 데이터가 필요하다. 하지만, 데이터 사이즈가 커지면 네트워크 과부하가 걸린다는 문제가 있다. 따라서 AI데이터 처리에 있어 핵심은 빠른 대용량 데이터를 빠르게 로드할 수 있어야 한다. 모델에 들어가는 최적의 인풋 데이터를 찾는 게 최대 과제인 만큼, 피처 데이터를 저장할 수 있는 저장소가 필요한 것이다.

그는 "스노우플레이크는 어카운트를 생성하고 데이터를 로딩하는 과정에 있어 하드웨어나 소프트웨어 모니터링 필요성이 없고, 인덱스 관리, 워크로드 작업 필요성이 없다. 이러한 작업은 스노우플레이크가 자동화한다"라고 말했다.

이 엔지니어는 크래프트뿐만 아니라 효율적인 데이터 처리를 원하는 다른 회사들도 이와 같은 기능을 눈여겨 볼 수 있다고 전했다. 스노우플레이크는 자사 솔루션이 ETL(Extract, Transform, Load)에서 ELT(Extract, Load, Transform)로 전환, 또 퍼블릭 클라우드 환경에서 데이터 분석가가 쉽고 빠르게 데이터에 접근할 수 있게끔 만들어준다고 강조하고 있다.

ETL은 전통적으로 다양한 내/외부 데이터를 추출(Extract)해서, 원하는 형식으로 변환(Transform)해, 저장 가능한 수준(데이터 용량, 포맷 등)으로 저장(Load)하는 기술을 뜻한다. ELT는 ETL과 달리 데이터를 추출(Extract)한 이후에 변환없이 그대로 저장(Load)한 후 원하는 방식으로 변환(Transform)/분석하는 방식이다. 즉, 모든 데이터를 가능한 저장한 후에 다양한 목적에 따라 원하는 변환을 쉽게 수행 가능하다.

비용 역시 크래프트의 경우 소프트뱅크 투자 유치로 스노우플레이크 베네핏 프로그램이 있기도 했지만, 합리적인 과금체계로 부담을 덜었다는 게 그의 생각이다. 스노우플레이크는 웨어하우스 엔진에서 실제 솔루션을 활용한 시간만큼만 요금이 부과된다.
.
그는 "스타트업에서는 데이터 규모에 따라 스노우플레이크 솔루션을 사용하는 게 유리하다고 생각한다. 그렇지 않은 경우 시스템 구축과 작업에 더 많은 시간과 비용이 소요되기 때문"이라며 "스노우플레이크 솔루션을 사용하면 관리 효율성, 시스템 최적화에 드는 노력이 감소할 수 있다"라고 언급했다.