[디지털데일리 권하영기자] 지코어는 인공지능(AI) 애플리케이션에 초저지연 경험을 실시간 제공하는 ‘인퍼런스 앳더 엣지(Inference at the Edge)’ 솔루션을 출시한다고 10일 밝혔다.

이 솔루션은 사전학습된 머신러닝 모델을 전세계에 분포된 엣지 추론 노드 중 사용자와 가장 가까운 경로 또는 위치에서 응답하도록 해 원활한 실시간 추론을 보장한다.

지코어 인퍼런스 앳더 엣지는 180개 이상 엣지 노드로 구성된 지코어의 광범위한 글로벌 네트워크(PoP)에서 실행되며, 저지연 스마트 라우팅 기술로 상호 연결된다. 각 노드는 지코어 네트워크 중 최종 사용자와 가까운 엣지에 전략적으로 배치된다.

각 엣지에서의 AI 추론은 특별히 설계된 엔비디아 L40S 그래픽처리장치(GPU)에서 실행된다. 사용자가 요청을 보내면 엣지 노드는 지연 시간이 가장 짧고 가장 가까운 엣지 추론 노드로 경로를 설정, 일반적으로 30ms 미만의 응답 시간을 보장한다. 네트워크 간 최대 대역폭도 200Tbps로 최고 수준의 학습 및 추론 능력이 가능하다.

또한, 광범위한 기본 머신러닝 및 커스텀 모델을 지원한다. 지코어 머신러닝 모델 허브에서 사용 가능한 오픈소스 기반 모델로는 라마 프로 8B, 미스트랄 7B, 스테이블 디퓨전 XL 등이 있다. 모델을 사용 사례에 맞게 선택하고 학습한 후 전세계에 위치한 인퍼런스 앳더 엣지 노드에 배포할 수 있다.

이를 통해 ▲유연한 가격 구조로 고객이 사용한 리소스에 대해서만 비용을 지불할 수 있어 ‘비용효율적인 배포’가 가능하고 ▲디도스 공격에도 머신러닝의 각 앤드포인트가 지코어 인프라를 통해 자동 보호되는 내장형 디도스 보호 기능을 갖출 수 있다. ▲GDPR, PCI DSS, ISO/IEC 27001 등 업계 표준을 준수하는 데이터 프라이버시 및 보안을 보장하는 한편 ▲모델 자동확장 기능으로 예기치 않은 로드 급증을 지원한다. ▲S3 호환 클라우드 오브젝트 스토리지도 무제한으로 제공한다.

안드레 레이텐바흐 지코어 최고경영자(CEO)는 “지코어 인퍼런스 앳더 엣지는 고객이 전세계에 AI 애플리케이션을 배포하는 데 필요한 비용, 기술, 인프라에 대해 걱정할 필요 없이 머신러닝 모델을 학습시키는 데 집중할 수 있도록 지원한다”고 말했다.