24일 서울 강남구 양재동 엘타워에서 <디지털데일리> 주최로 '오픈 테크넷 서밋 2024'가 진행된 가운데 신호철 오픈소스컨설팅 팀장이 '기상청 사례로 알아보는 OpenStack과 Kubernetes를 이용한 효율적인 GPU 활용방안'을 주제로 발표하고 있다.

[디지털데일리 김보민기자] 기상청은 기상 데이터를 분석하기 위해 다양한 분석 도구를 활용하고 있다. 시각화와 머신러닝(ML)에 특화된 도구는 물론, 인공지능(AI) 기술까지 데이터를 분석하기 위한 시도가 이어지는 분위기다.

이 과정에서 빼놓을 수 없는 기본 재료는 그래픽처리장치(GPU)다. 물리적 GPU뿐만 아니라 가상 GPU(vGPU) 또한 빼놓을 수 없다. 오픈스택을 기반으로 기상청 대외 서비스 인프라 구축을 지원한 오픈소스컨설팅은 추후 '멀티 인스턴스 GPU(이하 MIG)'가 주요 인프라를 강화할 승부카드가 될 수 있을 것으로 전망했다.

신호철 오픈소스컨설팅 팀장은 24일 서울 양재 엘타워에서 열린 '오픈테크넷 서밋 2024' 발표를 통해 "기상청의 경우 다양한 데이터를 분석하다 보니 고성능 GPU와 서버가 많이 필요해졌고, vGPU가 모자라 부하가 생기는 고민이 있었다"며 "어떻게 하면 오픈스택, 쿠버네티스, VM에 올라가면서 효과적으로 (GPU를) 사용할 수 있을지 고민했다"고 밝혔다.

오픈소스컨설팅이 주목한 키워드는 GPU 파티셔닝 전략인 'MIG'다. MIG는 하나의 GPU를 여러 인스턴스로 분할해 사용하는 기술로, 엔비디아를 통해 이름을 알렸다. 각 인스턴스는 물리적으로 분리돼 있어 독립적으로 자원을 할당받아 사용되는 특징이 있다. 이 기술은 큰 자원이 필요하지 않은 작업에 전체 GPU를 할당하지 않고, 필요한 만큼 자원을 나눠 쓸 수 있도록 돕는다.

신 팀장은 "vGPU와 달리 물리적으로 메모리를 나눠 격리된 서비스를 제공하는 개념"이라고 강조했다. 하나의 GPU를 다중 인스턴스로 분할해 다양한 애플리케이션을 지원할 수 있는 전략인 셈이다. 아울러 쿠다(CUDA) 스트림, 타임슬라이싱을 각 인스턴스 내에 적용할 수도 있다.

신 팀장은 "최대 7개 인스턴스로 나눌 수 있고, 지원하는 서비스 또한 VM부터 vGPU, 컨테이너까지 다양하다"고 말했다. 인스턴스 사용 범위가 7개로 한정된 부분에 대해서는 "엔비디아 자료를 보니, 메모리 등 주요 영역에서 8개 이상 인스턴스를 줄 경우 병목 현상이 발생하는 것으로 나타났다"고 부연했다.

관건은 기상청 인프라에도 MIG가 적용이 가능하냐는 부분이다. 기상청은 오픈스택 VM, 베어메탈(Baremetal), K8S 기반 GPU 아키텍처를 운영하고 있다. GPU 측면에서는 분산 데이터와 소프트웨어를 통합 활용하는 플랫폼 'K-DASH' 작업이 가능하도록 구성하는 것이 핵심이었다. 이에 기상청 K-DASH GPU의 오픈스택은 스토리지, 네트워킹, 하드웨어 라이프사이클 등 주요 요소로 구성됐다.

MIG는 고사양 GPU에 적용이 된다는 점을 고려했을 때, 기상청 또한 고려 요건이 많을 것으로 예상된다. 신 팀장은 "저사양 GPU는 MIG를 지원하지 않는다"며 "A100, H100 등 고가 장비를 지원하고 있어 아쉬운 부분"이라고 말했다.

한편 오픈소스컨설팅은 ▲오픈소스 기반 통합 리눅스 환경 구축 및 기술 지원 서비스 ▲오픈소스 기반 올인원 서비스형인프라(IaaS) 플랫폼 '플레이스 오픈스택(Playce OpenStack) ▲오픈소스 기반 올인원 서비스형플랫폼(PaaS) '플레이스 큐브(Playce Kube) ▲쿠버네티스 기반 클라우드 네이티브 환경 구축 ▲오픈스택, 데브옵스(DevOps) 컨설팅 및 구축 ▲프라이빗, 멀티 클라우드 유지보수 및 기술 지원 등을 제공하고 있다.