[디지털데일리 이안나기자] AI 열풍이 불면서 기업들 고민이 깊어지고 있다. AI 모델 개발과 서비스 운영에 필수적인 그래픽처리장치(GPU)를 구하기가 어려워졌기 때문이다. 많은 기업들이 AI 도입을 서두르고 있지만, 핵심 부품인 GPU 수급난으로 인해 어려움을 겪고 있는 실정이다.

GPU 서버는 AI 시스템 핵심 엔진이라 할 수 있다. 수만 개 코어로 구성된 이 프로세서는 인간의 뇌가 정보를 병렬로 처리하는 방식과 유사하게 알고리즘을 실행하는 데 필요한 고성능 연산 능력을 제공한다. 현재 이 엔진의 성능은 다양한 실리콘 벤더들에 의해 계속해서 혁신되고 있으며, AI 발전의 핵심 동력이 되고 있다.

효성인포메이션시스템에 따르면 엔비디아 최신 AI용 GPU인 H100은 과거보다 수급 상황이 개선되어 현재 16주 이내 공급이 가능한 상황이다. 그러나 더 향상된 성능을 제공하는 차세대 제품 H200의 경우 32주, 즉 8개월 가량을 기다려야 받아볼 수 있다. 이는 AI 인프라 구축을 계획하는 기업들에 큰 걸림돌이 되고 있다.

전문가들은 향후 2년 이내에 주요 딥러닝 알고리즘을 처리하는 데 필요한 성능은 15배, GPU 성능은 10배 이상 향상될 것으로 전망하고 있다. 이는 GPU에 대한 수요가 앞으로도 계속해서 증가할 것임을 시사하며, 지금의 수급난이 쉽게 해소되기는 어려울 것임을 암시한다.

현재 상황에서 가장 현실적인 대안은 기존에 보유한 GPU를 최대한 활용해 성능을 극대화하는 것이다. 퓨어스토리지에 따르면 GPU 성능 향상은 하드웨어 업그레이드에만 국한되지 않고, 스토리지 인프라도 큰 역할을 한다. 효율적이고 낮은 레이턴시를 가진 스토리지 솔루션은 데이터를 지체 없이 GPU에 전달해 정보 대기 시간 없이 작업을 수행할 수 있게 한다.

실제로 충북테크노파크는 고성능 스토리지 인프라를 도입해서 데이터 처리 성능을 2배 이상 향상시키고, GPU 활용률을 30%에서 80%까지 2.6배 끌어올렸다. 이는 적절한 인프라 구성만으로도 GPU 활용도를 획기적으로 개선할 수 있음을 보여준다. 특히 스토리지 성능 개선을 통해 신속한 모델 반복이 가능해져 AI 엔지니어들의 작업 효율성도 향상됐다.

델 테크놀로지스는 엔비디아·AMD·인텔을 모두 지원하는 고집적 GPU 서버 '델 파워엣지 XE9680'을 제공한다.최근엔 AMD 지원을 강화한 ‘델 AI 팩토리’ 포트폴리오에 AMD 5세대 EPYC 프로세서를 탑재한 신제품 5종을 추가했다. 이러한 개방형 아키텍처 전략은 기업들에 더 많은 선택지를 제공한다는 점에서 의미가 있다.

HS효성인포메이션시스템은 AMD와 인텔 가속기가 엔비디아보다 GPU 메모리가 높아 동일 수량에서 더 큰 모델을 학습할 수 있는 장점이 있다고 설명했다. 다만 엔비디아 쿠다(CUDA) 에코시스템이 전세계적으로 탄탄하게 갖춰져 있어, 대체 가속기들이 시장을 선도하기 위해서는 좋은 제품 출시뿐만 아니라 에코시스템 구축을 위한 노력이 필요할 것으로 전망했다.

GPU 품귀 현상은 당분간 계속될 전망이다. 이런 상황에서 기업들은 보유한 GPU 활용률을 최대한 끌어올리고, 다양한 가속기 옵션을 적극적으로 검토할 필요가 있다. GPU 확보에만 매달리기보다 기존 자원의 효율을 높이고, 대체 가능한 옵션들을 적극 검토하는 유연한 접근이 필요한 시점이다.

이와 같은 상황 속에 <디지털데일리>는 11월13일 오전 9시30분부터 포스코타워 역삼 이벤트홀에서 ‘AI 초격차를 위한 데이터센터 인프라 활용 전략’을 주제로 ‘스마트 엔터프라이즈 2024’를 개최한다.

이날 컨퍼런스에선 지속가능한 데이터센터 구축을 위한 혁신적인 전략과 솔루션을 공유하고, 이를 통해 기업이 환경보호와 경제성장을 동시에 이룰 수 있는 방안도 함께 논의될 전망이다. ‘데이터센터, AI 핵심 인프라’를 주제로 한 과학기술정보통신부 발표를 시작으로, HS효성인포메이션, 버티브코리아, 엠피리온디지털, KT클라우드, 에스넷시스템, NHN클라우드, 데우스 등 대표 기업들이 연단에 오를 예정이다.