[디지털데일리 박세아 기자] 엔비디아 H100 GPU가 가속기별로 최고 성능을 달성했다. 엔비디아는 대규모 데이터를 빠르게 학습할 수 있는 컴퓨팅 성능을 갖춘 자사 그래픽처리장치(이하 GPU)를 통해 향후 AI기반 애플리케이션을 더 빠르게 배포할 수 있다고 강조하고 나섰다.

28일 엔비디아는 자사 블로그를 통해 '엔비디아 H100 텐서코어 GPU'로 엠엘퍼프(MLPerf) 훈련 기록을 경신했다고 밝혔다.

엠엘퍼프는 가장 공신력있는 것으로 알려진 AI반도체 기술력 검증 대회다. 이번에 엔비디아가 실시한 훈련은 '엠엘퍼프 트레이닝 v3.0'에서 엔비디아 H100 텐서코어 GPU로 구동되는 엔비디아 AI 플랫폼을 대상으로 했다.

쉽게 말해 H100 텐서코어 GPU를 탑재한 엔비디아 AI플랫폼이 대규모 언어모델(LLM) 워크로드를 포함한 모든 워크로드에서 대규모로 새로운 훈련 시간 기록을 세웠다는 의미다.

챗GPT와 같은 생성형 AI은 학습과 추론을 위해 많은 양의 데이터를 빠르게 학습한다. 이 과정에서 문장 생성 및 분석 등 여러 개 연산을 병렬 방식으로 동시 처리할 수 있는 GPU는 필수적이다. 엔비디아는 이 때 자사 GPU 모델인 A100과 H100을 대표적으로 서비스하고 있다.

이번 엔비디아 단일 노드 DGX H100 결과에 따르면 소프트웨어 개선을 통해 동일한 하드웨어지만, 단 17개월 만에 자사 H100 성능이 최대 6% 향상됐다고 전하고 있다. 이는 '엠엘퍼프 트레이닝 v100.2'의 '엔비디아 A1 텐서코어 GPU 서브미션' 적용했을 시기와 비교했을 때, 액셀러레이터당 최대 3.1배 더 높은 성능을 제공한다는 것과 같다는 설명이다.

이번에 엔비디아는 최대 768개 H100 GPU에서 엔비디아 프리 이오스 AI슈퍼컴퓨터를 사용해 결과를 제출했다.

엔비디아는 "이번 결과를 통해 엔비디아 AI플랫폼이 온프레미시와 상용 클라우드 인스턴스 모두에서 모두 뛰어난 성공을 제공할 수 있다는 것을 보여준다"라며 "모델을 큰 규모로 학습할 때 CPU에서 데이터 전처리 과정에서 문제가 생길 수 있지만 이번 모델 하에서는 데이터 전처리 시간을 3% 단축했다"라고 말했다.

이 외에도 회사는 GPU 간 통신 지연 시간 5배 감소, 고대역폭 GPU 간 통신 가속화 등을 개선 사항으로 꼽았다.

엔비디아는 AI연산에 사용되는 GPU 시장을 독점하고 있다. 아마존 역시 EC2 P5 인스턴스에 H100 텐서 코어 GPU를 탑재했다. 최근 한국 시장 진출을 공식화한 클라우드 기업 지코어도 H100을 기반으로 하는 인프라를 서비스한다. 국내 기업 중에선 NHN클라우드 등이 H100 GPU 등을 대거 구매하고 있기도 하다.

이와 같은 상황에서 엔비디아가 한층 개선된 GPU를 바탕으로 공급 독점을 공고화할 지 주목된다. 세계 GPU 시장의 80% 이상을 엔비디아가 독점하고 있는 상황에서 최근, 고비용, 고전력 구조를 약점으로 판단한 국내를 비롯한 중국, 미국 반도체 기업들이 엔비디아 아성에 도전장을 내미고 있다. 전일 기준 엔비디아 H100은 개당 6150만원을 호가한다.