[디지털데일리 김문기 기자] “샌프란시스코에 대해 나에게 시를 써줘.”

질문에 대한 답을 써내려가는데 그리 오래 걸리지 않았다. 읽는 속도보다 더 빠르게 화면 위 시 한편이 써 내려간다. AMD의 생성형 AI를 위한 가속기 ‘AMD 인스팅트 MI300X’ 기반의 팔콘-40B를 통한 첫 공식 데모는 그렇게 성공적으로 완료됐다.

AMD(대표 리사 수)는 13일(현지시간) 미국 샌프란시스코에서 열린 ‘AMD 데이터센터&AI 테크놀로지 프리미어(DCAITP)’에서 생성형 AI를 위한 가속기 AMD 인스팅트 MI300X(AMD Instinct MI300X)를 포함한 AMD 인스팅트 MI300 시리즈 가속기 포트폴리오를 발표했다.

‘인스팅트 MI300X’ 가속기는 AMD CDNA 3 아키텍처 기반으로 최대 192GB의 HBM3 메모리를 지원해 대형 언어 모델(LLM) 훈련과 생성형 AI 워크로드에 필요한 컴퓨팅 및 메모리 효율성을 제공한다. 대용량 메모리를 지원해 단일 가속기에 매개변수가 400억 개인 팔콘-40(Falcon-40)과 같은 대형 언어 모델을 수용 가능하다.

AMD는 고성능 컴퓨팅(HPC) 및 AI 워크로드를 지원하는 세계 최초의 APU 가속기 ‘AMD 인스팅트 MI300A’도 공개했다. 현재 주요 고객사에 시제품을 공급 중이다.

이어 소개된 ‘AMD 인스팅트 플랫폼’은 8개의 MI300X 가속기를 산업 표준 디자인으로 결합해 향상된 AI 추론 및 훈련을 위한 솔루션을 지원한다. AMD는 오는 3분기부터 주요 고객사에게 MI300X 가속기 시제품을 제공할 예정이다.

MI300를 직접 공개한 리사 수 AMD CEO는 “CDNA3는 인스팅트 가속기의 기본적인 아키텍처로 AI와 HPC 워크로드를 위해 특별히 설계됐다”라며, “새로운 컴퓨팅 엔진, 최신 데이터 형식, 5나노 또는 6나노미터 공정 기술, 가징 진보된 트리플A 패키징 기술을 사용하는 완전히 새로운 아키텍처”라고 강조했다.

이어, “현재 가장 큰 슈퍼컴퓨터에 있는 MI250X 가속기 대비 8배 더 높은 성능과 5배 더 나은 효율성을 제공한다”라며, “현재 MIT는 이미 슈퍼컴퓨터로 설계됐으며, 라우렌스 라이버모어 내셔널 랩스의 시스템에도 예정돼 있다”고 말했다.

아울러 “CDNA3 아키텍처와 업계를 선도하는 192GB HBM3를 결합해 초당 2테라바이트의 메모리 대역폭을 제공하며, 5 또는 6나노미터 칩렛에 걸쳐 1530억개의 트랜지스터가 있기에 이 칩을 사랑할 수밖에 없다”라며, “경쟁 제품과 대비해서도 2.4배 더 많은 메모리와 1.6배 더 많은 메모리 대역폭을 제공할 수 있다”고 덧붙였다.

수 CEO는 AMD 인스팅트 MI300X 기반의 대형 언어 모델인 팔콘-40B를 통해 샌프란시스코에 대한 시를 쓰는 공식 데모를 실시간으로 공개했다.

이에 대해 그녀는 “이 데모에서 특별히 강조하고 싶은 것은 이 크기의 대규모 언어 모델이 단일 GPU의 메모리에서 완전히 실행될 수 있는 것은 이번이 처음이라는 것”이라며, “단일 MI300X는 최대 약 100만개의 매개변수까지 모델을 실행할 수 있다”고 자신했다.

또한 수 CEO는 “우리가 제공하는 것은 AI 워크로드를 위한 TCO 관련 리더십”이라며, “고객과 파트너가 쉽게 배포할 수 있도록 하는데 진심으로 집중하고 있으며, 인스팅트 플랫폼은 실제로 채택의 장벽을 낮춰줄 것”이라 확신햇다.

이어, “MI300A는 이번 분기 초 주요 HPC와 AI 고객에게 샘플링을 시작했으며, 3분기부터는 MI300X와 GPU 인스팅트 플랫폼을 샘플링할 예정”이라며, “우리는 이 제품 모두 올해 4분기 생산량을 늘릴 것으로 예상한다”고 밝혔다.