[디지털데일리 김도현 기자] ‘챗GPT’ 열풍이 불면서 거대언어모델(LLM) 기술에 대한 관심이 커지고 있다. LLM은 기존 인공지능(AI) 분야보다 대규모 시스템으로 이를 운영하기 위해서는 고성능 그래픽처리장치(GPU) 등이 필수적이다. 대신 천문학적인 컴퓨팅 비용이 든다는 점이 문제다.

4일 카이스트(KAIST)는 김주영 전기및전자공학부 교수의 연구팀이 LLM 추론 연산을 효율적으로 가속하는 AI 반도체를 개발했다고 발표했다.

연구팀이 개발한 AI 반도체 ‘LPU(Latency Processing Unit)’는 LLM 추론 연산을 효율적으로 가속한다. 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행 가능한 연산 엔진을 갖춘 AI 반도체로 전해진다. 자체 네트워킹을 내장해 다수 가속기로 확장이 용이한 부분도 특징이다.

해당 LPU 기반 가속 어플라이언스 서버는 고성능 GPU인 엔비디아 A100 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배 높인 것으로 알려졌다. 최근 생성형 AI 서비스 수요가 급증하는 가운데 데이터센터 내 고성능 GPU를 대체할 수 있을 것으로 기대된다.

이번 연구는 김 교수의 창업기업인 하이퍼엑셀에서 수행했다. 지난달 12일(현지시각) 미국 샌프란시스코에서 진행된 국제 반도체 설계 자동화 학회(DAC)에서 공학 부문 최고 발표상을 수상한 바 있다. LLM을 위한 AI 반도체 기술로는 유일한 성과다.

DAC은 국제 반도체 설계 분야 대표 학회로 전자 설계 자동화(EDA)와 반도체 설계자산(IP) 등이 공개된다. DAC에는 인텔, 엔비디아, AMD, 구글, 마이크로소프트, 삼성, TSMC 등 세계적인 반도체 기업이 참가하고 하버드대학, MIT, 스탠퍼드대학 등도 참여한다.

김 교수는 “미래 거대 AI 연산을 위한 새로운 프로세서 LPU로 글로벌 시장을 개척하고 빅테크 기업들의 기술력보다 우위를 선점하겠다”라며 밝혔다.