[디지털데일리 채성오기자] 한국과학기술원(KAIST) 연구팀이 400밀리와트(㎽) 초저전력을 소모하면서 0.4초 초고속으로 거대 언어 모델을 처리할 수 있는 인공지능(AI) 반도체 '상보형-트랜스포머(Complementary-Transformer)’를 세계 최초로 개발했다고 6일 밝혔다. 이는 삼성전자의 28나노 공정을 통해 개발됐다.

KAIST PIM반도체 연구센터와 인공지능(AI) 반도체 대학원 유회준 교수 연구팀은 그동안 다량의 GPU와 250와트(W) 전력소모를 통해 구동되는 GPT 등 거대 언어 모델(LLM)을 4.5㎜X4.5㎜의 작은 AI 반도체 칩상에서 초저전력으로 구현하는 것에 성공했다.

특히 인간 뇌의 동작을 모사하는 뉴로모픽 컴퓨팅 기술인 스파이킹 뉴럴 네트워크(SNN)을 활용해 트랜스포머 동작을 구현한 것이 특징이다. 김상엽 박사가 제 1저자로 참여한 이번 연구는 지난달 19일부터 23일까지 미 샌프란시스코에서 개최된 국제고체회로설계학회(ISSCC)에서 발표 및 시연됐다.

기존의 뉴로모픽 컴퓨팅 기술은 합성곱신경망(CNN)에 비해 부정확하며 주로 간단한 이미지 분류 작업만 가능했다. 연구팀은 뉴로모픽 컴퓨팅 기술의 정확도를 CNN과 동일 수준으로 끌어올리고, 단순 이미지 분류를 넘어 다양한 응용 분야에 적용할 수 있는 상보형-심층신경망(C-DNN)을 제안했다.

상보형 심층신경망 기술은 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 혼합 사용하며 입력 데이터들을 크기에 따라 서로 다른 신경망에 할당해 전력을 최소화할 수 있는 기술이다.

사람의 뇌가 생각할 것이 많을 때 에너지 소모가 많고 생각할 것이 적을 때 에너지 소모가 적은 것과 마찬가지로, 뇌를 모방한 스파이킹 뉴럴 네트워크(SNN)는 입력값의 크기가 클 때는 전력을 많이 소모하고 입력값의 크기가 작을 때에는 전력을 적게 소모한다.

이번 연구는 지난해의 상보형-심층신경망 기술을 LLM에 적용함으로써 초저전력·고성능의 온디바이스 AI가 가능하다는 것을 실제로 입증한 것이며, 그동안 이론적 연구에만 머물렀던 연구내용을 세계 최초 AI 반도체 형태로 구현한 것에 의의가 있다.

특히, 연구팀은 뉴로모픽 컴퓨팅의 실용적인 확장 가능성에 중점을 두고 문장 생성, 번역, 요약 등과 같은 고도의 언어 처리 작업을 성공적으로 수행할 수 있는 지를 연구했다. 이 과정에서 가장 큰 관건은 뉴로모픽 네트워크에서 높은 정확도를 달성하는 것이다. 일반적으로 뉴로모픽 시스템은 에너지 효율은 높지만 학습 알고리즘의 한계로 인해 복잡한 작업을 수행할 때 정확도가 떨어지는 경향이 있었으며, 거대 언어 모델과 같이 높은 정밀도와 성능이 요구되는 작업에서 큰 장애 요소로 작용했다.

연구팀은 이런 문제점을 해결하기 위해 독창적인 DNN-to-SNN 등가변환기법을 개발했다. 이는 기존 심층 인공 신경망(DNN) 구조를 스파이킹 뉴럴 네트워크(SNN)로 변환하는 방법의 정확도를 끌어올리기 위해 스파이크의 발생 문턱값을 정밀 제어하는 방법이다. 이에 대해 연구팀은 "스파이킹 뉴럴 네트워크(SNN)의 에너지 효율성을 유지하면서도 심층 인공 신경망(DNN) 수준의 정확도를 달성할 수 있었다"고 밝혔다.

연구팀은 향후 뉴로모픽 컴퓨팅을 언어 모델에 국한하지 않고 다양한 응용 분야로 연구범위를 확장하는 한편 상용화에 관련된 문제점들도 파악해 개선할 예정이라고 전했다.

유회준 KAIST 전기및전자공학부 교수는 "이번 연구는 기존 AI 반도체가 가지고 있던 전력 소모 문제를 해소했을 뿐만 아니라, GPT-2와 같은 실제 거대언어모델 응용을 성공적으로 구동했다는데 큰 의의가 있다"며 "뉴로모픽 컴퓨팅은 인공지능시대에 필수적인 초저전력·고성능 온디바이스 AI의 핵심기술인만큼 앞으로도 관련 연구를 지속할 것"이라고 설명했다.

전영수 과기정통부 정보통신산업정책관은 "이번 연구성과는 AI 반도체가 NPU와 PIM을 넘어 뉴로모픽 컴퓨팅으로 발전할 수 있는 가능성을 실제로 확인했다는 것에 큰 의미가 있다"며 "지난 1월 대통령 주재 반도체 민생토론회에서 AI반도체의 중요성이 강조됐듯이, 앞으로도 이런 세계적인 연구성과를 지속적으로 낼 수 있도록 적극적으로 지원하겠다"고 말했다.