3일 서울대 'SAISF'에서 발표를 진행하는 임의철 SK하이닉스 펠로우

[디지털데일리 고성현 기자] 삼성전자와 SK하이닉스가 온디바이스 인공지능(AI)의 발전을 이끌 핵심 요소로 프로세싱인메모리(PIM)의 상용화를 꼽았다. 메모리 역할이 커지는 초거대언어모델(LLM) 추론 분야를 고려해볼 때, 메모리 내 효율화를 거쳐야만 정체될 우려가 있는 AI산업 발전을 지속할 수 있다는 의미다.

특히 저전력DDR(LPDDR) 기반의 D램에 PIM을 적용한 'LPDDR-PIM' 개발 방향이 AI 시장 확대에 큰 역할을 할 수 있을 것으로 봤다. 이에 따라 차세대 표준인 LPDDR6에 PIM 기능 적용을 제안하는 등 다방면의 활동을 전개하는 모습이다.

임의철 SK하이닉스 펠로우는 3일 서울대학교에서 열린 '제2회 서울대학교 AI 반도체 포럼(SAISF)'에서 "LLM을 중심으로 한 열풍이 일어난 이후 이 방향으로 지속할 것이냐에 대한 걱정이 많이 나오고 있다"며 "이 시스템이 너무 많은 전력을 필요로 하는 탓에 서비스를 하면 할수록 손해를 보는 구도가 지속되기 때문"이라고 설명했다.

LLM 기반의 생성형 AI 시스템은 사용자가 질문을 입력하면 막대한 데이터 중 유효한 내용을 찾아 출력하는 방식으로 진행된다. 프로세서(xPU)가 SSD 등에 저장된 AI모델을 불러오면, 고대역폭메모리(HBM)가 전 용량을 사용해 모델을 읽어들여 프로세서의 연산이 가능하도록 지원하는 식이다.

문제는 출력을 위한 토큰(Token)을 생성할 때마다 수억, 수십억개에 달하는 파라미터(Parameter)를 읽는 과정을 반복해야 한다. 질문에 대한 답을 할 때마다 비효율적인 자원 소모 및 전력이 발생하게 되고, 서비스 비용보다 감당해야 할 데이터센터 자원·전력 소모 비용이 늘어나는 저수익 구조가 되는 것이다.

임 펠로우는 "생성형 AI 모델 사이즈가 커지면 커질수록 메모리 집중도가 늘어날 수밖에 없는 구조"라며 "만약 데이터에서 적합한 토큰을 찾는 연산을 xPU나 GPU가 아닌 메모리 안에서 한다면 칩 간 데이터 이동보다 훨씬 많은 에너지를 절감할 수 있다. PIM이 생성형AI에 적합한 솔루션이라고 보는 이유"라고 강조했다.

PIM은 데이터를 읽고 쓰는 저장장치 역할을 하는 D램의 내부에 연산 기능을 넣은 장치다. 이 구조를 활용하면 고대역폭메모리(HBM)처럼 외부에 입출력(I/O)단자를 많이 배치하지 않아도 내부 대역폭을 활용해 속도를 높일 수 있고, AI 모델의 거대한 데이터를 내부적으로 연산한 덕에 전력소모도 크게 줄일 수 있다. 이에 따라 SK하이닉스, 삼성전자가 AI 메모리 용도로 관련 기술 개발을 추진 중이다.

임 펠로우는 특히 PIM이 온디바이스AI 환경에서 강점을 발휘할 것으로 내다봤다. 온디바이스AI는 데이터 집단화(Batch)를 단일 방식으로 쓰기에 메모리 집중도가 높아지고, 메모리 자체의 성능이 높으면 높을수록 저전력 효율을 발휘하기 쉽다는 의미다.

이와 관련 그는 "온디바이스AI는 스마트폰부터 엣지 서버에 이르는 영역에 채용되기 때문에 저전력 효율이 무엇보다 중요하다. PIM를 활용하면 기존 에너지 소모를 1/4로 줄일 수 있을 것"이라며 "특히 온디바이스AI의 난제인 대역폭 문제를 메모리 내 대역폭(Internal Bandwidth) 활용으로 해결 가능한 강점이 있다"고 전했다.

그러면서 "반도체 칩부터 스마트폰 설계를 모두 아우르는 회사가 아니라면 PIM을 선호하는 경향은 늘어날 것"이라며 "SK하이닉스 역시 온디바이스AI 고객사와 함께 난제를 해결하고 PIM을 적용하기 위한 협업을 진행 중"이라고 덧붙였다.

3일 서울대 'SAISF'에서 발표를 진행한 손교민 삼성전자 D램설계팀 마스터

손교민 삼성전자 D램설계팀 마스터 역시 온디바이스AI 시장 내 PIM의 가능성을 높게 봤다. 특히 LPDDR 표준을 활용한 PIM의 확대가 AI메모리의 발전을 이끌 것으로 관측했다.

손 마스터는 "(HBM 이후) 다음 AI메모리는 LPDDR-PIM이 될 것으로 보고 있다. LPDDR을 기반으로 한 AI 디바이스가 스마트폰, 노트북, 엣지 등으로 활용이 넓어지고 있기 때문"이라고 운을 뗐다.

그러면서 "DDR 표준은 CPU를 만드는 기업과 연관이 있어 발전 속도가 상대적으로 느리지만, LPDDR은 매년 경쟁적으로 신제품을 내놓는 애플리케이션프로세서(AP)와 연동돼 발전 속도가 빠른 편"이라며 "실리콘관통전극(TSV)으로 데이터가 오가는 HBM과 비교해도 저전력·에너지 효율 측면에서 이점이 있다"고 강조했다.

다만 PIM을 상용화하기 위해서는 적지 않은 과제를 해결해야 할 것으로 내다봤다. 손 마스터는 "D램 안에 PIM 기능을 넣어 효과를 보려면 기존 프로세서-메모리 방식보다 효율이 확실히 높은지, 3~5년 뒤에도 유효할 것인지를 따져봐야 한다"며 "시장이 더욱 커지려면 표준화가 이뤄질 필요도 있다"고 지적했다.

그러면서도 "과거에는 시스템, 소프트웨어 수준이 더욱 난제였지만, 고객사 니즈 다양화로 어느정도 협업이 가능한 상황"이라며 "삼성전자 역시 HBM에 대해서도 준비하고 있고, 연산 기능을 넣어 효율적인 메모리 대역폭을 늘리는 방향도 연구해나가고 있다"고 밝혔다.