팬데믹 이후 한국 기업들은 고환율, 경기 불황, 국제 정세 불안 등 다양한 경제적 어려움에 직면해 있다. 이러한 상황 속에서 디지털 전환, 특히 AI 기술을 활용한 혁신은 생존과 성장을 위한 필수 전략으로 떠오르고 있다. <디지털데일리>는 창간 19주년 대기획을 통해 AI와 클라우드 인프라의 발전이 각 산업에 미치는 영향을 조명하고, 한국 기업들이 어떻게 이를 통해 새로운 성장 동력을 모색하고 있는지를 살펴본다. 다양한 산업별 사례를 통해 AI가 기업 혁신의 핵심으로 자리 잡고 있음을 보여주고자 한다.<편집자 주>

[디지털데일리 고성현 기자] 생성형 인공지능(AI) 열풍 이후 관련 서비스 구현 등의 니즈가 확대되면서 주요 하이퍼스케일의 AI 데이터센터 투자가 늘어나고 있다. 이에 따라 데이터센터에 탑재되는 반도체 칩에 대한 수요도 기하급수적으로 증가하면서, 어두웠던 반도체 업계 전망도 다시금 밝아진 모양새다.

AI 혁신을 촉진할 수 있는 고성능·고용량 반도체의 상용화 시기도 빨라지고 있다. 특히 막대한 칩 가격과 전력 등 유지비용을 절감하는 것이 관건인 만큼, 칩렛(Chiplet)·신경망처리장치(NPU)·컴퓨트익스프레스(CXL) 등 다양한 기술 제안이 늘어나는 추세다.

데이터센터에서 AI를 구현하는 영역은 두가지다. 첫째는 막대한 데이터를 알고리즘으로 지식을 습득해 AI 모델을 만드는 학습(Learning), 둘째는 학습한 모델을 통해 입력된 기능을 구현하는 추론(Inference)이다. 초거대언어모델(LLM) 등을 구축하는 과정이 학습에 해당하며, 이를 기반으로 챗봇·통화 번역·금융 등 각종 서비스를 구현하는 것이 추론에 해당한다.

기존에는 학습용 분야가 AI 데이터센터의 대부분을 차지해왔다. AI 서비스 구현을 위한 토대를 다져야 하는 시기를 거쳐왔기 때문이다. 이 과정에서 엔비디아가 AI 개발 생태계 쿠다(CUDA)·그래픽저장장치(GPU) 등 경쟁력을 바탕으로 앞서나갔고, 현재까지도 AI 반도체 시장 내 우위를 굳건히 지키고 있다.

최근에는 상황이 변하고 있다. 막대한 데이터 처리를 요구하는 학습 분야 대비 부담이 적은 추론용 AI 데이터센터 설립을 추진하려는 기업이 늘어나면서다. 이에 따라 고전력을 요구하는 GPU 대신 자체 개발한 주문형반도체(ASIC)나 NPU를 사용하려는 움직임이 커졌다.

이미 주요 하이퍼스케일 기업들은 자체 ASIC 개발을 활발히 추진 중이다. 구글은 AI 전용 칩인 텐서처리장치(TPU)를 지속 개발하며 추론에 이어 학습용 칩까지 범위를 넓히고 있으며, 마이크로소프트(MS)도 '애저 마이아'를 출시하는 한편 추론 전용칩 '아테나'를 개발하고 있다. 아마존웹서비스(AWS)는 학습용 칩 '트레이니움'을 2세대까지 출시했고, 추론용 칩 '인퍼런시아'의 차세대 제품을 개발 중이다.

AI 추론용 칩 시장을 진입하기 위한 반도체 업계의 칩 개발도 눈에 띈다. 인텔이 추론·학습용 칩 '가우디3'를 개발하며 관련 시장 진입을 노리고 있고, AMD도 MI300 등이 일부 성과를 얻었다. 삼성전자 역시 네이버와 협력해 추론용 AI칩 '마하1' 개발에 뛰어든 상황이다.

ASIC 확대에 따라 반도체 설계자산(IP) 기업 Arm, 그리고 오픈소스형 반도체 IP 생태계인 리스크파이브(RSIC-V)의 가치도 수직상승했다. 이들의 반도체 IP는 저전력 설계에 유리했던 탓에 서버·데이터센터에서는 고전을 면치 못했지만, 높은 총소유비용(TCO)을 절감키 위한 시도가 늘면서 다시금 주목 받게 됐다.

데이터센터에 투입되는 CPU·GPU 등 고성능 시스템온칩(SoC)을 단일화했던 설계·생산 공정에도 변화가 찾아왔다. 과거에는 여러 기능을 하나의 생산 공정에 투입해 SoC로 만드는 게 유리했다. 게이트 선폭이 7나노미터(㎚), 5나노, 4나노 등 미세화로 비용이 기하급수적으로 증가하면서 상황이 달라지게 됐다.

높은 칩 생산 비용을 해결하기 위한 대안으로 나온 것이 칩렛(Chiplet)이다. 칩렛은 여러개 기능을 각자 최적화된 공정에서 생산하고 하나로 합치는 방식을 의미한다. 이를 활용하면 SoC 내 고성능으로 제작할 필요가 없는 아날로그 기능을 성숙 공정으로 제작할 수 있다. 그만큼 칩 크기는 커지지만, 단일 SoC 대비 높은 성능을 낮은 비용으로 제작할 수 있게 되는 것이다.

이미 이 기술은 상용화에서 진척을 이루고 있다. AMD가 지난해 12월 AI칩 'MI300X'를 칩렛으로 개발했고, 엔비디아 역시 차세대 AI칩 'B200'를 칩렛 구조로 내놨다.

장기적으로는 차세대 인터페이스 표준인 CXL이 본격화되면서 AI 반도체 시장의 주류로 떠오를 전망이다.

CXL는 프로세서와 장치 간 연결하는 방식에 대한 규약(Protocal)이다. 메모리 물리적 한계 극복·용량 확장(Pooliing)을 비롯, 장치 간 데이터 통신 지연을 없애고 정보를 공유해 처리 성능을 혁신하는 것이 핵심이다. 현재는 메모리 용량을 유휴 영역 없이 사용하는 단계인 CXL 2.0 버전이 확대되고 있으며, 차후에는 여러 장치 간 캐시 일관성(Coherence)을 갖춰 특정 프로세서 과부하를 없앤 3.0, 3.1 버전이 적용될 전망이다.

반도체 업계는 CXL 도입 시 불필요하게 활용됐던 메모리 사용을 극대화하고, 고성능·고전력이 요구됐던 반도체 칩 성능도 일부 낮춰 비용을 절감할 수 있을 것으로 봤다. 현재 인텔이 CXL 2.0을 주도하며 관련 생태계를 넓히고 있으며, 국내 스타트업 파네시아 등이 CXL 3.0·3.1 저변 확대를 위한 솔루션을 내놓고 있다.

메모리 기업인 삼성전자와 SK하이닉스도 CXL 생태계 확장을 위한 CXL 메모리 모듈을 개발하고 있다. 삼성전자는 CXL 메모리 모듈(CMM-D)을 비롯해 D램과 낸드가 결합한 하이브리드 CXL 메모리 모듈(CMM-H), D램 컴퓨트(CMM-DC), 하이브리드 컴퓨트(CMM-HC) 등을 개발 중이다. SK하이닉스는 CXL 메모리 모듈(CMM-DDR5), 메모리 분리 시스템(CXL Disaggregated Memory Solution) 'Niagara 2.0' 등을 개발하고 있다.