[디지털데일리 김문기 기자] 퀄컴, 차세대 PC 및 스마트폰, 소프트웨어 중심 자동차(SDV), 확장 현실(XR) 기기, IoT 등 다양한 온디바이스 AI 의 상용화 확대로 어디서나 사용할 수 있는 지능형 컴퓨팅을 구현한다. 이를 위해 퀄컴 AI 허브를 강화한다. 스냅드래곤 및 퀄컴 플랫폼에 75개 이상의 최적화된 AI 모델을 제공해 개발자의 제품 개발 소요 시간을 단축하고 애플리케이션에서 온디바이스 AI 장점 극대화하기 위함이다.

퀄컴(대표 크리스티아노 아몬)은 26일(현지시간) 스페인 바르셀로나에서 열린 모바일월드콩그레스(MWC) 2024에서 인공 지능(AI)의 최신 발전상을 공개했다.

최신 퀄컴 AI 허브에서부터 획기적인 연구 결과와 AI 기반 상용 단말기 전시까지, 퀄컴은 스냅드래곤 및 퀄컴 플랫폼으로 구동되는 다양한 기기를 통해 개발자의 역량을 극대화한다.

두르가 말라디 퀄컴 수석 부사장 겸 기술 기획·엣지 솔루션 부문 본부장은 “퀄컴은 스마트폰용 스냅드래곤 8 3세대와 PC용 스냅드래곤 X 엘리트를 기반으로 온디바이스 AI의 대대적인 상용화를 촉발했다”라며, “앞으로 개발자들은 퀄컴 AI 허브를 통해 첨단 기술의 잠재력을 온전히 활용하고 AI 기반의 매력적인 응용 프로그램을 만들 수 있게 될 것”이라고 말했다.

이어, “퀄컴 AI 허브는 개발자들로 하여금 사전에 최적화된 AI 모델을 응용 프로그램에 빠르고 쉽게 통합할 수 있도록 종합적인 AI 모델 라이브러리를 제공한다”며, “이는 더욱 신속하고 신뢰도 높은 개인적인 사용자 경험으로 이어질 것”이라고 강조했다.

‘퀄컴 AI 허브’, 온디바이스 AI 개발자 게이트웨이

새로운 퀄컴 AI 허브는 사전에 최적화된 AI 모델 라이브러리를 포함해 스냅드래곤 및 퀄컴 플랫폼으로 구동되는 기기의 끊김없는 구현을 지원한다.

이 라이브러리는 개발자에게 위스퍼(Whisper), 컨트롤넷(ControlNet), 스테이블 디퓨전(Stable Diffusion), 바이추안 7B(Baichuan 7B) 등 75여 가지의 인기 있는 AI 및 생성형 AI 모델을 제공한다. 이 모델들은 다양한 폼팩터 및 런타임 환경에서 메모리를 적게 사용하면서도 탁월한 온 디바이스 AI 성능과 높은 전력 효율을 발휘할 수 있도록 최적화되어 있는 것이 특징이다.

아울러 각 모델은 NPU, CPU 및 GPU 등 퀄컴 AI 엔진의 모든 코어에서 하드웨어 가속화를 최대한 활용할 수 있도록 최적화돼 4배 가량 빠른 추론 속도가 가능하다. AI 모델 라이브러리는 또한 소스 프레임워크에서 인기 있는 런타임으로 모델을 자동 변환하며, 퀄컴 AI 엔진 다이렉트 SDK와 직접 연동돼 하드웨어를 고려한 최적화를 실행한다.

개발자는 이러한 모델을 응용 프로그램에 끊김없이 원활히 통합해 상품 개발 기간을 단축하고, 즉각성, 신뢰성, 개인 정보 보호, 개인화, 비용 절감과 같은 온 디바이스 AI의 장점을 누릴 수 있다는 게 퀄컴의 설명이다.

최적화된 모델은 현재 퀄컴 AI 허브, 깃허브(GitHub) 및 허깅 페이스(Hugging Face)에서 이용할 수 있다. 향후 신규 모델들이 퀄컴 AI 허브에 지속적으로 추가될 예정이다. 새로운 플랫폼과 운영체제도 지원된다. 개발자들은 가입을 통해 퀄컴 플랫폼 기반 클라우드 호스팅 기기에서 모델을 직접 실행할 수 있다.

온 디바이스 생성형 AI 한계…’LoRA’로 정면돌파

퀄컴 AI 리서치는 안드로이드 스마트폰에서 최초로 대형 언어 및 비전 비서(LLaVA)를 실현한다. 이 모델은 70억 개 이상의 매개 변수를 보유한 대형 멀티모달 모델(LMM)로 텍스트와 이미지 등 여러 유형의 데이터 입력이 가능하고, AI 비서와 이미지에 대한 멀티턴 대화를 생성할 수 있다.

또한 기기 자체에서 LMM이 반응형 토큰 속도로 실행되므로 개인 정보 보호 및 개인화 기능, 신뢰성이 강화되고, 비용은 절감된다. 언어 및 시각적 이해 능력을 갖춘 LMM은 복잡한 시각적 패턴과 물체, 장면을 식별 및 논의하는 등 다양한 사용 사례를 구현할 수 있다.

다만, 클라우드와 네트워크 지원없이 디바이스 내에서 구현되는 생성형 AI는 언어모델의 크기와 전력 및 폼팩터 제한으로 인한 한계가 있다. 이에 대한 해답으로 퀄컴 AI 리서치는 안드로이드 스마트폰에서 처음으로 LoRA(Low Rank Adaptation) 기술을 선보인다. LoRA 기반으로 실행되는 스테이블 디퓨전을 통해 개인 또는 예술적 취향에 따라 고품질의 맞춤 이미지를 생성할 수 있다.

LoRA는 AI 모델이 학습하는 매개 변수의 숫자를 줄여 온디바이스 생성형 AI 사용 사례의 효율성과 확장성, 맞춤화 정도를 향상시키는 방식이다. 각기 다른 예술적 양식에 따라 언어 비전 모델들을(LVMs) 미세 조정할 뿐만 아니라, 대형 언어 모델(LLM)과 같이 상황에 맞추어 AI 모델에 폭넓게 적용된다. 맞춤형 개인 비서 기능과 향상된 언어 번역 등을 제공할 수 있도록 돕는다.

퀄컴 AI 리서치는 텍스트 및 오디오로 데이터 입력이 가능하며, 해당 오디오에 대한 멀티턴 대화를 생성할 수 있는 매개 변수 70억 개 이상의 LMM을 세계 최초로 마이크로소프트(MS) 윈도 PC에서 온 디바이스로 구현할 수 있다.

‘생성형 AI’ 기기 가리지 않는다

해당 부스에 퀄컴은 스냅드래곤 8 3세대 모바일 플랫폼으로 구동되는 주요 플래그십 AI 스마트폰을 배치했다. 대체적으로 중국 제조사 제품이다. 아너 매직6 프로, 오포 X7 울트라, 샤오미 14 프로 등으로 채웠다. 샤오미는 AI 생성 이미지 확장 기능, 아너는 AI 기반 동영상 제작 및 캘린더 생성 기능, 오포는 이미지 내 객체 삭제 기능과 같은 새로운 AI 기능을 탑재하고 있다.

PC는 곧 상용화될 것으로 기대되는 ‘스냅드래곤X 엘리트’ 레퍼런스 모델이 배치됐다. 45 TOPS NPU가 탑재된 칩으로 온 디바이스 AI를 위해 개발됐다. 퀄컴은 스테이블 디퓨전 플러그인을 사용한 유명한 무료 이미지 편집기 GIMP를 통해 생성형 AI가 7초 안에 원하는 이미지를 생성하는 모습을 보여준다. 이는 경쟁사 제품인 x86보다 3배 빠른 속도라는게 퀄컴의 설명이다.

한쪽에는 CES에서도 선보인 바 있는 디지털 콕핏이 마련돼 있다. 퀄컴이 보유하고 있는 AI 하드웨어 및 소프트웨어 솔루션을 통해 운전자 및 탑승자의 안전하고 개인화된 경험을 제공하기 위해 스냅드래곤 디지털 섀시 플랫폼에서 일반 AI 및 생성형 AI 기능을 선보인다.

스냅드래곤 플랫폼상에서 실행되는 휴메인의 AI 핀은 사용자가 어디서나 AI를 사용할 수 있도록 최신 대화형 스크린리스 폼팩터를 채택한 제품이다.

최신 스냅드래곤 X80 모뎀-RF 시스템은 2세대 5G AI 프로세서를 통합해 셀룰러 성능, 커버리지, 지연 시간 및 전력 효율을 강화했다. 퀄컴 패스트커넥트 7900 모바일 커넥티비티 시스템은 AI에 최적화된 최초의 와이파이 7 시스템으로, AI를 활용해 적응성, 고성능, 저지연, 저전력 로컬 무선 연결의 기준을 새롭게 제시한다.

퀄컴은 무선접속망(RAN) 엔지니어의 네트워크 및 슬라이스 관리 작업을 간단하게 해주는 생성형 AI 비서 및 네트워크 에너지 소비를 줄이는 AI 기반 개방형 RAN 애플리케이션(rApp), AI 기반 5G 네트워크 슬라이스 생애 주기 관리 제품군 등, AI로 강화된 네트워크 관리 기능도 소개했다.