[디지털데일리 김문기 기자] “(온 디바이스 생성형 AI를 통해) 장치를 다루는 방식이 완전히 바뀌었다.”

지아드 아즈가 (Ziad Asghar), 퀄컴 제품관리 수석 부사장은 25일(현지시간) 미국 와일레아 비치 리조트 메리어트에서 열린 ‘스냅드래곤 서밋 2023’에서 온 디바이스 AI를 실현하는 퀄컴 ‘스냅드래곤 스마트’ 솔루션과 관련해 사용자의 디바이스 접근방식을 완전히 바꿔 놓는다고 강조했다.

그는 “스냅드래곤 8 3세대를 통해 퀄컴은 새로운 패러다임을 제시한다”라며, “AI 음성 어시스턴트로 기존 키보드와 터치를 대체할 것”이라고 설명했다.

온 디바이스 AI는 데이터 프라이버시를 보존하면서도 탁월한 생성형 AI 성능을 이끌어낼 수 있다. 스냅드래곤 8 3세대는 최대 100억 파라미터를 지원 가능하다. 토큰 레이트가 핵심으로, 스냅드래곤 8 3세대는 최대 20 토큰 지원 가능하며 이는 업계 최고 수준이라는 게 퀄컴의 설명이다. 스테이블 디퓨전, 스냅드래곤에 최적화됐다.

아즈가 수석 부사장은 이를 데모를 통해 선보였다. AI 음성 비서를 활용해 미국 샌디에이고와 시애틀을 왕복하는 항공편 예약에 나섰다. 비서는 즉각 목적짂지의 여행계획을 도출해준다. 11월 28일부터 12월 10일까지라고 하자 또 다시 수정된 계획은 금새 보여준다. 티켓 2장과 함께 알래스카 항공을 선택하자 또 다시 세부적인 계획을 보여준다. 최종적으로 확인하자 여행 웹사이트로 진입해 옵션에 맞춰서 예약이 가능한 수준으로 찾아준다. 여기까지 도달하는데 1분도 채 걸리지 않았다.

그는 “AI는 단순히 텍스트란 구성되거나, 이미지로만 구성되는 것이 아닌 복합적인 결과물을 제공할 수 있어야 하며, 스냅드래곤 8 3세대에서 구현하는 AI는 이를 제공 가능하다”라며, “온디바이스 AI의 장점의 개인맞춤(personalized) 결과에 있으며, 클라우드 AI에 와는 이점이 차별화 포인트다”라고 설명했다.

한편, 파이토치 경영진은 퀄컴 AI 스택 지원을 발표했다. 개발자가 퀄컴 스냅드래곤8 3세대 내부의 AI 엔진인 헥사곤 NPU에 쉽게 접근할 수 있도록 도와준다. 신속하고 안정적인 확산 모델을 최적화하는 방법을 보여준다.