[디지털데일리 이종현기자] “인공지능(AI)의 흐름이 온디바이스로 갈 것이라는 것은 예측된 결과다. 대규모언어모델(LLM)의 한계를 감안할 때 복잡하지 않은 분야는 온디바이스로 갈 수밖에 없다. 스타트업들도 LLM보다는 경량형 AI를 학습시킬 수 있는 소형언어모델(sLLM)을 많이 개발하고 있다.”(플리토 이정수 대표)

정보기술(IT)‧가전박람회 CES2024에서 온디바이스(On-Device) AI가 핵심 화두로 떠올랐다. 일상에서 사용하는 자동차, TV, 청소기, 스피커 등에 AI가 도입된 사례들이 시연됐다. 언젠가 구현될 미래 모습이 아니라 지금 당장 실현 가능한 모습이라는 점이 전 세계인들의 이목을 집중시켰다.

특히, 온디바이스 AI는 ‘챗GPT’와 같은 LLM을 기반으로 하는 AI와는 작동 방식이 다르다. 큰 규모의 AI는 클라우드를 통해 원격지에 있는 데이터센터 등 컴퓨팅자원을 바탕으로 연산한 뒤 결과 값을 받지만 온디바이스 AI는 서버와 연결 없이 디바이스(단말)에서 AI 연산을 처리하는 것이 특징이다.

이것이 가능한 것은 그래픽처리장치(GPU)나 신경망처리장치(NPU)와 같이 AI를 위한 가속기가 각 제품에 탑재됐기 때문이다. 그러나 디바이스에 탑재되는 가속기에는 한계가 있다. 큰 AI 모델을 운용하려면 더 좋은 성능의 가속기가 필요한데 이 경우 ‘배보다 배꼽이 큰’ 상황이 연출될 수 있다. 그렇기에 저사양에서도 특정 목적을 수행할 수 있도록 하는 소형 AI 모델이 활용될 수밖에 없다.

언어 데이터 및 번역 서비스를 제공하고 있는 AI 스타트업 플리토의 이정수 대표는 <디지털데일리>와의 통화에서 “작년 LLM이 나왔을 때부터 앞으로 AI 적용은 대형화가 아니라 소형화, 특화되는 방향으로 갈 것으로 예상됐다”고 말했다.

그는 이번 CES가 국내 AI 기업들에게 기회로 작용할 수 있다고 내다봤다. 가전제품 등을 출시하는 기업들이 킬러 콘텐츠로 AI를 강조하는 만큼 해당 기기에 기술을 제공할 수 있는 기회 역시 늘어날 것이라는 기대다. 전 세계에서 사람들이 모이는 CES는 언어의 장벽을 무너뜨리는 이런 기술을 선보이기 좋은 장소다.

이 대표는 “통화 내용이나 영상 속 언어를 한글로 번역해주는 건 스마트폰이나 TV에서는 1%도 안 될 것”이라며 “그런데 이걸 전면으로 내세우는 이유는 이것만큼 사람들의 호기심을 끌 것이 없기 때문”이라고 분석했다.

다른 기업과의 협력보다는 독자생존에 집중해왔다는 평가를 받은 대기업들도 변화하는 추세다. SK텔레콤은 통화를 텍스트화하고 요약하는 등의 기능을 탑재한 AI 서비스 ‘에이닷’을 선보였는데, 에이닷의 AI는 오픈AI의 GPT-3.5를 기반으로 한다. 이용할 것은 이용하면서 차별화된 경쟁력을 가져가겠다는 전략으로 풀이되는데, 이런 기조 변화는 sLLM을 개발하는 국내 AI 스타트업에게 기회가 될 수 있다.

이 대표는 “음성인식을 잘하는 A 기업, 번역을 잘하는 B 기업, 데이터를 잘하는 C 기업. 이런 A, B, C 기업의 기술을 조합해 새로운 D라는 서비스를 내놓는 것인 현재의 트렌드”라며 “스타트업은 언제나 위기였지만 지금은 자기만의 무언가를 만드는 것이 중요한 시점이 됐다”라고 피력했다.