AI

[MS AI 서울] AI 기술 인사이트 제시…“한국어 토큰 점차 절감”

이안나 기자
스콧 한셀만 마이크로소프트 개발자 커뮤니티 부사장
스콧 한셀만 마이크로소프트 개발자 커뮤니티 부사장

[디지털데일리 이안나기자] 마이크로소프트(MS)가 인공지능(AI) 기술을 활용한 기존 업무 한계 극복 방법을 제시했다. 고도화되는 AI 어시스턴트 ‘코파일럿’을 활용해 업무 생산성 향상은 물론, 창의적 도구 역할도 강조했다. 특히 MS는 한국어 학습량을 늘려가며 문장에 도입되는 토큰을 계속 줄이고 있다.

30일 MS에 따르면 스콧 한셀만(Scott Hanselman) MS 개발자 커뮤니티 부사장은 이번 행사 참석을 위해 한국을 방문했다. 기조연설자로 나선 그는 업계 리더들이 전하는 인사이트를 공유하고 데모 시연을 통해 개발자 커뮤니티 최전선에서 활용되고 있는 AI 도구와 전략을 집중 조명했다.

스콧 한셀만 부사장은 “AI 기술은 단순한 기술적 도구를 넘어서 조직 내 협업을 강화하고 혁신적 사고를 촉진해 비즈니스 성과를 극대화하는 중요한 역할을 하고 있다”며 “전 세계 개발자들이 MS 생성형 AI와 로우코드 도구를 사용해 기술적 한계를 극복하고 있으며, 어떤 배경을 가진 개발자든 자신만의 아이디어를 실현할 수 있는 AI 앱을 개발할 수 있다”고 전했다.

주목할 건 MS가 코파일럿 성능 고도화를 위해 한국어 학습을 지속하며 토큰을 줄여가고 있다는 점이다. 토큰은 AI에서 쓰이는 언어 가장 작은 단위다. 아직까진 같은 의미를 담은 문장이라 할지라도 AI 학습 데이터가 충분한 영어 문장엔 적은 토큰이 부여되고, 학습 데이터가 충분치 않은 한국어는 영어대비 더 많은 토큰이 부여되고 있다.

MS에 따르면 한국어는 영어에 비해 평균 2.36배 많은 토큰을 활용한다. 문제는 일반적으로 대규모언어모델(LLM) 기반 생성형 AI는 토큰 당 비용(이용료)으로 과금을 하게 된다는 점이다. 높아지는 비용과 입력 제한 등으로 국내 IT 기업 및 개발자들이 토큰 수에 대한 고민을 많이 한다.

다만 MS는 한국어 토큰 활용을 점차 개선하고 있다고 전했다. 가령 작년 GPT-3 기준 75개 가량 토큰이 활용되던 한국어 문장은 현재 30개 정도로 줄었다. 오픈AI 모델에서 한국어를 사용할 때 성능과 개선 향상을 느낄 수 있도록 지속 연구하고 있다는 설명이다.

오픈AI 모델에서 영어 대비 각 언어별 토큰 활용률
오픈AI 모델에서 영어 대비 각 언어별 토큰 활용률

MS AI 기술을 활용해 혁신적 AI 솔루션을 선보인 국내 기업 성공 사례도 공개됐다. LG전자와 SK이노베이션은 애저 오픈AI 서비스를 통해 사용자 요구를 충족하는 신뢰할 수 있는 앱을 개발, 국내 AI 트렌스포메이션의 변화를 주도하고 있다.

한셀만 부사장은 개발자 생산성을 높일 수 있는 다양한 AI 도구와 플랫폼도 소개하면서도, ‘신뢰할 수 있는 AI’에 대한 중요성도 강조했다. 그는 “중요한 건 LLM은 기본적으로 데이터베이스(DB)가 아닌 통계학적 모델이라는 것”이라며 “사적인(프라이빗) 데이터는 AI 훈련에 사용이 안 되고 이미 나온 데이터를 기반으로 쿼리를 날리는 것”이라고 설명했다.

MS AI 기술을 활용한 혁신적인 AI 솔루션을 선보인 국내 기업들의 성공 사례도 공개됐다. 특히 LG전자와 SK이노베이션은 애저 오픈AI 서비스(Azure OpenAI Service)를 통해 사용자 요구를 충족하는 신뢰할 수 있는 앱을 개발, 국내 AI 트렌스포메이션의 변화를 주도하고 있다.

개발자 생산성을 높일 수 있는 다양한 AI 도구와 플랫폼도 소개했다. 한셀만 부사장은 깃허브 코파일럿과 MS 코파일럿 스튜디오 시연을 통해 기술들이 실제 업무 환경에 어떻게 적용될 수 있는지 설명했다.

한셀만 부사장은 “MS는 코파일럿을 이용해 사용자들이 도움을 받길 원하고, 코파일럿을 이용하면서 불편한 느낌을 받지 않길 바란다”고 덧붙였다.

이안나 기자
anna@ddaily.co.kr
기자의 전체기사 보기 기자의 전체기사 보기
디지털데일리가 직접 편집한 뉴스 채널