[디지털데일리 채성오기자] "SK텔레콤은 AI 시장최선도 업체들과 협력 중인 한편 텔코 특화 LLM을 통해 글로벌 AI 기업들과 협업하고 있습니다. 텔코 LLM을 통해 AI 에이전트 분야에서 활용할 수 있는 서비스를 올 상반기 중 공개하는 것이 목표입니다."

이는 지난 2월 조상혁 SK텔레콤 AI전략제휴담당이 실적발표 컨퍼런스 콜 당시 밝힌 목표다. 당시에는 SK텔레콤이 E&, 도이치텔레콤, 싱텔 등과 협력한 '글로벌 텔코 AI 얼라이언스(GTAA)'에 기반한 것이었지만, 텔코LLM(통신향 거대언어모델)을 상용화해 AI 에이전트 분야에서 우위를 점하겠다는 목표는 변함없이 지속되는 모습이다.

실제로 SK텔레콤은 텔코LLM에 대한 개발을 가속화하며 별도 텔코LLM 개발에 집중했다. 이는 통신 관련 데이터만 학습시키는 '파인튜닝(미세조정)' 방식으로 구축한 LLM으로, GPT 같은 범용LLM보다 더 전문적이며 효율성이 높다는 강점이 있다.

SK텔레콤은 텔코LLM을 개발하기 위해 지난해부터 생성형 AI 기업인 앤트로픽과 오픈AI 등에 투자를 단행하는 등 외부 파트너십을 강화한 바 있다. 이를 통해 SK텔레콤은 ▲자체 AI 기술 기반 '에이닷엑스 LLM' ▲오픈AI의 GPT-4 버전 LLM ▲앤트로픽의 클로드 버전 LLM 등 3종의 텔코LLM 개발에 집중했고, 오는 6월까지 고도화된 텔코LLM을 선보이겠다는 목표를 제시했다.

◆파인튜닝 거친 텔코LLM…멀티 전략으로 시너지

범용 LLM은 통신사 번호이동 방법 및 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.

예를 들어 이용자가 '저에게 맞는 로밍 요금제를 추천해 주세요'라는 질문을 한다면 범용LLM은 단순히 로밍혜택이나 종류를 나열해주지만, 텔코LLM의 경우 고객의 사용이력과 상황에 맞는 적합한 상품을 추천해주는 형태다.

생성·피드백 데이터 등 텔코 데이터와 도메인 지식을 학습한 일종의 커스텀LLM인 만큼 해당 모델을 통해 상담사 보조, C/S인사이트, 고객 셀프서비스 봇, 세일즈·마케팅 봇, 상담사 코칭 등 필요한 부분에 활용할 수 있다.

특히 SK텔레콤은 ▲자체 AI 기반 에이닷엑스(A.X) LLM ▲오픈AI의 GPT-4 버전 LLM ▲앤트로픽의 클로드 버전 LLM 등 멀티(다중) LLM을 지원해 파인튜닝 정도에 따라 각 업무 수행 능력에 맞게 활용도를 높인 것이 특징이다.

이를 실무에서 활용할 경우, 업무시간 등을 대폭 단축시킬 수 있다. 현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에만 3분 이상이 소요되는 상황에서 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시킬 수 있다.

에릭 데이비스 SKT AI 테크 콜라보레이션 담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 말했다.

LLM의 변수로 꼽히는 할루시네이션(환각률)에 대해서는 개발 완료시점인 오는 6월까지 내부 평가기준을 충족하는 형태로 보완한다는 계획이다. 할루시네이션은 챗GPT 같은 AI 솔루션 상에서 잘못된 정보를 생성한다는 뜻으로, 상용화된 범용LLM에서도 지적사항을 꼽힌다.

정민영 SK텔레콤 AI플랫폼 담당은 "내부적으로 평가 기준이 있는데 일정 수준을 이상 돼야 출시를 할 수 있다고 판단한다"며 "몇몇 태스크에서는 충족 기준을 넘었고, 나머지 분야에서도 시간이 넉넉히 남아있는 만큼 관련 기준을 달성할 것이라 예상한다"고 말했다.

◆인텔리전스 플랫폼, 활용 사례 확대로 고도화

SK텔레콤은 생성형 AI 애플리케이션(앱)을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 인텔리전스 플랫폼은 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG)을 아우르는 아우르는 '기업용 AI 개발·운용 패키지'다.

인텔리전스 플랫폼을 활용하면 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트, 인프라 어시스턴트, 사내 업무 혁신 등 다양한 서비스 분야에서 업무 효율성을 높일 수 있다고 SK텔레콤은 설명했다. 이는 단일 LLM에 의존하지 않는 인텔리전스 플랫폼의 특징 때문이다. SK텔레콤은 범용LLM이 성능에 비례해 추론 비용이 높고 특정 영역에 대한 이해도가 낮다는 점에 착안해 통신업에 특화된 멀티LLM을 기반으로 한 플랫폼을 개발했다.

현재 인텔리전스 플랫폼을 A.(에이닷) 등 서비스 등에 적용하고 있는 SK텔레콤은 적용 사례를 지속 확대해 기술을 고도화할 예정이다. 다양한 적용 사례를 확보해 인텔리전스 플랫폼 활용도를 넓힌다는 계획이다.

정민영 SK텔레콤 AI플랫폼 담당은 "인텔리전스 플랫폼의 다양한 활용 사례를 찾고 있다"며 "사내 시스템에 축적된 지식·정보를 활용해 업무 효율성을 높일 수 있도록 더 정확한 검색 시스템을 구축한다거나 초안 생성, 시스템 모니터링 등 보다 다양한 유즈케이스(활용사례)를 찾아갈 계획"이라고 말했다.