[디지털데일리 오병훈기자] AI 열풍 이후, 기업들은 앞다퉈 대형언어모델(LLM)을 자사 서비스에 적용시키기 위해 다양한 시도를 이어가는 중이다. 업무 효율성을 높이고, 대규모 데이터를 활용한 부가가치 창출이 가능할 것이란 기대감 때문이다.

다만, LLM이 실질적으로 기업에 이익이 되기 위해서는 몇몇 선결 조건들이 필요하다. LLM이 서비스에 적용되는 과정에서 산업별 특화 과정을 거치고, LLM이 개발 의도대로 안전하게 작동하는지 등을 살펴야 한다. 이에 따라 LLM 작동 상태를 모니터링 하고, 개선하는 LLM 서비스 분석 기술에도 관심이 집중되기 시작했다.

11일 AI업계에 따르면, 다수 AI 기업들은 LLM을 유지·개선하기 위한 다양한 서비스 분석 기술을 운영 중에 있다. LLM이 적용되는 서비스 사용자가 실제로 편의를 경험하고, 효율 증대를 느낄 수 있는 올바른 데이터가 작용됐는지, 의도를 벗어난 오류를 일으키지는 않는지 등을 살피기 위함이다.

먼저, 세일즈포스는 지난해 11월 자사 AI에이전트 ‘에이전트포스’를 모니터링할 수 있는 ‘에이전트포스 테스팅센터’를 새롭게 출시했다. 테스팅 센터는 AI 에이전트 라이프사이클을 관리하는 도구로, 이 도구를 활용해 기업은 AI 에이전트가 올바른 주제와 행동에 맞게 작동하는지 확인하고, 고객과 에이전트 간 다양한 상호작용을 테스트할 수 있다. 특히 AI 에이전트가 의도하지 않은 결과를 도출하는 경우, 테스트 데이터를 활용해 에이전트 지시사항을 조정해 올바른 행동을 하도록 개선할 수 있다.

세일즈포스는 실제 서비스 환경과 분리된 안전한 테스트 환경인 ‘샌드박스’도 함께 선보였다. 실제 서비스에 영향을 주지 않으면서도 에이전트포스의 다양한 기능을 자유롭게 테스트하고 검증할 수 있도록 지원한다는 취지다.

마이크로소프트(MS)도 지난해 11월 열린 ‘이그나이트2024'에서 AI 에이전트 생성 프로그램 '코파일럿 스튜디오'를 정식 출시했다. 코파일럿 스튜디오는 사용자가 직접 AI 에이전트를 개발하고 관리할 수 있도록 설계된 플랫폼으로, AI 에이전트 생성을 넘어서 성능 분석과 모니터링까지 통합 지원하는 것이 특징이다.

‘분석’ 탭에서는 핵심 성과 지표를 통해 코파일럿이 의도한 임무를 얼마나 효과적으로 수행하고 있는지 종합적으로 파악할 수 있으며, 개선이 필요한 분야도 빠르게 확인할 수 있다. ‘고객 만족’도 탭에서는 코파일럿 응답에 대한 사용자 만족·불만족 요인을 세부적으로 분석해준다.

국내 스타트업 중에서도 기업 LLM 서비스를 분석·평가하는 기업 간 거래(B2B) AI 기업들이 주목받고 있다. 먼저, AI 분석 솔루션 기업 콕스웨이브는 ‘얼라인 AI’을 선보였다. ‘생성형 AI 대화 서비스’ 품질을 분석·평가하는 것이 특징이다. 실시간 대화 데이터 모니터링을 통해 오류를 확인하는 동시에 서비스 개선도 돕는다. 제품 사용 과정에서 사용자와 AI 간 대화를 포함해 발생하는 모든 사용자 행동을 수집하고 복합적인 행동 데이터 분석을 지원한다.

콕스웨이브는 AI 제품 안전성 확보에도 집중한다. 사용자와 AI 대화 데이터를 분석해 잠재적 사고 예방을 위한 사전 관리 등 기술을 고도화하고 있다. 추후에는 텍스트 뿐만 아니라 이미지, 음성, 영상 등 멀티모달 데이터까지 분석해 관리 영역을 넓힐 계획이다.

종합 LLM 솔루션 기업 크라우드웍스는 맞춤형 LLM 개발과 AI 모델 성능 평가·검증 서비스를 제공한다. 특히 사내에 LLM 전문 평가를 위한 레드팀을 별도로 운영중이며, 다양한 공격 프롬프트 테스트와 일반 사용자 평가, 전문가 분석을 포함한 종합 보고서를 통해 LLM의 품질을 체계적으로 관리해준다.

또, 한국정보통신기술협회(TTA)가 주관하는 ‘생성형 AI 신뢰성 평가 프레임워크 개발’ 사업자로서 AI 안전성 강화를 위한 기술 개발에도 집중하고 있다. 맞춤형 AI 개발 노하우와 데이터 처리 기술을 기반으로, AI 안전성 평가 프레임워크 및 도구 개발과 평가용 데이터셋 구축 등을 추진할 계획이다.

한 AI 업계 관계자는 “LLM 시장이 성장하는 만큼, LLM의 안전 및 품질 관리를 위한 서비스 분석 기술 시장도 함께 확장될 수 있다고 본다”며 “AI 열풍이 잦아들고 업계 내 옥석 가리기가 시작되면서, LLM을 평가하고, 개선할 수 있는 기술 및 프로세스에 대한 관심도 높아지고 있다”고 말했다.