[디지털데일리 권하영기자] “오픈소스 생태계가 빨리 발전하지 않았다면 생성형 인공지능(AI)의 패러다임 전환은 불가능했다. 생성형 AI 혁신에 대한 열쇠는 오픈소스다.”

강민주 메가존클라우드 하이브리드&AI플랫폼센터장은 24일 서울 강남구 양재동 엘타워에서 <디지털데일리> 주최로 열린 ‘오픈 테크넷 서밋 2024’에서 이같이 강조했다.

강 센터장은 “실제 많은 솔루션들이 오픈소스를 기반으로 애플리케이션 서비스로 전환했던 사례들을 떠올리면, 생성형 AI 역시 오픈소스 없인 불가능했다”며 “오픈소스 진영의 개발 속도와 생태계에 참여하는 오픈소스 기여자들을 봤을 때, 생성형 AI를 통한 혁신이 충분히 가능성이 있다는 확신이 드는 시점”이라고 말했다.

그동안 생성형 AI 시장은 퍼블릭 클라우드서비스제공사(CSP)들이 주도하며 지속적인 발전을 해 왔다. 아마존웹서비스(AWS)와 마이크로소프트(MS), 구글 등 클라우드 3사가 제공하는 거대언어모델(LLM) 기반 AI 서비스를 통해 사용자들은 손쉽게 생성형 AI를 개발하고 배포하며 사용할 수가 있었다.

하지만 요즘 엔터프라이즈 영역에서는 퍼블릭보다도 프라이빗 또는 폐쇄형 AI로 변화하는 추세다. 제조·금융·의료 등 회사 내부 데이터의 외부 유출을 전적으로 차단해야 하는 기업들이라면, 보안 측면에서 퍼블릭 클라우드가 제공하는 AI 모델만 사용할 수가 없기 때문이다. LLM이 반드시 신뢰성과 정합성을 보장하지 않는다는 점도 문제다.

따라서 최근에는 오픈소스 LLM를 활용해 기업이 자체적으로 생성형 AI 모델을 개발하거나 오픈소스 기반 경량화LLM(sLLM)을 사용하는 경우가 늘고 있다. 파인튜닝(미세조정)이 필요하거나 민감한 데이터가 외부로 나가면 안되는 경우, 이렇게 오픈소스 모델을 자체 구축하고 사용하는 방식으로 진행될 것이라는 게 강 센터장의 예상이다.

강 센터장은 “사실 퍼블릭 모델도 파인튜닝 기능을 제공하긴 하지만 이런 모델들에 대해 자사 데이터로 파인튜닝을 하는 게 보안 측면에서 가능한지 확신이 잘 없다”며 “어쩔 수 없이 프라이빗 클라우드에서 진행하고 일부 민감하지 않은 데이터는 검색증강생성(RAG)을 적용해 생성형 AI를 활용하는 사례들이 생기고 있다”고 설명했다.

최근에는 개발자가 아니어도 AI 에이전트를 개발할 수 있는 솔루션들도 오픈소스로 계속 나오고 있다. LLM을 활용한 애플리케이션 개발에 특화된 오픈소스 프레임워크인 ‘랭체인(Langchain)’은 생성형 AI 생태계의 핵심 라이브러리로 꼽힌다.

강 센터장은 “생성형 AI 생태계가 확장하려면 범용을 넘어 특수 목적 LLM이 많이 나와야 하고, 실제로 AI가 단순히 답변만 하는 게 아니라 LLM과 사내 데이터로 검색하고 분석하는 행동들을 할 수 있는 AI 에이전트가 각광받고 있다”며 “이제는 랭체인으로 이러한 부분을 개발할 수 있는 환경이 됐다”고 언급했다.

이러한 흐름 속에서 LLM에 대한 운영관리 측면도 기업들의 고민사항 중 하나로 떠오르고 있다. 이에 메가존클라우드는 LLM운영(LLMOps) 솔루션인 ‘마틸다(Matilda)’를 통해 고객 환경에 맞는 다양한 LLM 모델 구축과 운영을 지원하고 있다. 강 센터장은 “기업 요구사항에 대한 머신러닝 컨설팅과 사용자 모델 최적화를 제공하면서 엔드투엔드 AI 통합 플랫폼을 고도화해 나가고 있다”고 밝혔다.

강 센터장은 “이제 엔터프라이즈의 모든 업무와 서비스가 생성형 AI를 중심으로 흘러가는 전환점이 됐고 그 밑바탕에 오픈소스가 큰 역할을 할 것”이라며 “생성형 AI와 함께하는 디지털전환의 모든 여정에 메가존클라우드가 함께하겠다”고 강조했다.