[디지털데일리 오병훈기자] 인공지능(AI) 개발에 있어서 가장 중요한 것은 올바른 데이터를 학습시키는 것이다. 아무리 기업이 좋은 거대언어모델(LLM)을 가지고 있다고 하더라도, 기업 특징이나 주요 사업과 관계 없는 데이터를 학습시킨다면 아무런 효용성이 없는 셈이다.

이 때문에 기업에서는 기존 오픈소스 AI를 활용하더라도 기업에게 맞는 모델로 바꾸기 위해 파인튜닝 등 추가적인 작업을 진행해야 한다.

24일 유혁 한국레드햇 상무는 <디지털데일리>와 과학기술정보통신부, 정보통신산업진흥원이 주최 및 주관한 ‘오픈 테크넷 서밋2024’에서 ‘오픈소스를 통한 AI의 대중화 : 성공적인 생성형 AI 애플리케이션 구축 전략’을 주제로 발표하며 효과적인 AI 학습 플랫폼으로 레드햇의 ‘인스트럭트랩’을 소개했다.

“레드햇의 인스트럭트랩(Instruct Lab)은 AI 모델을 학습시키는 툴셋이다. IBM 리서치와 협력해서 공개한 그래닛(Granite)이라는 오픈 베이스 모델을 기반으로 하며, 이 인스트럭트랩은 커뮤니티 중심으로 거대언어모델(LLM) 개발이 진행된다”고 유혁 상무는 소개했다.

레드햇이 오픈소스화한 인스트럭트랩은, 인공지능(AI) 모델에 정재 및 합성된 데이터를 학습시키기 위한 도구다. 이용자는 각 단계별로 데이터 수집 및 증강, 필터링 과정을 거쳐 효율적인 LLM 학습이 가능하다.

먼저 1단계는 커뮤니티 상 데이터를 수집하는데서 시작한다. 이후 2단계에서 티처모델(Teacher Model) LLM은 추가된 데이터를 기반으로 데이터를 확장하고 필터링하는 과정을 거친다. 마지막 3단계에서는 2단계에서 생성된 데이터를 사용해 사전 학습된 LLM에 대해 두 단계 미세 조정을 수행, 새로운 지식과 기술을 습득한 LLM을 생성하는 방식이다.

유 상무는 이 같은 인스트럭랩 장점으로 파인튜닝 등에 들어가는 상당한 재원을 줄여 효율적인 개발 비용 운영이 가능하다는 점을 내세웠다. 유 상무는 “이러한 인스트럭트랩 중요 특성으로 AI 모델 대중화가 있다”며 “물론, 오픈된 커뮤니티 모델 뿐 아니라 개인적인 프라이빗 모델도 구축 가능하다”고 강조했다.

레드햇은 인스트럭트랩을 통한 체계적인 오픈소스 제공함으로써 지속적으로 AI 대중화를 위한 포트폴리오를 강화한다는 방침이다. 누구나 모델을 최적화할 수 있도록 LLM, 추가 학습이 가능한 데이터 추출을 위한 인스트럭트랩을 포함한 플랫폼으로 기업 상황에 맞는 대규모 언어 모델을 개발할 수 있는 환경을 제공하는 것이다.

유 상무는 “레드햇은 리눅스, 컨테이너, 쿠버네티스 생태계에 기여하는 것처럼 AI 시장에 있어서도 룰을 가지고 활동할 계획”이라며 “인스트럭트랩이라는 툴을 가지고 AI 오픈소스를 대중화하고 , 기업이 LLM 모델로 비즈니스의 가치를 높일 수 있도록 돕겠다”고 설명했다.