[IT전문 미디어 블로그=딜라이트닷넷]

오픈AI 대화형 인공지능(AI) ‘챗GPT’가 촉발한 생성형 AI 경쟁은 대규모언어모델(LLM)에 대한 관심으로 이어졌다. 정보기술(IT) 업계뿐만 아니라 산업계 전반에서 LLM을 연구하는 등 ‘LLM 열풍’이 본격화했다.

LLM이 AI 업계 화두로 떠오르며 성장‧발전을 더해가는 속도는 기하급수적이다. 새로운 산업이나 기술 등장부터 성숙기까지 도달하는데 걸리는 시간 대비 품질 상승 그래프가 매우 가파르다는 것이 AI 전문가들의 공통된 평가다.

◆국내‧외 빅테크 기업 AI 시장 경쟁 본격화… 기술 고도화 및 차별화에 방점

2023년은 국내외 빅테크 기업들이 사활을 걸고 LLM을 개발 및 공개하며 서비스 상용화를 빠르게 추진하는 시기였다. 오픈 AI는 GPT-3(2020년)을 대화형 인터페이스로 고도화하고 지시 이행성을 높인 3.5 및 챗GPT를 2022년 11월 출시하며 전세계에 충격을 줬다.

그리고 2023년 3월에는 텍스트뿐만 아니라 이미지 정보를 이해하고 생성할 수 있는 멀티모달 모델인 GPT-4를 공개했다. 이어서 멀티모달 성능을 강화한 GPT-4V(이미지분석), GPT-4 터보(처리량 증가)를 연달아 선보이며 기술 고도화에 박차를 가했다.

앤스로픽(Anthropic)도 책 한 권의 분량에 해당하는 약 7만5000개 단어를 입력할 수 있는 생성형 AI ‘클로드2(Claude 2)’를 출시했다. 구글도 이에 지지 않고 지난해 말 최신 대규모 언어 모델(LLM) ‘제미나이(Gemini)’를 공개하면서 구글 AI 챗봇인 ‘바드(Bard)’에 탑재했다.

국내 기업도 외산 LLM에 대항해 한국어 데이터와 거대한 매개변수(파라미터)를 무기로 한 LLM을 내놓았다. 네이버는 지난 2021년 자체 개발한 국내 최초 초대규모 AI인 ‘하이퍼클로바’를 공개한 뒤 2023년 8월에는 이를 더욱 고도화한 '하이퍼클로바X'를 출시했다. 하이퍼클로바X는 하이퍼클로바의 업그레이드 버전이자 한국어에 최적화된 LLM이다.

이밖에 KT의 초거대 AI ‘믿음(Mi:dm)’, LG ’엑사원(EXAONE)’ 등 내로라하는 대기업들도 LLM을 선보이며 외산AI 대항에 나섰다.

◆sLLM도 등장… 메타, MS 비롯해 국내 스타트업들도 참전

이와 함께 다양한 sLLM(소형거대언어모델)도 등장하며 각축전을 벌였다. sLLM은 LLM에 비해 매개변수를 줄여 학습을 위한 비용 및 시간 절감이 가능한 것이 특징이다. 보다 빠르게 미세조정(파인튜닝)을 해 정확도를 높일 수 있는 데다 특정 분야 및 기업에서 기존에 보유한 데이터를 활용해 할루시네이션(환각) 현상을 줄일 수 있어 각광받는다.

sLLM 개발의 선두주자로 나선 것은 메타(구 페이스북)다. 메타는 작년 초 LLM ‘라마(LLaMA)’를 공개했다. 해당 모델은 GPT-3의 1750억개 매개변수와 비교할 때 상대적으로 적은 약 700억개 매개변수를 가지고 있다. 적은 파라미터 수를 통해 더 유연한 파인튜닝이 가능하고 비용 효율적인 점에서 주목을 받았다.

스탠포드대학은 메타의 라마를 기반으로 한 sLLM인 ‘알파카(Alpaca)’를 개발했다. 알파카는 라마의 기존 700억개 파라미터를 유지하면서, 여기에 추가적으로 5만2000여개의 파라미터를 더한 방식이다. 알파카는 개발 비용이 600달러에 불과하다는 점이 눈길을 끌었다.

마이크로소프트(MS)도 오픈AI LLM 의존력을 줄이고 경쟁력을 확보하기 위해 27억개 매개변수로 구성된 강력한 성능의 sLLM ‘파이2(Phi-2)’를 작년 말 공식 블로그를 통해 선보였다. 파이2는 경량화된 모델로 노트북이나 모바일 기기에서도 구동이 가능하다. MS는 오픈AI GPT-4나 메타의 라마2보다 적은 규모와 컴퓨팅 파워를 필요로 하면서도 높은 성능을 제공한다고 강조했다.

이후 다양한 sLLM이 공개되며 전세계적으로 sLLM 시장이 팽창하기 시작했다. 특히 우수한 기술력을 보유한 국내 스타트업들도 sLLM을 공개했다.

이는 오픈소스 생성 AI 모델의 바로미터로 꼽히는 허깅페이스의 ‘오픈 LLM 리더보드’ 역할이 컸다. 리더보드 순위경쟁에 참여하기 위해서는 모델을 오픈소스로 공개해야 하기 때문에 유수의 LLM 역시 오픈소스로 공개됐고, 여러 기업들이 이를 학습해보며 자체적인 sLLM을 개발할 수 있게 됐다.

이렇게 공개된 오픈소스들 덕분에 스타트업들은 다양한 실험과 학습, 그리고 개발을 통해 sLLM을 만들 수 있게 됐다. 예시로 국내에서는 스켈터랩스의 ‘BELLA LLM’, 포티투마루 ’LLM42’ 등이 공개되거나 고도화를 예고하기도 했다. LLM 활용 니즈가 있지만 현실적인 비용 문제 등으로 도입을 고민하던 기업들의 선택지를 넓힌 한 해가 됐다.

◆LLM의 ‘할루시네이션’ 문제와 해결 방안으로 각광받는 ‘파인튜닝’, ‘검색증강생성’

LLM과 sLLM은 모르는 부분도 그럴싸하게 포장해 오답을 내놓는 ‘할루시네이션(환각)’이라는 고질적인 문제를 갖고 있다. 할루시네이션은 인간과 AI가 신뢰 관계로 나아가기 위해서 반드시 해결해야 할 현상이다.

업계에서 현재 할루시네이션을 줄이기 위해 사용되는 기술은 크게 ‘파인튜닝’과 ‘검색증강생성(RAG)’이 있다. 파인튜닝은 특정 도메인에 LLM이 접목될 경우 높은 답변 적합성을 위해 기존 LLM에 특정 데이터셋을 활용해 미세조정하는 작업을 의미한다. 다만 파인튜닝은 최신성과 적합성을 제고할 수는 있으나, 데이터 용량 증가에 따른 높은 비용과 지속적인 업데이트의 어려움이 수반된다.

반면 RAG는 파인튜닝에 이어 전 세계적으로 주목받는 기술군으로 파인튜닝에 활용한 특정 데이터셋보다 보안성이 높고 최신의 데이터를 답변 생성에 사용한다. 답변 생성 시 자체 데이터를 활용해 답변이 적합한지 확인하고 사용자에게 보여주는 피드백 과정이 추가돼 할루시네이션 방지에 더욱 유리하다. 모델이 사람의 언어를 이해하고 답변을 위한 검색을 하는 과정에서 기존 키워드 검색 방식과 문맥과 의미를 중요하게 생각하는 시맨틱 검색 방식의 혼합형인 하이브리드 검색 방식이 가능하기 때문이다.

최근 국내에서도 RAG를 활용해 LLM의 할루시네이션 현상을 줄이려는 움직임이 생겨났다. AI 스타트업인 스켈터랩스의 경우 RAG 기술을 적용한 제품을 출시해 실제 사용 사례까지 성공적으로 구축한 상태다.

◆2024년 생성형AI‧LLM 시장 전망은?

이처럼 지난해가 생성형 AI의 근간이 되는 다양한 LLM이 공개되고 또 고도화를 거듭한 한 해라면, 올해는 ‘AI 실용주의라는 키워드가 더욱 부각되는 한 해가 될 것으로 점쳐진다.

대화형 AI 기술 기업 스켈터랩스는 “2020년에는 GPT를 비롯한 LLM 개발의 서막이 오르고 2023년은 LLM의 다양화 및 고도화, 생성형 AI 출시 및 서비스 도입이 시작된 한 해라면, 2024년은 생성형AI 서비스가 산업 전반은 물론 실생활에서 본격적으로 널리 활용되는 시대가 열리게 될 것”이라 전망했다.

또 “할루시네이션을 줄이는 RAG, 사용자의 편리함을 더욱 끌어올리는 자율 AI 에이전트 기술을 LLM에 접합하는 것이 업계의 주요 과제가 될 것으로 보인다. 올해는 AI 실용주의에 입각해 다양한 도메인 접목과 활용이 더욱 활성화되고 이에 다양한 실증사례를 확보한 기업이 더욱 주목받을 것”이라고 부연했다.