AI 대전환의 시대, 쏟아지는 이슈와 키워드 중 '꼭 알아야 할 것'과 '알아두면 좋은' 것을 구분하기란 쉽지 않습니다. 뜬구름 잡는 이야기도 많습니다. [real! AI Pro]는 이 고민을 현업 전문가들이 직접 선정한 주제와 인사이트를 담아 명쾌하게 정리해드립니다. <편집자주>

[디지털데일리 이건한 기자] 챗GPT를 비롯한 LLM(대형언어모델) 기반의 생성형 AI 서비스들이 널리 쓰이면서 '환각현상'은 이제 누구나 들어봤을 LLM의 단점으로 인식되고 있습니다. 환각은 AI가 잘못된 정보를 '아는 척', '사실인 척' 그럴 듯하게 꾸미는 현상인데요.

AI의 신뢰도를 낮추는 치명적 단점이지만, 사용자 질의(명령)에 어떤 결과물이든 만들어야 하는 생성형 AI 기술의 구조적 특성상 아예 답변하지 않는 것 외에 환각을 100% 막을 방법은 아직 없는 것으로 알려져 있습니다. 그러나 이 방법은 LLM이 답변 가능한 질문을 극히 제한하고 창발성을 통제하므로, 좋은 해법이라 보긴 어렵습니다.

[ⓒ DALL·E AI 생성 이미지]

이 가운데 올해 본격적으로 주목받기 시작한 RAG(검색증강생성, Retrieval-Augmented Generation)는 LLM 통제를 최소화하면서 환각 가능성도 낮출 수 있는 핵심 대안으로 꼽히는데요. 요즘 업계에선 'RAG 만능화'를 주의해야 한다는 목소리가 나옵니다. 초창기 LLM이 마치 뭐든 가능한 도깨비 방망이처럼 여겨졌지만 결국 한계가 드러났듯, RAG 또한 좋은 대안일 뿐 결코 만능일 수는 없다는 의미지요. 따라서 LLM과 마찬가지로 RAG를 활용하고 싶다면 먼저 RAG의 특성을 이해하고, 최적의 활용 환경을 구축하는 것이 중요하다고 말합니다.

이번 기사에서는 이 같은 RAG를 쉽게 이해하기 위한 실전 압축해설, 올바른 활용법에 대해 전성재 페르소나AI 생성형AI 담당 이사가 명쾌하게 설명해 드립니다. 전 이사는 생성형 AI와 데이터 페브릭, 의미 네트워크 및 경량화 기술을 이용해 초거대 AI의 한계를 극복하는 '지능형 온톨로지 생성 기술'을 연구 중인 페르소나AI의 테크 리더 겸 업계 전문가로 꼽힙니다.

[ⓒ 디지털데일리]

AI 게임체인저 LLM의 등장... 곧 드러난 한계

안녕하세요, 전성재입니다. 우선 RAG 도입의 필요성을 이해하기 위해, 잠시 LLM이 주목받았던 핵심 이유부터 설명하고자 합니다. AI 연구자들은 LLM의 주된 특징으로 자연스러운 자연어(일상 대화에 쓰이는 언어) 구사와 문장의 앞뒤 의미까지 파악 가능한 '맥락 이해' 능력을 꼽습니다.

LLM 이전에는 단순히 데이터의 특징을 학습해 카테고리를 분류하거나(개, 고양이 등) 예측할 수 있는 'Classification' 같은 기술이 널리 쓰였는데요. 여기서 한발 더 진보한 LLM은 사용자와 자연어 소통을 통해 비전문가도 AI를 훨씬 다루기 쉬워졌고, 명령에 따라 여러 창의적인 결과물 생성까지 가능해지며 훨씬 잠재력이 높은 기술로 평가받았습니다. 실제로 고성능 LLM 기반의 '챗GPT'가 출시 2년이 지난 지금도 공전의 히트를 이어가고 있는 이유 또한, 여전히 다양한 일상과 산업군에서의 활용처가 꾸준히 발굴되고 있기 때문입니다.

특히 복잡한 비즈니스 환경을 단순화하고, 기업이 보유한 자사 데이터를 이용해 생산성을 향상하고자 했던 기업들은 LLM과 같은 생성형 AI 대두에 더욱 큰 관심을 갖게 되었지요. 앞서 DT(디지털전환) 붐이 불었을 때부터 기업들은 이미 기존의 종이서류를 디지털화 하고, 조직 운영과 이익 창출을 위한 여러 의사 단계를 자동화하기 시작했습니다.

이 가운데 그들만의 노하우가 데이터로 축적되면서 기업은 소위 그들만의 '빅데이터'를 갖게 됐는데요. 문제는 이를 어떻게 효율적으로 활용하는가였습니다. 당시만 해도 빅데이터를 잘 사용하려면 전문가용 프로그래밍 언어나 검색 쿼리(Query, 질문공식)를 익히는 것뿐 아니라, 결과를 분석하고 공유하기 위한 여러 도구까지 추가로 익혀야 해서 활용까지의 접근 장벽이 높았는데요. 자연어 검색이 가능한 LLM은 이 장벽의 높이를 크게 낮춘 일등공신이라 할 만합니다.

하지만 LLM의 한계는 '사전학습(Pre-training)'이 끝난 데이터 처리에 특화된 점입니다. 앞부분에 언급된 LLM의 환각 부작용 또한 AI가 학습되지 않거나 잘못 학습된 데이터에서 답을 생성하려다 벌어지는 촌극인데요. 당연히 이를 보완할 또다른 기술이 필요했고, RAG가 주목받기 시작합니다.

RAG는 합법적인 '오픈북 시험' 기회를 제공한다

이에 지금부터 본격적으로 설명할 RAG는 흔히 '검색', '증강', '생성' 등 거창한 단어로 표현됩니다. 하지만 쉽게 말하면 '기존 검색 시스템과 LLM을 결합한 것'으로 표현할 수 있죠. 개발 목적 또한 주어진 빅데이터에서 필요한 정보를 쉽게 활용 가능한 양질의 형태로 바꾼 뒤, 사용자에게 보다 친근하게 제공하기 위해서였습니다.

실제로 RAG는 LLM에게 사람으로 치면 '오픈북 시험' 같은 기회를 제공합니다. 가령 LLM이 주어진 질문의 정답을 유추하기 위해 필요한 기업 내부 데이터베이스나 ERP(전사적자원관리) 같은 정보 시스템을 쉽게 참고할 수 있는 형태로 제공하는 거죠. 또한 RAG는 사용자가 프로그래밍 언어나 관련 도구를 익힐 필요가 없다는 점도 강력한 장점으로 꼽힙니다.

[ⓒ Pixabay]

이런 RAG의 도움이 없으면 아무리 다각적인 사전학습을 마친 LLM도 폐쇄된 기업의 내부 데이터를 학습하지 못하는 한계, 실시간으로 생성되는 최신 데이터는 처리할 수 없다는 한계에 부딪힙니다. 이는 챗GPT가 처음 등장했을 때 일반 사용자들과 달리 기업에서는 의외로 사용처가 꽤 제한적이었던 이유이기도 한데요. 즉, 쓰기 쉬우면서도 사전학습 LLM의 한계를 극복하고, 정확한 정보 제공과 활용을 돕는 점에서 RAG는 앞으로 '의료', '금융', '법률'과 같이 정보의 신뢰성이 보장되어야 사용 가능한 산업 도메인을 중심으로 점점 더 확산될 가능성이 높습니다.

'지피지기 백전백승', RAG의 구조부터 이해하자!

대신 RAG 또한 특징을 명확히 이해해야 도입에 실패할 확률을 낮출 수 있습니다. 앞에서 오픈북을 예로 들었는데, 오픈북도 기왕이면 정리가 잘 된 책을 봐야 제한된 시간 내에 가장 정확한 답을 빠르게 찾을 수 있는 것처럼 말입니다. 따라서 앞으로 우리의 목적은 '나쁜 오픈북'을 거를 눈을 기르는 것입니다.

우선 검색은 크게 '키워드 검색'과 '의미 검색'으로 구분됩니다. 현재 우리가 쓰는 대부분의 서비스는 키워드 검색입니다. 구글이나 네이버에서 '환율'처럼 특정 키워드를 입력하면 검색 알고리즘은 해당 키워드와 연관 키워드의 빈도수, 희귀성 등을 고려해 결과를 출력하죠. 꽤 효율적인 방식이지만 단점은 키워드 외 개념이나 문맥을 반영하지 못하고, 오타에도 취약하다는 겁니다. 이를 보완하는 기술이 바로 사용자의 검색 의도를 파악해 결과물을 제시하는 '의미 검색(Semantic Search)이며, RAG의 가치는 AI가 이 의미 검색을 얼마나 잘 하도록 돕는가에 있습니다.

자, 아주 잠시만 어려운 얘기를 할게요. RAG는 구조상 데이터를 고차원의 '밀집 벡터(Dense Vector)'로 포함하고, 그 결과를 '벡터 저장소(Vector DB)'에 저장합니다. 이 저장된 데이터 안에서 숫자로 변환된 벡터 간 유사성을 측정하는 방식으로 의미 검색을 지원하죠.

이때 벡터의 의미를 '단어'나 '문장'으로 생각해 봅시다. 이를 바탕으로 '기분 좋다'와 '기쁘다'는 키워드 검색에서는 다른 의미, 벡터 기반 의미검색에서는 같은 의미로 인식될 수 있습니다. 왜냐하면 밀집 벡터 안에는 '부자가 되어서 기분 좋다'와 '부자가 되어서 기쁘다'처럼 앞뒤 의미가 유사하게 포함된 데이터가 가까운 위치에 뭉쳐(밀집되어) 있기 때문입니다.

밀집 벡터의 형태를 형상화한 이미지. 크고 작은 연관 데이터가 잘 집약되어 있어야 한다. [ⓒ DALL·E AI 생성 이미지]

앞서 '잘 정리된 오픈북'이란 저장된 데이터가 유사도에 따라 잘 분류된 밀집 벡터와 같으며, 밀집 벡터가 곧 RAG의 성능을 좌우하는 핵심 요소입니다. 유사하고 연결성 높은 단어들끼리 벡터 공간 내에 가까이 위치하면, AI는 이를 근거로 복잡하거나 두루뭉술한 질문에서도 올바른 관계를 파악해 정확한 답을 낼 수 있게 되는 거지요.

앞서 RAG를 도입한 기업들이 그 품질에 실망했다면 해당 RAG의 밀집 벡터가 제대로 설계되지 않았을 확률이 높습니다. 또한 실제로 고품질 RAG를 설계하려면 최적의 밀집 벡터 구현을 위한 메타 데이터(Meta data, 데이터 속성을 설명하는 더 작은 단위의 데이터)를 포함, 복합적인 데이터 설계 노하우가 필수입니다. 이와 연결되는 생성형 AI를 비롯한 특화 모델 개발 기술도 함께 가지고 있어야 합니다.

이 밖에도 RAG 최적화를 위한 기술들은 지금도 계속 고도화되고 있는데요. 핵심은 정확한 의미 검색을 위한 쿼리와 색인 데이터 간 구조 최적화, 그리고 다양한 시나리오와 검색 패턴에 대응할 수 있는 기능 모듈화입니다. 모두 RAG의 몸집이 커질수록 발생하는 검색 속도 품질 저하를 비롯한 문제에 대응합니다. 동시에 RAG의 궁극적 목적인 '신뢰할 수 있는 데이터를 지속적인 데이터 확장과 최신화를 보장하며 제공하는 것'에 초점을 맞춘 개선 방향이라 할 수 있겠습니다.

LLM과 RAG는 이미 '영혼의 듀오'... 뗄 수 없어

이 점에서 2023년 이전부터 자체 개발 자연어처리 엔진이 탑재된 기계독해 솔루션 'KGPT'를 보유했던 저희 페르소나AI는 KGPT 고도화에 필수였던 RAG 기술 내재화를 일찍부터 이뤄냈다고 자부합니다. 실제로 지금도 각종 최신 RAG 아키텍처가 반영된 AI 에이전트 기반 RAG 시스템인 '젠 스테이션(GEN STATION)'으로 시장에서 좋은 평가를 받고 있는데요.

젠 스테이션은 다양한 수요자 요구를 충족하기 위해 전통적인 네이티브 RAG와 개선된 어드밴스드 RAG 아키텍처를 모두 지원합니다. 또한 프롬프트 압축', '재귀적 검색', '서브 쿼리' 등 고급 검색 기술을 지원하며, 데이터 특징에 따라 다양한 색인 구조 최적화를 위한 도메인 특화 sLLM이 포함된 것도 특징입니다.

사실 챗GPT가 거의 만능처럼 오해를 받았던 지난해만 해도, 기업들 역시 'LLM만 도입하면 모든 문제가 해결될 것'이란 믿음을 보였습니다. 저희 비즈니스의 애로사항이기도 했는데요. 실제로 어떤 고객사는 처음에 LLM이 아닌 RAG를 이야기하는 저희를 이상하게 보고, 다른 회사와 계약을 체결하기도 했죠. 그러나 결국 기업형 AI는 LLM만으로 불가능하다는 걸 이해하고, 저희에게 돌아와 젠 스테이션을 도입한 사례가 기억에 남습니다.

한편, 이제 생성형 AI나 LLM처럼, RAG 역시 모르는 고객이 없을 만큼 친숙한 기술이 되어가고 있습니다. 물론, 여기에 지금보다 AI가 더욱 발전해서 AGI(인공일반지능)이 된다고 해서 AI가 인간을 전부 대체할 수 있다고 생각하진 않습니다. 지금 우리가 AI에 열광하는 이유는 아마 AI를 통해 무언가의 성공 확률을 높이고, 우리의 가치도 높일 수 있다고 믿기 때문이라 생각합니다.

한 예로 '메기 효과'라는 이론이 있죠. 미꾸라지 사이에 풀어진 메기 한 마리의 존재감처럼, 강력한 포식자나 경쟁자가 등장하면 기존 개체들이 생존을 위해 활력을 띄게 되는 현상을 말합니다. 인간을 굳이 미꾸라지로 표현할 필욘 없지만, LLM과 RAG를 비롯한 생성형 AI는 우리에게 강력한 경쟁자이자, 잠들어 있던 인간 고유의 잠재력을 발현시킬 수 있도록 자극하는 좋은 촉매가 될 수 있다고 생각합니다. 저를 포함한 우리 모두가 AI를 잘 활용하며 살 수 있는 세상을 준비할 수 있기를 기대합니다.