AI 대전환의 시대, 쏟아지는 이슈와 키워드 중 '꼭 알아야 할 것'과 '알아두면 좋은' 것을 구분하기란 쉽지 않습니다. 뜬구름 잡는 이야기도 많습니다. [real! AI Pro]는 이 고민을 현업 전문가들이 선정한 주제와 인사이트로 명쾌하게 정리해드립니다. <편집자주>

[디지털데일리 이건한 기자] 요즘 대화형 인공지능(AI)들은 말을 정말 잘합니다. 몇몇 보도에 따르면 모 여행 플랫폼에 한국인만 알아볼 수 있도록 특수문자와 비문으로 쓴 후기를 챗GPT가 원래 의미로 정확히 변환해 낸 일이 화제가 되기도 했는데요. 한때 간단한 명령어도 잘 알아듣지 못해 가슴을 치게 했던 AI들, 어느 틈에 지금 같은 수준급 언어 능력자가 된 걸까요?

혹자는 요즘 마법의 지팡이처럼 언급되는 'LLM(거대언어모델)' 덕분이라 말하기도 합니다. 아주 틀린 말은 아닙니다. 하지만 따지고 볼 때 LLM은 여러 조각 중 하나일 뿐인데요. 이를 보다 구조적으로 이해하고자 한다면, LLM 등장 훨씬 이전부터 존재한 'NLP(자연어처리)' 분야 또한 주목할 만합니다. 만약 지금까지 NLP 개념이 낯설었거나 LLM과 비슷한 기술로 여겼던 경우, 혹은 구세대 기술로 오해했던 독자가 있다면 이번 기회에 바로잡아 보세요.

이번 주제는 최근 1000억원 규모의 투자를 유치하고 미국 시장에서 승승장구 중인 한국 AI 스타트업 '업스테이지' LLM팀의 핵심멤버, 박찬준 수석연구원이 인사이트를 제공하고 <디지털데일리>가 재편집했습니다. 1996년생으로 아직 20대인 박 연구원은 그동안 이미 국내외 190여편 AI 논문을 발표한 실력파 인재, 그중 다수의 논문은 글로벌 유명 학회에도 게재돼 유명세를 얻은 AI 업계의 라이징 스타로 불립니다.

컴퓨터공학 > AI > NLP

안녕하세요, 박찬준입니다. 간단한 교통정리부터 해볼까요? 우선 학문적으로 컴퓨터공학의 하위분야가 AI, 그보다 아래 NLP, 그 밑에 LLM이 있습니다. 기본적으로 AI란 인간의 인식 및 학습능력, 오감 등을 컴퓨터로 구현한 모든 개념이 포함되는데요. 그 일부를 '시각지능'이나 '음성지능' 등으로 부르듯, 일상 언어인 자연어를 컴퓨터가 이해하도록 돕는 기술이 언어지능인 'NLP'입니다. 참고로 'C'나 '파이썬'처럼 컴퓨터 제어를 위해 인공적으로 만든 언어는 '인공언어'로 분류합니다.

NLP > LLM

LLM은 NLP의 하위분야로, 진보한 개념이 아닌 NLP 구현을 위한 도구 중 하나로 이해하는 것이 옳습니다. NLP는 그동안 '규칙기반, '통계기반', '머신러닝 기반', '딥러닝 기반' 등으로 발전해 왔는데요. 이제는 LLM이 중심인 단계에 이른 것뿐이니까요.

LLM 이전 NLP와 영혼의 단짝은 딥러닝이었습니다. 그전까지 NLP 구현은 주로 형태소 등 언어의 규칙과 특징을 정의하는 '피처 엔지니어링 (Feature Engineering)'을 언어학자가 담당하고, 해당 규칙을 기반으로 프로그래밍하는 형태가 일반적이었습니다.

그러던 중 특징의 자동 추출 및 학습이 가능해진 딥러닝의 등장은 한차례 대격변을 불러일으켰죠. 드디어 인간의 도움 없이 스스로 언어의 특징을 컴퓨터의 기준에 맞춰 더 세밀하고 정교하게 찾아내 학습할 수 있게 된 시대가 열린 겁니다. NLP 역사상 가장 비약적인 성능 발전이 일어났죠.

하지만 특징 추출만으론 여전히 한계가 있었습니다. 이후 LLM이 부각된 배경인데요. 컴퓨터는 구조적으로 모든 정보를 0과 1, 이진법으로만 이해합니다. 딥러닝이 언어 데이터를 효율적으로 숫자화 하더라도, 그 의미 자체를 컴퓨터가 이해할 수 있는 건 아닙니다. 따라서 이때 인간 중심의 다양한 '지식표현체계'를 컴퓨터가 이해할 수 있도록 돕는 '언어모델'의 역할이 중요합니다.

사실 언어모델의 발전 과정도 꽤 복잡다단합니다. 분량상 모두 설명할 순 없지만, 핵심은 그간의 언어모델 진화 방향성은 '컴퓨터가 단어 간 관계와 문맥을 이해하도록 만드는 것'이었던 점을 기억해길 바랍니다.

관련해 짧게 언급하면, 비슷한 의미로 추정되는 단어는 가까운 벡터 공간에 존재하도록 하는 워드투벡(WORD2Vec)부터, 문장 속 단어들이 서로 어떻게 관련되어 있는지 이해하고, 그 이해를 바탕으로 새로운 문장을 생성하는 '트랜스포머(Transformer)' 모델의 등장까지 오랫동안 여러 수학적 접근 방식이 언어모델 연구에 접목되어 왔습니다.

특히 트랜스포머는 오픈AI의 'GPT'나 구글의 '버트(BERT)' 등 일찍이 고성능 구현으로 주목받은 언어모델들의 원형으로 불립니다. 지금 대부분의 LLM은 사실상 '엄청나게 큰 트랜스포머 아키텍처 기반으로 인간 언어를 컴퓨터가 이해할 수 있도록 돕는 지식체계 변환기'라고 말할 수도 있고요.

그래서 LLM이란!

즉, LLM의 직접적인 역할은 언어처리 그 자체보단 지식정보 변환 및 생성에 가깝습니다. 이런 관점의 일반적인 AI 사용자들은 LLM 그 자체가 아니라, 챗GPT처럼 NLP와 LLM 기반으로 원하는 답변을 생성해 주는 생성형 AI '서비스'를 쓰고 있다고 보는 것이 더 정확합니다.

나아가 생성형 AI와 LLM의 관계도 구분해 볼까요? 생성형 AI는 사실 굉장히 큰 개념입니다. 생성형 AI는 이름처럼 이미지나 언어처럼 다양한 데이터를 생성 가능한 AI를 통칭하며, 그것을 구현하는 방법론 중 하나가 LLM 뉴스에서 종종 언급되는 파운데이션 모델(Foundation Model)입니다.

대규모 데이터셋을 기반으로 학습된 파운데이션 모델은 일종의 기본형 AI라고 말할 수 있습니다. 오픈AI의 GPT나 메타의 Llama(라마) 등이 대표적이고요. 각 모델은 학습한 데이터에 따라 텍스트, 비전 등 특화 영역이 다양해요. 또한 텍스트+비전 등 복수의 데이터 형태를 함께 처리할 수 있으면 요즘 널리 언급되는 '멀티모달(Multi Modal)'이 되는 겁니다. 이를 미세조정(Fine Tuning)해 더 세분화되고 전문적인 모델을 만들 수 있고요.

LLM은 엄밀히 말하면 저 가운데 언어처리만 가능한 모델을 말해요. 거대언어모델이란 이름처럼 말이죠. 결과적으로 컴퓨터공학에서 인간의 지능 일부를 구현한 AI 연구가 선행되었고, 그중 언어처리에 특화된 연구분야인 NLP가 있었습니다. 이때 NLP와 LLM은 언어를 다루는 점에선 유사하지만 NLP는 인간의 언어처리 전반을 다루는 학문적 개념, LLM은 인간의 언어 기반 지식정보체계를 컴퓨터가 이해할 수 있도록 변환을 돕는 도구적 개념에 가깝다고 정리해 볼 수 있습니다.

LLM 시대에도 NLP 연구는 유효하다

LLM 이전 NLP 연구는 요약, 번역, 검색 등 각 영역의 연구가 별도로 진행됐습니다. 요즘은 LLM에 이런 기능이 다 통합돼 있죠. 그러면 독립적인 NLP 연구는 더 이상 필요 없을까요?

그렇지 않습니다. 실제로 지금도 고객사들을 만나다 보면 기존 NLP 기반의 문제를 LLM으로도 해결하고자 하는 경우를 많이 봅니다. 이를 충족하려면 조금 고지식해 보여도 번역이나 요약 등 기존 NLP 특화 연구도 우직하게 병행하는 태도가 연구원들에겐 굉장히 중요하다고 생각해요. 한마디로 각 영역의 NLP 기초 연구들이 이 시대에도 LLM이 관련 문제를 어떻게 더 효율적으로 해결할 수 있을까에 대한 답을 줄 수 있기 때문에 연구 가치는 여전히 유효하다는 의미입니다.

언어지능 연구, 학계의 고민은 'GPU 부족'

이어서 차세대 LNP 및 LLM 연구 측면을 볼까요? 최근 학계의 관심사는 꽤 다양합니다. 할루시네이션(AI환각) 해결은 물론이고, 모델에 대한 학습 정보를 최신화하는 지식편집(AI Knowledge Editing), LLM 평가방법론, 학습 데이터가 적은 저자원 언어 기반 LLM을 어떻게 최적화할 수 있을지(Low resource language) 등등이 있죠.

문제는 학계가 이런 문제들을 지속해서 연구하기 위해 꼭 필요한 GPU(그래픽처리장치)가 늘 부족하다는 점입니다. 학계의 역할을 기업이 사업화에 집중한 나머지 놓치기 쉬운 기술연구의 디테일을 채우는 것인데, 리소스 부족 문제가 발목을 잡고 있죠. AI용 GPU 가격은 개당 수천만원을 호가하고 현재 세계적 수요보다 공급이 부족해 학계에서 자체적으로 수급하기란 대단히 어렵습니다.

물론, 그 때문에 적은 GPU로도 학습할 수 있는 방법이 연구되기도 합니다. 그러나 근본적으론 산학협력 및 국가 차원의 AI 인프라 투자가 정말 중요해진 시점이라고 생각합니다. 더 냉정하게 이야기하면 한국의 NLP 기술력은 여전히 미국, 중국 대비 뒤떨어집니다. 그런데 지난해 정부 모처에서는 관련 연구 예산을 대폭 삭감한 바 있죠. 대학교수들은 대부분 과제비로 연구실을 운영하는데 이걸 갑자기 50%, 80% 이런 식으로 삭감하니 어려움이 커질 수밖에 없거든요.

韓 AI 연구, 참을성 기르고 '선택과 집중' 필요

이걸 보면 한국은 아무래도 국가과제 수행 등에서도 여전히 '참을성'이 부족한 것 같아요. 이 부분에선 장기투자의 좋은 모델인 캐나다를 보고 배웠으면 하는 바람이 있습니다. 요즘 AI 인력 유출 문제가 심각한데 다 한국을 떠나 해외로 가는 게 꼭 연봉의 문제만은 아닐 겁니다.

일례로 '딥러닝 아버지'로 불리는 제프리 힌튼 교수는 영국 출신이면서 딥러닝과 관련된 굵직한 업적들은 모두 캐나다 토론토 대학에서 만들었습니다. 토론토 대학에서는 지금도 그 외 여러 AI 석학들의 연구가 진행되고 있고요. 심지어 AI에서 우리보다 늦었다고 평가되던 일본마저 지금 자체 LLM 개발에 천문학적인 돈을 쏟아부을 예정이라고 하는데요. 자칫 한국을 앞설 가능성도 배제할 수 없어 보입니다.

그렇다면 당연히 우리는 지금부터 국가적으로 더 공격적인 투자를 해야 한다는 얘기인데요. 분명히 기억할 점은 AI가 결코 단기 투자로 성과를 볼 수 없는 분야라는 점입니다. 오늘날 LLM만 해도 오픈AI에서 아주 오래전부터 연구와 투자를 지속한 결과물이에요. 더불어 AI 경쟁이 자본 싸움, 인프라 싸움이란 사실도 잘 기억한다면 우리가 더이상 엉뚱한 곳에 투자할 게 아니라 국가에서 AI 핵심 영역 연구를 더 전폭적으로 지원해야 할 시기가 온 것 같습니다.