24일 서울 강남구 양재동 엘타워에서 <디지털데일리> 주최로 ‘오픈 테크넷 서밋 2024’가 진행된 가운데 류종택 우리테크 이사가 ‘오픈소스를 활용한 인공지능 비용 절감’을 발표하고 있다.

[디지털데일리 오병훈기자] “간단해 보이는 프로젝트지만, 검색증강생성(RAG)을 사용하기 때문에 임베딩(자연언어를 벡터로 변환하는 것)으로 기존 인공지능이 학습하지 않았던 필요한 자료를 추가할 수 있다”

24일 류종택 우리테크 이사는 <디지털데일리>와 과학기술정보통신부, 정보통신산업진흥원이 함께 주최 및 주관한 ‘오픈 테크넷 서밋 2024’에서 ‘오픈소스를 활용한 인공지능 비용절감’을 주제로 발표하면서 자체 개발한 ‘코드세이지(Code Sage)’를 소개하며 이같이 말했다.

코드세이지는 각종 오픈소스 AI를 활용해 만든 일종의 코딩 및 업무 지원 AI다. 가볍게 로컬에서 모든 작업을 수행할 수 있으며, 원하는 기능을 마음대로 추가 및 수정할 수 있다. 또, 파이썬만 있다면 누구나 설치 가능하다는 점도 장점으로 내세웠다.

코드세이지는 오픈AI 응용프로그램인터페이스(API)를 중심으로 구글 ‘젬마2’ 등을 통해 구동되고 있으며, 가벼운 특징을 살리기 위해 ‘타이니DB’를 기반으로 작동된다.

류 이사는 “오픈AI 챗GPT와 유사한 형태이며, 입력창에 이용자가 질문을 넣고 입력하면 답변을 주는 방식”이라며 “애초 판매 목적으로 개발을 진행하지 않았으며, 상용 생성형 AI보다 말이 잘 통하는 모델을 만들어 업무 효율성을 높이기 위함이었다”고 말했다.

그는 코드세이지 주요 활용처로 코드 리뷰를 꼽았다. 개발 완료 후 적용 전에 한번 AI로 코드 리뷰를 한번 해보는 것이다. 개발자가 실수로 놓치기 쉬운 논리 구조, 오류 넘버 등 간단한 문제들은 자동으로 수정해줄 수 있는 수준이다. 아직까지 복잡한 문제는 잡아내기 어렵지만, 간단한 오류를 찾아내주는 것만으로도 작업 시간을 크게 줄일 수 있다는 설명이다.

개발자 뿐 아니라 비개발자 업무에도 도움을 줄 수 있다. 예컨대 회사에서 사용하고 있던 문서들을 임베딩해 질문하게 되면 “연차를 쓰려면 어떻게 해야돼?”와 같은 행정 업무에 대한 질문에도 관련 양식을 찾아주는 등 도움을 줄 수 있다.

류 이사는 “간단한 문서 처리와 관련한 막연한 질문도 할 수있으며, 코드 세이지 안에는 PDF 등 문서도 처리할 수 있게끔 준비해 놨다”며 “영업 문서라든지 마케팅 직원도 사용하고 있는 중”이라고 말했다.

코드세이지는 임베딩을 통해 영상 작업을 하는 과정에서도 도움을 준다. 영상 데이터를 임베딩 한 뒤 코드세이지에 영상 스크립트 구성을 요구할 수도 있다. 코드세이지는 이전 영상 자료를 기반으로 출연자 말투, 자주 사용하는 단어 등을 반영한 영상 스크립트를 제작한다.

마지막으로 류 이사는 아직까지 주요 AI 모델들이 한글 질문에 대해 완전히 이해하지 못하고 있다는 점도 지적했다. 특히 임베딩 같은 경우에도 기존 자료를 벡터 DB로 만들어줘야 되는데, 임베딩을 하는 모델들이 한글을 잘 이해를 못하는 경우가 많다는 것이다.

류 이사는 “일정한 문서를 찾는 질문을 영어로 했을 때와 한글로 했을 때 차이가 심하다”며 “한글로 질문했을 때는 원하는 파일은 하나도 포함돼 있지 않고 엉뚱한 한글 파일만 포함돼 있었다”고 설명했다.

류 이사는 한글이 있는 부분만 블록만 젬마2를 통해 처리하는 방법을 제시했다. “질문을 젬마2가 영어로 번역해주는 방식”이라며 “한글이 없는 경우에는 이런 과정 없이 처리하고, 한글이 포함된 경우는 해당 블록만 번역해 효율적인 시간 관리가 가능하다”고 말했다.