[디지털데일리 이상일기자] 엘라스틱코리아(Elastic Korea)의 최병주 상무는 '시맨틱 검색 엔진의 우수성: 생성형 AI 시작하기'를 주제로 28일 디지털데일리 웨비나 플랫폼 'DD튜브'에서 28일 진행된 웨비나에서 "검색 기술의 발전은 단순히 문서나 링크를 찾는 것을 넘어, 의미 있는 답변을 제공하는 방향으로 진화하고 있다"고 언급하며, 엘라스틱의 최신 기술이 이러한 변화를 어떻게 주도하고 있는지 설명했다.

최병주 상무는 발표에서 텍스트 기반 검색에서 벡터 검색으로의 전환이 검색 품질의 새로운 기준을 제시하고 있다고 말했다. 그는 "벡터 검색은 자연어 처리 기술을 활용해 질문의 의미를 이해하고, 관련된 정보를 보다 정확하게 제공한다"며, 이는 기존의 텍스트 검색이 가지는 한계를 뛰어넘는 혁신적인 기술이라고 설명했다.

엘라스틱은 텍스트 검색과 벡터 검색의 장점을 결합한 하이브리드 서치(Hybrid Search)를 통해, 검색 정확도를 높이고 사용자 경험을 향상시키고 있다. 최병주 상무는 "하이브리드 서치는 텍스트 검색의 정확성과 벡터 검색의 의미적 이해력을 결합해 사용자에게 가장 관련성 높은 검색 결과를 제공한다"고 강조했다. 그는 특히, Reciprocal Rank Fusion(RRF) 모델을 적용해 서로 다른 검색 알고리즘의 결과를 결합함으로써, 최적의 순위를 도출하는 방식으로 작동한다고 덧붙였다.

엘라스틱이 자체 개발한 Elastic Learned Sparse Encoder(ELSER)와 E5 모델은 시맨틱 서치의 새로운 기준을 제시한다. 최병주 상무는 "ELSER는 스파스 벡터(sparse vector) 기반의 검색을 통해 어휘 불일치 문제를 해결하며, BM25 알고리즘과 결합해 더욱 정밀한 검색 결과를 제공한다"고 설명했다. 그는 또한 "ELSER는 사용자의 키워드를 자동으로 확장해 검색 결과의 범위를 넓히고, 검색 정확도를 크게 향상시킨다"고 강조했다.

벡터 데이터베이스 기능은 대규모 데이터셋에서의 검색을 최적화하는데 중요한 역할을 한다는 설명도 강조됐다. 최병주 상무는 "엘라스틱의 벡터 데이터베이스는 HNSW 알고리즘을 기반으로 빠르고 정확한 벡터 검색을 지원하며, 다양한 시맨틱 검색 시나리오에 대응할 수 있다"고 설명했다. 그는 또한 "이 기능들은 Elastic Search Relevance Engine의 일부로, 개발자가 엘라스틱의 API를 활용해 고도화된 검색 애플리케이션을 손쉽게 구축할 수 있도록 돕는다"고 말했다.

한편 최병주 상무는 생성형 AI와 시맨틱 서치의 융합이 새로운 검색 환경을 만들어가고 있다고 강조했다. 그는 "사용자는 이제 단순히 문서나 링크를 찾는 것을 넘어, 보다 의미 있는 답변을 얻고자 한다"며, 엘라스틱이 제공하는 기술이 이를 가능하게 한다고 설명했다. 엘라스틱은 대규모 언어 모델(LLM)을 기반으로 한 생성형 AI 기술을 시맨틱 서치와 통합, 사용자에게 맞춤형 답변을 제공하는 솔루션을 선보인바 있다.

또, 엘라스틱은 외부 LLM과의 연동을 통해 기업이 보유한 데이터를 활용하여 AI 답변의 정확성을 높이는 방법을 제시하고 있다. 최병주 상무는 "엘라스틱은 데이터 프라이버시와 보안을 유지하면서도, 고유한 기업 데이터를 활용해 차별화된 검색 결과를 제공할 수 있다"고 강조했다.

엘라스틱은 개발자들이 쉽게 접근할 수 있도록 다양한 검색 모델과 툴셋을 제공하기도 한다. 엘라스틱은 온프레미스, 클라우드, 하이브리드 환경에서 모두 사용 가능하며, 기업의 IT 환경에 맞게 유연하게 적용할 수 있다. 또한, 엘라스틱서치 랩스(Elasticsearch Labs)와 같은 리소스를 통해 개발자들이 필요한 모든 기능을 손쉽게 사용할 수 있도록 지원하고 있다.

마지막으로 최병주 상무는 "엘라스틱은 앞으로도 혁신적인 검색 기술을 개발해, 기업들이 더욱 정교하고 의미 있는 검색 경험을 제공할 수 있도록 지속적으로 지원할 것"이라며 "엘라스틱의 시맨틱 서치 솔루션은 사용자에게 최상의 검색 결과를 제공하며, 기업이 경쟁력을 강화하는 데 중요한 역할을 할 것"이라고 강조했다.