국민 포털로 출발한 네이버가 다양한 플랫폼과 서비스들로 영역을 대폭 확장하고 있다. 이용자 경험을 위한 체질 개선뿐만 아니라, 중소상공인(SME) 및 창작자들과 이용자들을 연결해 디지털 비즈니스 시너지를 도모하는 데 골몰하는 모습이다. 이용자가 보는 앞단의 변화가 이 정도라면, 개발 뒷단에선 보다 과감하고 치열한 고민이 필요하다. 이에 디지털데일리는 네이버를 움직이는 기술 리더들을 마블 캐릭터에 빗대 ‘네이버 어벤저스’라는 이름을 붙였다. 이들의 연속 인터뷰를 통해 국내 최대 인터넷 기업의 속 깊은 고민과 핵심 경쟁력의 원천을 짚어보고자 한다. <편집자 주>
[디지털데일리 이안나 기자] 코로나19 시대에 접어든 이후 인터넷쇼핑 쇼핑 수요가 늘며 검색어 역시 다양해졌다. 문제는 그만큼 상품명을 잘못 입력하거나 추상적인 검색어를 입력하는 경우도 많아졌다는 것. 이때 사용자가 원하는 상품을 보유하더라도 검색어와 상품을 ‘매칭’ 시키지 못해 보여줄 수 없는 일이 발생하게 된다.

국내 최대 포털 네이버에서 검색되는 키워드를 살펴보면 15개 중 1개는 오타이거나 정확히 일치하는 검색 결과가 없다. 이 때문에 오타나 정확히 일치하지 않는 검색어에 대해서도 ‘연관된 결과’를 제공하는 것이 중요하다.

일반적인 검색에선 오타나 검색 결과가 없을 경우 사용자가 입력한 검색 키워드를 변환하는 방식으로 대응한다. 가령 ‘겔럭시 노트’를 검색했다면 이를 정타인 ‘갤럭시 노트’로 변환해 제안한다. 이는 네이버쇼핑에서도 마찬가지다. 다만 사용자 검색 기록이 많지 않거나 ‘칵테일 만드는 장비’처럼 자연어를 입력했을 땐 대응이 어려운 경우가 있다.

이러한 문제를 해결하기 위해 네이버는 검색어 변환이 아닌, 검색 키워드 ‘의미’를 파악해 그와 연관된 상품을 제공하는 새로운 방식 ‘쇼핑 딥서치(deep search)’ 기술을 개발했다.

이에 <디지털데일리>는 네이버쇼핑 딥서치 주역 ▲이정현 리더 ▲하종우 개발자 ▲박준우 개발자를 온라인 화상회의를 통해 만났다. 쇼핑 딥서치 개발을 이끈 3인방을 통해 기술 차별성과 실제 사용사례를 들어봤다.

◆비대면 쇼핑 확대, 검색 ‘트렌드’도 변했다=네이버쇼핑은 한해 거래액만 25조원 이상인 국내 최대 온라인몰이다. 코로나19 이후 네이버에서 상품 구매를 위해 검색어를 입력하는 비중도 크게 늘었다. 여기서 네이버는 사용자들이 입력하는 검색어가 점점 다양해지고, 검색어 길이도 길어지고 있다는 현상을 발견했다.

이정현 리더는 “오타도 있고 자연어성 질의도 있고, 실제로 상품명을 잘 모르면서 검색하는 경우가 많이 있다”며 “ 사용자들이 어떤 상품을 찾고 싶긴 하지만 정확한 상품명을 모르니 여러 번 검색을 시도하는데, 잘못 입력했을 때도 원하는 상품을 스마트하게 찾아주고 싶어 연구를 시작했다”고 말했다.

네이버는 2020년 11월부터 프로젝트를 진행하기 시작했다. 전체적인 아키텍처 구성을 잡고 어떤 기술들이 필요한지 파악, 필요한 모델을 개발해 네이버쇼핑 서비스에 잘 맞는 시스템을 구축하기까지 대략 1년 정도 시간이 걸렸다. 그 결과 지난해 11월 네이버 쇼핑 딥서치가 본격 등장했다.

쇼핑 딥서치는 현재 발생하는 문제를 해결하기 위해 시작했지만 동시에 미래를 대비하는 기술이기도 하다. 이 리더는 “인공지능(AI) 기기들이 늘어나면서 음성 인식으로 검색하는 경우도 많다”며 “예를 들어 네이버 클로바 디바이스에 음성으로 상품을 찾고자 하는 질의들에 대해서도 미리 대비하고자 개발한 기술”이라고 설명했다.
◆보편적 기술 BERT를 ‘쇼핑’에 적용하다=사용자가 검색한 키워드 ‘의미’를 파악하고 관련한 상품을 보여주기 위해 사용하는 주요 기술은 크게 2가지다. 사용자 질의(키워드 입력)과 상품 간 관련성을 계산해주는 ‘쇼핑DS(Deep Search)-BERT’ 모델과 처리 속도를 높여주는 ANN(Approximate Nearest Neighbor)기법이다.

이번에 도입한 BERT 기술은 문맥을 파악해 자연어를 더 잘 분석하는 역할을 한다. 스팸 메일 찾기나 문서 카테고리 분류 같은 문장 분류 작업, 챗봇 개발에 활용하는 Q&A 작업 등 다양한 분야에서 적용된다. 구글 검색과 마이크로소프트 Bing 검색 서비스에도 BERT 모델을 활용할 정도로 ‘트렌디’한 기술이라 할 수 있다.

네이버쇼핑 딥서치에선 BERT 모델을 기반으로 쇼핑 검색이라는 목적에 적합한 모델 ‘쇼핑 BERT’를 개발했다. 네이버 쇼핑 문서들이 한국어 기반으로 돼있다는 점을 고려해 일반적인 BERT 모델에 쇼핑 문서를 학습시켰다.

하종우 개발자는 “쇼핑 BERT는 일반적인 한국어 텍스트를 잘 이해하는 BERT 모델을 기반으로 쇼핑 분야 텍스트를 더 잘 이해하도록 추가적으로 학습한 모델”이라며 “이를 위해서 방대한 양의 상품명, 상품 카테고리와 같은 정형화된 쇼핑성 텍스트 뿐 아니라 조금 더 자연스러운 표현을 학습할 수 있는 리뷰 데이터를 활용해 사전학습하는 과정이 추가됐다”고 말했다.

쇼핑 BERT 기반으로 검색어와 상품 임베딩을 조금 더 잘 뽑기 위한 목적으로 한 번 더 튜닝한 모델이 쇼핑DS-BERT다. 이는 검색어에 적합한 상품 코사인 유사도는 더 높게, 적합하지 않은 상품 코사인 유사도는 더 낮게 계산되도록 하는 모델이다. 쇼핑 딥서치에선 사용자가 입력한 검색어에 대해서 코사인 유사도가 높은 상품들이 검색 결과로 제공된다.
◆ ‘요플레’ 입력해도 ‘요거트’ 상품 보여주는 스마트 검색 기술=쇼핑 딥서치 기술은 키워드 변환만으로 대응이 어려운 오타나 정확하지 않은 브랜드, 판매처를 입력했을 때도 이와 관련한 검색 결과를 제공한다. 특히 ‘칵테일 만드는 장비’처럼 사용자 유입이 적어 기존 기술이 대응하기 어려운 롱테일 키워드에 효과적이다.

이런 롱테일 검색어 비율은 전체 쇼핑성 검색어의 2.6%에 해당한다. 쇼핑 딥서치 적용 후 롱테일 키워드 클릭율은 25% 가량 상승하는 효과가 나타났다.

사람들 사이 암묵적으로 통용돼 말하는 단어들 역시 딥서치로 학습시켜 대응할 수 있다. 가령 ‘요플레’ 상품은 빙그레 회사 제품이지만 사람들이 요거트와 동의어로 사용하는 경우가 흔하다. 사용자가 ‘상하목장 요플레’라고 검색했을 때 기존대로라면 검색 결과가 ‘0건’으로 나왔겠지만, 딥서치 적용 후엔 상하목장 브랜드 요거트 제품을 보여줄 수 있다.

박준우 개발자는 “사람들 사이 통용적인 자연어스러운 이외에도 단어들 의미가 사람들끼리 바꾸어 사용하는 경우에도 딥서치가 검색 결과에 도움을 줄 수 있다”고 전했다.

<다음 기사에서 계속됩니다>