국민 포털로 출발한 네이버가 다양한 플랫폼과 서비스들로 영역을 대폭 확장하고 있다. 이용자 경험을 위한 체질 개선뿐만 아니라, 중소상공인(SME) 및 창작자들과 이용자들을 연결해 디지털 비즈니스 시너지를 도모하는 데 골몰하는 모습이다. 이용자가 보는 앞단의 변화가 이 정도라면, 개발 뒷단에선 보다 과감하고 치열한 고민이 필요하다. 이에 디지털데일리는 네이버를 움직이는 기술 리더들을 마블 캐릭터에 빗대 ‘네이버 어벤저스’라는 이름을 붙였다. 이들의 연속 인터뷰를 통해 국내 최대 인터넷 기업의 속 깊은 고민과 핵심 경쟁력의 원천을 짚어보고자 한다. <편집자 주>

-네이버 ‘페이스사인’ 개발자 인터뷰②

[디지털데일리 최민지기자] 출입 게이트에 적용된 얼굴인식 기술은 많다. 하지만, 네이버는 ‘페이스사인’이 조금은 더 특별하다고 말한다. 마스크를 쓴 채로 멈추지 않고 게이트를 통과해도 출입 인증이 가능하기 때문이다. <이전 기사 참조 [네이버 어벤저스] “마스크 벗지 마세요” 네이버는 알아볼 수 있으니까> 더군다나, 네이버 제2사옥 1784에서 3700여명이 매일 실제로 사용하고 있다. 심지어, 로봇까지 페이스사인 기술을 갖췄다. 얼굴인식 기반 출입시스템 ‘워크스루(Walk Through)’, 네이버에선 일상이다.

이와 관련 <디지털데일리>는 네이버 페이스사인(FaceSign) 기술 개발에 참여한 ▲인공지능(AI) 프로덕션팀 김성엽 서버 개발자(백엔드 엔지니어) ▲클로바 서비스 플래닝팀 김형석 기획자 ▲엣지ML팀 감정현 TL ▲이미지비전팀 이명연 모델 개발자(머신러닝 엔지니어)를 만났다.

김형석 기획자는 “0.1초라는 빠른 인식 속도가 타사와 큰 차별점이다. 먼 거리에서도 빠르게 인식해 걸음을 멈추지 않고 게이트를 통과 가능하고, 마스크를 착용한 상태에서도 동일하게 체험할 수 있다”며 “출입 사용자가 많아져도 인식 속도는 느려지지 않는다”고 강조했다.

여기에는 네이버의 유연한 조직 구성이 한몫했다. 사실, 네이버 얼굴인식 기술은 이전부터 존재했다. 원하는 인물 부분만 골라서 재편집하는 V라이브 오토 하이라이트 기능을 통해 얼굴인식 기술을 일부 서비스하고 있었다. 그런데, 딥러닝을 이용한 얼굴인식을 스피드게이트 인증에 적용하려고 하니, 생각 이상의 많은 최적화 과정이 필요했다.

강정현 TL은 “카메라 매 프레임마다 원본 이미지를 서버로 보낸다면, 아주 느리고 비용도 많이 발생하게 된다”며 “얼굴인식 모델 개발 담당자와 같은 조직에 온디바이스 인공지능(AI) 관련 담당자가 있었다. 덕분에 빠르고 긴밀하게 해당 문제를 함께 논의했다”고 말했다.

결과적으로 서버 부담 비용과 연산 시간 중 일부를 디바이스에서 분담해줄 수 있는 파이프라인을 구성할 수 있었다. 이것이 페이스사인 프로젝트 초기 구성이 됐다는 설명이다. 이들은 페이스사인 설계 단계부터 참여했다.

페이스사인 강점 중 하나가 가볍고 빠른 딥러닝 얼굴 분석 기술이다. 페이스사인 디바이스에서는 얼굴인식 준비 단계에 해당하는 얼굴 분석 과정이 매 프레임 수행된다. 이때 여러개 딥러닝 모델이 실행되는데, 오래된 모바일 기기에서도 10밀리세컨드(0.01초) 이내로 처리될 만큼 빠른 속도를 자랑한다.

강 TL은 “디바이스에서는 얼굴 위치, 눈과 코 등이 어디에 있는지 등을 찾는다. 여기에 딥러닝 모델이 쓰이며, 연산 자체를 기기 안에서 모두 소화한다”며 “네트워크 환경과 상관없이 서버에 보내기 전, 모든 얼굴인식 입력을 끝낼 준비를 마치는 데 10밀리세컨드 정도 걸린다”고 부연했다.

마스크 쓴 얼굴도 인식하기 위해 데이터셋을 충분히 확보해야 하는 점도 과제였다. 데이터는 수집하고 구매하는 데 한계가 있다. 이에 데이터 증강기법들을 활용하기도 했다. 쉽게 말해, 하나의 인물 사진을 놓고 좌우 대칭, 밝기 조절, 다양한 종류 마스크 합성 등을 시도한 것이다.

네이버는 기존에 확보한 데이터에 마스크 쓴 얼굴 데이터를 직접 구축하기도 하고, 학습 데이터셋에 마스크를 합성했다. 모델 학습 때 하관을 보지 않아도 얼굴을 인식할 수 있도록 훈련하고, 눈이나 이마를 더 집중해서 보도록 했다.

이명연 개발자는 “마스크 쓴 얼굴을 인식하기 위해서는 필요한 모든 AI 모델들이 마스크 쓴 얼굴에 대응할 수 있어야 한다”며 “마스크 쓴 얼굴 데이터셋을 만들어 학습에 활용하고, 마스크를 벗기는 오토인코더(Auto Encoder)등을 개발했다”고 전했다.

또한, 이들은 지난 겨울 페이스사인을 적용할 1784 내 여러 공사 현장을 찾아 직접 일일이 수정하고 보완했다. 얼굴 인식 모델 기술 개발, 페이스사인 디바이스, 소프트웨어를 담당하는 다양한 직군 내 담당자들과 커뮤니케이션을 하고, 반복적인 개발 프로세스를 진행했다.

김성엽 개발자는 “1층이 통유리로 돼 있어 조명이 일정하지 않아, QA(품질관리)‧디바이스팀에서도 고생을 많이 했다”며 “햇빛이 세게 들어오거나 역광 상황도 고려해야 하기 때문에, 몇 달간 해뜨는 시간부터 만나 여러 각도로 테스트를 시행했다. 20~30명이 한겨울에 모여 다양한 연출을 통해 얼굴인식 정확도를 확인했다”고 회상했다.

김 개발자는 페이스사인이 향후 자신의 신분을 증명해야 하는 대부분 장소에서 쓰일 것으로 전망했다.

그는 “1784 건물에서 증명했듯 회사 보안을 위해 사원증이 필요한 공간에서도 사용 가능하고 콘서트장 티켓 발매, 시험 응시 등 일회성 이벤트에서도 가능하다”며 “대규모 공간에서 사용이 용이한 이유는 실제 얼굴 인식을 통해 사람을 판별하는 로직이 로컬 디바이스가 아닌 서버에 있기 때문이다. 이를 통해 디바이스 단가를 낮추고 보다 저렴한 가격에 높은 정확성을 진닌 서비스를 제공할 수 있다”고 말했다.