[디지털데일리 김문기 기자] “이제는 농담처럼 말하지만 애플워치 타이머를 멈추기 위해 코를 더 이상 사용하지 않았으면 좋겠다는 생각도 있습니다.”

지난 18일 에릭 찰스 애플워치 프로덕트 마케팅 담당은 디지털데일리와의 인터뷰를 통해 애플워치 시리즈9과 애플워치 울트라2에서 새롭게 적용된 제스처 기능인 ‘더블탭’과 관련해 실제 자신이 경험한 사용사례와 관련해 이같이 말했다.

이번에 애플이 선보인 ‘더블탭’ 기능은 워치OS 10.1 업데이트를 통해 구현된다. 또한 애플워치 시리즈9과 애플워치 울트라2에 탑재된 ‘S9 Sip’ 두뇌와 애플 뉴럴 엔진(ANE)를 통해 사용할 수 있기 때문에 이전 모델에서는 사용이 어렵다. ‘더블탭’이란 기기 화면을 두 차례 연속으로 터치한다는 개념이 아니라 엄지와 검지를 두 차례 연속으로 맞닿아 사용하는 방식이다. 즉, 화면 터치 없이도 대응할 수 있는 새로운 제스처인 셈이다.

찰스 담당은 이번 더블탭 제스처와 관련해 “애플워치는 워치OS 10을 통해 한눈에 더 보기 쉬운 기기가 됐고, 사용자가 필요한 정보를 빠르게 확인할 수 있도록 워치 페이스(화면)에 더 많은 공간을 제공했고 새로운 스마트 스택도 선보였다”라며, “이 모든 발전에도 불구하고 애플워치와 상호작용하는 과정에서 약간의 마찰이 있는 경우를 목격했다”고 소개했다.

가령, 개를 산책하는 중에 중요한 전화 통화를 받을 떄도 있고, 맥(PC)을 한 손에 들고 다음 미팅에 가는 중에 갑자기 동료가 메시지를 보냈다는 알림을 받을 수도 있다. 또는 요리 중에 설정해 놓은 타이머가 울리는데 손이 계란으로 범벅돼 있는 경우에는 타이머를 끌 수 없는 상황에 직면한다.

사용자는 이같은 경우에 직면하면 어떻게 대응해야 할지 일반적으로 3~5초내 생각해 실행해 옮긴다. 그 방법이 맥을 땅에 내려 놓고 전화를 받을 수도 있고, 아니면 코를 사용해 타이머를 꺼는 등의 해결책이다. 실제로 찰스 담당의 경우 코를 사용하기도 했다는 후문이다.

이에 따라 애플은 보편적인 상황 속에서 효용성을 높일 수 있는지를 고민했다. 그 결과가 바로 ‘더블탭’이다.

찰스 담당은 “애플워치와 상호작용할 수 있는 새로운 방식으로 간단하고 학습하기 쉬우며 모두가 사용할 수 있는 더블탭을 떨리는 마음으로 선보이게 됐다”라며, “더블탭은 손이 바쁜 상황에서 사용하기 좋은 제스처로 이를 통해 다양한 앱과 알림을 선택해 사용할 수 있다”고 자신했다.

예를 들어 워치 페이스를 사용할 때 더블탭을 쓰면 새로운 스마트 스택을 열거나 위젯들 간의 스크롤이 가능하다. 수신 메시지도 알림에서 볼 수 있다. 더블탭으로 메시지를 확인하고 받아쓰기 기능을 통해 회신 문자를 작성하고 더블탭으로 문자를 전송할 수도 있다. 음악을 재생하고 정지하는 것도 가능하다.

그는 “애플워치의 디스플레이와 상호작용할 수 없었던 고객을 위한 기능으로 어시스티브 터치(Assistive Touch)가 제공됐고, 이제는 보편화돼 세부적인 맞춤화가 가능하도록 진화했다”라며, “손쉬운사용 기능이 필요한 사용자들은 설정을 통해 이를 활성화 시키고 본인의 필요에 따라 맞춤화를 진행한 후에 심도 깊고 종합적인 네비게이션 시스템을 충분히 활용할 수 있게 됐다”고 강조했다.

수백명, 수천번 쌓은 경험이 ‘더블탭’ 자산

‘더블탭’ 제스처는 엄지와 검지를 연속으로 두번 오므리면서 맞추는 방식의 간단한 방식이기는 하나 내부 구동은 복잡하게 설계됐다.

데이비드 클라크 애플 애플워치 소프트웨어 엔지니어링 선임 디렉터는 “저 조차도 과거에 애플워치에 있는 버튼을 조작하려고 코를 사용한 적이 있다”라며, “그렇기 때문에 바로 필요한 순간에 사용할 수 있는 어떤 상황에서든 잘 사용될 수 있는 직관적인 경험을 제공하기 위해 노력했다”고 소개했다.

클라크 디렉터에 따르면 우선 ‘더블탭’을 위해서는 하드웨어 제반 요소가 필요하다. 성능과 전력효율이 향상된 S9 Sip를 통해 사용자가 하루 종일 사용 가능한 수준에서 복잡한 머신러닝 알고리즘을 실행할 수 있도록 했다. 이 알고리즘은 애플워치 내 가속도계와 자이로스코프, 광학 심박 센서에서 나오는 데이터를 사용한다.

그는 “S9 SiP의 전력 효율성과 강력한 ANE 덕분에 높은 수준의 정확도와 전력을 덜 사용하는 방식으로 알고리즘을 구동할 수 있다”라며, “해당되는 첨단 알고리즘은 이전 대비해서 3배 더 높은 전력 효율성을 자랑하며 정확도도 15% 높아졌다”고 자신했다.

이같은 하드웨어 기반을 통해 더블탭은 S9 Sip에서 구동되는 세가지 신호와 애플 뉴럴 엔진(ANE)와 결합돼 엄지와 검지가 탭하는 미세한 제스처를 감지할 수 있는 셈이다. 좀 더 요약하자면 더블탭은 애플워치 페이스를 확인하기 위해 팔꿈치를 굽히면서 워치 페이스와 눈맞춤하는데 이 과정에서 각종 센서가 작동하면서 사용자에게 맞춤형의 알고리즘을 작동시키게 된다. 또한 이 상황에서 더블탭은 광학 심박 센서가 연속으로 엄지와 검지가 부딪치면서 발생하는 미세한 심박 변동을 캐치하게 되고 이를 기기에 반영시켜주는 과정을 밟는다.

문제는 이 제스처가 오작동을 일으킬 수 있는 확률이다. 이를 최소화하기 위해서는 많은 데이터가 쌓여야 한다.

그는 “정확한 심박 지표를 얻기 위해 심박 센서에 많은 노력을 기울였다”라며, “하지만 일상 생활 속에서 저희가 몸과 팔을 움직이기 때문에 신호 사이에 심박을 읽을 수 없는 작은 갭들이 발생한다”고 언급했다.

이어, “신뢰성 있는 수준으로 제스처를 감지하려면 광범위한 범위에서 제스처를 감지 했어야 했다”라며, “다양한 손목 두께와 다양한 팔 길이를 가진 다양한 사람들이 다양한 동작 속에서 제스처를 사용하는 다양한 방식을 감지 했어야 했다”고 설명했다.

즉, 애플은 더블탭의 확실한 반영을 위해 수백명의 사용자, 수천번의 제스처로 머신러닝 학습시켜 모두에게 적용 가능한 수준의 경험을 이식하게 된 것.

또한 클라크 디렉터는 “또 어려웠던 점은 이 제스처를 다양한 상황에서 감지해야 한다는 점이며, 사용자가 정자세로 앉아 있지 않고 걷거나 운전 하는 상황 속에서도 감지할 수 있어야 한다”라며, “모델이 다른 신호도 같이 감지하는 가운데 오직 제스처만 인지하고 다른 신호는 무시하도록 하는 모델 학습또 필요했다”고 회고했다.

아울러, “애플워치를 착용한 사용자가 에어팟으로 음악을 듣거나 동시에 LTE에 전화 연결을 하는 등 다른 활동도 같이 하는데, 이는 기기의 노이즈를 발생시킨다”라며, “사용자의 활동과 상관 없이 노이즈는 무시하고 제스처만 감지하도록 모델을 학습시킨 결과”라고 강조했다.

한편, 클라크 디렉터는 “새로운 스누피 워치 페이스를 선호하는데 이 페이스에도 정보가 많이 보이지 않지만 더블탭을 이용하면 스마트 스택에 있는 정보를 활용할 수 있다”라며, 모두가 사용할 수 있는 모든 상황 속에서 잘 사용할 수 있는 견고하고 사용하기 쉬운 독특한 기능을 새롭게 선보이게 되어 매우 기쁘다”라고 소감을 밝혔다.