가상현실(VR)과 증강현실(AR)은 이미 익숙해진 용어입니다. VR과 AR를 활용해 현실과 가상을 연결해 양쪽의 경계가 희미해지는 경험을 제공하는 혼합현실(MR) 또는 융합현실(MR)도 심심치 않게 언급되곤 합니다. 그러다 최근 XR이 등장했습니다.

노르웨이의 퓨처그룹(The Future Group)과 언리얼 엔진으로 유명한 에픽게임즈가 XR 선도 의지를 보이고 있는데요. 두 회사에 따르면 XR은 크로스 리얼리티(Cross Reality)의 약자입니다. 타 업체에선 XR을 확장현실(eXtended Reality)로도 부르는데요

XR이 MR과 차이가 없다는 시각도 있습니다. 뒤에 등장한 XR이 마케팅 용어라는 비판인데요. VR과 AR 외엔 아직도 다양한 리얼리티 용어가 혼용되고 있다고 보면 되겠습니다.

그렇다면 최근에 등장한 XR은 어떤 콘텐츠를 칭하는 용어일까요.

퓨처그룹이 XR 기술을 처음으로 선보인 것은 ‘로스트 인 타임(Lost in Time)’ 시리즈였습니다. 2017년 노르웨이에서 방영된 이 TV쇼는 쥐라기 시대나 1920년대의 뉴욕 또는 빙하기 등 동떨어진 다양한 가상의 시대에서 참가자들이 펼치는 모험을 담은 프로그램입니다.

‘로스트 인 타임’은 이런 환경에서 실시간으로 환경을 탐색하고 상호 작용하며 도전 과제를 수행하는 참가자들의 모습을 그린 스크린 스튜디오에서 촬영했는데요. 각 에피소드는 그래픽을 향상시킨 몇 개월 후에 방영됐습니다.

퓨처 그룹은 다양한 방법으로 그래픽 품질을 향상시켰습니다. 언리얼 엔진도 사용했고요. 언리얼 엔진으로 4K 원시 리니어 파일을 분당 1000프레임으로 렌더링(영상변환)하는데 성공했습니다. 이렇게 완성된 ‘로스트 인 타임’은 방송 중 시청자가 모바일 기기로 참여할 수 있는 게임 요소로 관심을 모은 바 있습니다.

XR은 날씨 방송도 더욱 실감나게 바꿀 수 있습니다.

퓨처 그룹은 2018년 기상전문매체 웨더 채널(Weather Channel)과 함께 캐스터 뒤에 실시간으로 영상을 투사하고 전면에는 혼합현실 콘텐츠를 보여주는 생방송 시리즈를 만들었습니다. 이때도 언리얼 엔진이 활용됐습니다.

이 시리즈는 쓰러지는 전신주, 충돌하는 차량, 번개, 화재, 홍수 등의 기상 위험에 대한 정보와 팝업 표지 같은 라이브 3D 요소를 시청자에게 전달했습니다. 퓨처 그룹은 언리얼 엔진을 이용해 가까이에서 영상으로 촬영하기에는 위험한 자연재해를 실시간으로 시뮬레이션하고 실제 영상과 매끄럽게 통합하는 작업을 수행했습니다.

XR이 음악, 공연과 결합하면 어떨까요. 좋은 사례가 있습니다.

지난 2018년 인천에서 개최된 라이엇게임즈(Riot Games)의 ‘리그오브레전드(LoL) 월드 챔피언십(롤드컵)’ 개회식에 가상의 케이팝 그룹인 ‘K/DA’가 등장합니다. 데뷔곡인 ‘팝/스타(POP/STARS)’를 불렀는데요. 실제 무대에 선 라이브 공연자들이 K/DA와 함께 노래하고 춤췄습니다.

이 공연에선 가상 캐릭터의 그림자와 실제 무대에 어렴풋이 반사된 모습까지도 XR로 구현해냅니다. 카메라가 캐릭터의 움직임을 추적하면서 실시간 렌더링한 모습을 비춘 것인데요. 퓨처 그룹은 이 공연 중에 언리얼 엔진이 초당 3000만개의 폴리곤을 렌더링했다고 추산했습니다. 라이브 공연과 XR 공연은 오차는 0.06프레임. 사람이 인지가 불가능한 수준으로 오차가 없는 실시간 XR 공연을 완성했습니다.

이때 퓨처 그룹은 엔리얼 엔진의 ‘라이브링크(LiveLink)’ 기능을 활용했습니다.

실제 세트장에서 카메라가 사람을 찍고 있는 움직임에 따라서 가상의 무대에서도 그 카메라의 움직임을 추적하는 기능인데요. 이를 통해 가상의 세계가 현실로 오는 AR과 이용자가 가상의 세계로 들어가는 VR, 이를 합친 MR과 XR 콘텐츠 제작이 용이해진다는 게 언리얼 엔진을 개발한 에픽게임즈의 설명입니다.

퓨처 그룹은 ‘픽소톱(Pixotope)’이라는 언리얼 엔진 커스텀 툴을 개발해 공개할 예정인데요. 픽소톱은 영화와 같은 고품질의 크로스 리얼리티 콘텐츠를 간편하게 만들 수 있도록 지원하는 제작도구입니다. 디자이너들도 가상 세트 및 증강현실 콘텐츠를 빠르게 생산할 수 있으며 렌즈 왜곡이나 피사계 심도와 같은 카메라 및 렌즈 속성을 모의시험(시뮬레이션)할 수 있게 됩니다.

[이대호기자 블로그=게임 그리고 소셜]