범위 탐색 트래킹

---

 

 

1. 범위 탐색 기술; 외부 추적과 내부 추적

범위 탐색 기술은 송신기가 발사한 신호가 되돌아왔을 때의 데이터를 분석하는 형태로 구성된 기술로, 등대 드래킹 방식과 유사하다.

사물과 송신기 사이의 거리와 방향을 파악하기 위해 송신기가 신호를 발사하는 시간과 신호의 형태 등을 조작할 수 있으며, 이 신호는 파장 형태를 띠고 있다.

범위 탐색 기술에는 송신기와 수신기가 통합된 '송수신기' 하나만 사용하며, 주변 환경과 사용자 중 하나에만 연결되어도 동작이 가능하다.

범위 탐색 시스템이 주변 환경을 추적할 때는 '외부 추적' 방식을 사용하며, 사용자 또는 사물을 추적할 때는 '내부 추적' 방식을 사용한다.

- 외부 추적 (Outside-In Tracking): 외부에 설치되어 있는 추적 장치가 추적 장치의 범위 내에 존재하는 체험자나 사물의 움직임을 추적한다. 앞서 살펴본 등대 트래킹 방식이 대표적인 외부 추적 방식이다. 외부에 설치된 장비를 통해 제한된 범위 안에서 벌어지는 움직임만을 대상으로 하기 때문에 추적 환경을 통제하기 쉽고, 그만큼 매우 높은 정확도와 안정성을 제공한다. 다만 제한된 범위 그 자체가 단점으로도 작용할 수 있다. 

- 내부 추적 (Inside-Out Tracking): 체험자가 착용하고 있는 장비(HMD 등)에 내장되어 있는 추적 장치가 체험자 주변 환경을 바라보는 입장에서 체험자의 움직임이나 사물의 움직임 등을 추적한다. 체험자가 착용하는 기기에 추적 장치가 내장되어 있기 때문에 체험자의 시선, 움직임, 반응 등을 파악하기 쉽다. 또한 추적 범위가 따로 설정되어 있지 않으므로 자유로운 이동을 보장할 수 있다. 하지만 주변 환경의 영향에 따라 추적 정확도가 떨어질 수 있으며, 별도의 부가 장치를 다른 신체 부위에 부착하여 사용하지 않는 이상, 기기에 내장된 카메라나 센서의 범위만으로 체험자의 신체를 추적해야 하므로 추적 가능한 범위가 좀 더 제한될 수 있다.

 

1.1. 레이더 (Radar)

레이더는 인간-컴퓨터 상호작용에서 사물을 추적할 때 쓰이는 기술 중 하나로, 전파 신호를 사용한다.

광학적 조건(안개, 비, 눈 등)에 영향을 적게 받기 때문에 외부 활동에서도 적절한 성능을 유지할 수 있다.

전파는 수 백 킬로미터 정도로 긴 거리까지도 탐지할 수 있어 탐지 범위 한계에서 자유롭다.

또한 전파는 도플러 효과를 통해서 물체의 속도를 측정할 수도 있으며, 이러한 특징 때문에 항공기나 자동차 공학 분야에서도 많이 활용되고 있다.

하지만 해상도가 떨어지기 때문에 작은 물체를 감지하기에는 정확도 문제가 있다.

레이더를 인간-컴퓨터 상호작용 분야에서 사용하기 시작한 것은 비교적 최근으로, 대표적인 연구 프로젝트로는 Google 사에서 진행한 '프로젝트 솔리(Project Soli)'가 있다.

---

---

이는 레이더를 통해 손가락을 까닥거리는 수준의 미세한 제스처도 인식할 수 있도록 구현한 기술로, 볼륨 노브를 돌리는 수준의 제스처도 인식할 수 있다고 한다.

프로젝트 솔리는 레이더의 저해상도 한계를 극복하기 위해 고주파 레이더를 사용했는데, 이는 전파의 주파수는 높아질수록 더 짧은 파장을 가지므로 더 미세한 물체도 인식할 수 있다는 점을 활용한 것이다.

레이더식 범위 탐색 기술의 또 다른 장점은 레이더가 주머니처럼 무언가에 가려져있어도 문제없이 제스처를 인식할 수 있다는 것이다.

프로젝트 솔리 공개 당시에도 이러한 점을 강점으로 내세웠으며 주머니 속에 있는 휴대폰을 꺼내지 않아도 손가락 제스처만으로 볼륨을 조절하고, 스마트워치를 직접 터치하지 않아도 내비게이션 지도를 확대/축소하는 등의 모습을 보여주었다.

해당 기술은 Google 사에서 출시한 스마트폰, Pixel 4에도 'Motion Sense'라는 이름으로 적용되었으며, 버튼 조작 없이 허공 제스처로 휴대폰의 기능을 제어할 수 있는 기능이었다.

 

1.2. 라이더 (Lidar)

라이더 기술은 레이더 기술과 유사한 점이 많지만, 레이저를 사용하는 기술이다.

레이더와 달리 라이더는 고해상도 기술이기 때문에 밀리미터 단위의 측정까지도 가능하다.

하지만 탐지 거리가 레이더에 비해 상당히 짧으며, 빛을 사용하는 만큼 주변의 광학적 조건에 영향을 크게 받는다.

회전형 라이더 기술을 사용하면 360도 전방위 감지까지 가능하다는 점도 특징으로 뽑힌다.

일반적으로 자율주행차 기술을 구현할 때는 레이더와 라이더가 동시에 사용된다.

라이더의 고해상도 탐지 능력을 통해 고해상도 3D 지도를 생성하고 이를 바탕으로 올바른 경로를 자면, 레이더가 주행 중에 나타나는 주변 사물(자동차 등)을 감지해 안전거리를 확보하는 식이다.

하지만 라이더는 사용자나 사물의 실시간 트래킹으로 사용하기에는 스캔 시간이 너무 느려서 적합하지 않으며, 실시간으로 계속 변화하는 동적인 사용자나 사물보다는 더욱 정적인 대상(주변 세계의 지형 등)을 추적할 때 주로 사용된다.

 

1.3. 구조화된 광학 깊이 매핑 (Structured Light Depth Mapping)

구조화된 빛은 3D 형상, 깊이 등을 계산하기 위해 사용되는 광학 기술로, 특정한 패턴 형태(점, 선, 그리드)로 빛을 물체에 투사한 후, 물체 표면을 따라 패턴이 왜곡된 형태를 분석하여 물체의 3D 형상, 깊이 등을 추출한다.

가장 대표적인 기술 활용 예시가 Microsoft 사에서 출시한 Xbox Kinect와 Apple 사의 Face ID 기술이다.

TV 위에 설치되는 센서 바가 구조화된 적외선을 체험자에게 투사하고 체험자의 신체 모습에서 패턴을 인식하는 형태이다.

Face ID도 크게 다르지 않다. 구조화된 빛(역시 적외선)을 수천 개의 미세한 점 형태로 사용자의 얼굴에 투사하여 얼굴의 윤각과 굴곡, 형태를 3D 지도 형태로 만들어 인식한다.

이와 더불어 Face ID에서는 '온 디바이스 딥 뉴런 네트워크' 기술도 함께 적용되어 있다고 한다.

---

An On-device Deep Neural Network for Face Detection

---

구조화된 광학 깊이 매핑 기술은 다양한 타 센서 기술과 통합되어 개방된 공간에서의 6-DOF 추적을 구현할 수 있다.

---

Project Tango - Google 고객센터

 

Google shutting down Project Tango in March 2018

---

Google 사의 '프로젝트 탱고(Project Tango)'가 대표적인 예시인데, 스마트폰이나 태블릿 PC에 장착되어 있는 카메라와 센서 등을 통해 구조화된 광학 깊이 매핑 기술, 영상 트래킹 기술, 관성 트래킹 기술 등을 복합적으로 활용하여 기기 자체가 공간 지각 능력을 가질 수 있도록 하는 프로젝트였다.

다만 이 프로젝트는 하드웨어 의존적이라는 단점이 있었으며, 이후 하드웨어 독립적인 성격의 ARCore SDK로 이전되면서 해당 프로젝트는 진행이 중단되었다.

 

1.4. 이미지 기반 깊이 매핑 (Image-Based Depth Mapping)

이미지 기반 깊이 매핑은 일반적인 카메라로 촬영한 이미지를 활용하는 기술로, 별도의 센서나 조명 등을 추가하는 방식으로 주변 환경을 조작하지 않고도 이미지 데이터만 사용해 깊이 정보를 추출한다.

이는 인간의 눈처럼 양쪽에 배치된 2개 이상의 카메라를 사용해 미세하게 다른 각도에서 촬영된 여러 장의 이미지를 함께 사용하거나, 하나의 이미지에서 나타나는 텍스처 그라데이션을 분석하는 등의 방법으로 구현될 수 있다.

전자의 경우, 인간이 시각 정보를 통해서 깊이감을 이해하는 방법과 매우 유사하다.

여러 이미지 간의 미세한 불일치를 통해 깊이 맵을 만들고, 그 차이를 위치 추적에 활용하는 것이다.

후자의 경우, 사진을 촬영했을 때 거리가 멀어지면 멀어질수록 텍스처의 품질이 낮아진다는 점을 활용하여 사진 속 현장의 일부분이 사진을 촬영한 카메라에서 얼마나 멀리 있는가를 파악하는 방식이다.

이 또한 인간의 눈이 가지고 있는 능력이기도 하다.
(상세한 내용은 아래를 참고한다)

 

인간의 지각 요소: 시각

 

---

 

2. 기타 범위 인식 기술

범위 인식 기술의 종류는 무궁무진하다.

물론, 그 기술이 VR 체험에 적합한 방식인지는 별개의 문제이지만, 다양한 기술 모두 각자의 장단점이 존재하고, 필요에 따라 융합하는 것도 가능하므로, 트렌드나 구현하고자 하는 가상 경험의 요구 사항에 따라서 사용되는 기술은 언제든지 변화할 수 있다는 점을 기억하자.

대표적인 기타 범위 인식 기술들을 간단하게 다루자면, 사운드를 사용하는 방식의 초음파 기술, 자기장을 사용하는 자기 범위 기술, 펄스 신호를 사용하는 펄스 범위 기술(PRT), LED 빛을 사용하는 LED 기반 감지 및 거리 측정 기술(LEDDAR) 등이 있다.

 

---

 

---

수고하셨습니다!

---