손/손가락 트래킹

---

 

 

1. 손/손가락 트래킹

(손가락 트래킹 여부와 무관하게) 손 트래킹은 체험자가 가상 세계와 상호작용할 수 있는 가장 보편적인 방법 중 하나이다.

특히 다중 참가 공간(여러 체험자가 하나의 공간 속에 동시에 존재하는 일종의 '멀티 플레이' 공간)에서는 손 제스처가 체험자들 사이의 의사소통 수단으로도 쓰일 수 있어 더욱 활용도가 크다.

이러한 손 트래킹 기술은 추적용 센서를 손목 부근에 부착하거나, 손에 쥐고 사용하는 휴대용 장비를 사용하거나, 비접촉 감지 기술을 사용하는 방식 등으로 구현될 수 있다.

 

1.1. 장갑 착용식

손 전체를 덮는 장갑의 특성을 활용한 트래킹 장치로, 위치 추적용 센서가 부착되어 있는 장갑을 양손에 끼고 사용한다.

장갑이 손 전체를 덮고 있기 때문에 손의 움직임은 물론, 손가락의 움직임과 손의 굴곡도 추적할 수 있을 정보로 상세한 정보를 제공할 수 있다.

하지만 그만큼 다양한 단점도 존재하는데, 무엇보다 장갑을 착용하고 벗는 번거로운 작업이 요구된다는 것과 장갑은 일반적으로 보정이 어렵다는 것이 치명적인 단점으로 손꼽힌다.

장갑이 손 전체를 덮고 있기 때문에 손의 움직임이 둔해질 수 있으며, 장갑이 올바른 자세로 착용되지 않아 뒤틀려있거나, 헐겁게 고정되어 있다면 그만큼 오차도 커질 수밖에 없다는 것이다.

무엇보다 수많은 체험자들이 VR 기기를 다루는 공공장소의 경험을 상상해 보면, 그 수많은 체험자들이 각자의 장갑을 가지고 있다는 건 기대하기 어려울 것이다.

 

1.2. 모션 센서 방식

모션 센서 방식은 장갑처럼 별도의 장비를 신체에 착용하는 것 대신, 센서 범위 내에 있는 신체의 움직임을 추적해 인식하는 방식이다.

앞서 언급했던 광학식 트래킹 기술, 범위 탐색 트래킹 기술 등이 연관이 있다.

대표적인 모션 센서 방식 핸드 트래킹 장비로는 한국에서도 수요가 있는 Leap Motion Controller이다.

이러한 방식의 장비들은 손과 손가락의 위치와 자세를 센서가 추적하고 소프트웨어를 통해 연산된 손의 위치와 자세를 애플리케이션에 통합한다.

맨손을 그대로 추적하기 때문에 장갑과 같은 번거로운 장비가 불필요하다는 장점이 있으며, Leap Motion Controller의 경우에는 상당히 작고 가벼워 HMD 기기 전면에 부착하여 사용하는 것도 가능하다.

범위 탐색 트래킹을 다룰 때 언급된 Google 사의 '프로젝트 솔리'(Project Soli) 추진 당시, 레이더를 이용해 매우 미세한 움직임까지 추적할 수 있는 기술을 선보였고, 레이더의 장점을 활용해 센서가 사물(옷이나 주머니 등) 뒤에 가려진 상태에서도 손의 움직임을 추적할 수 있음을 보여주었다.

이처럼 센서를 사용하는 추적 방식은 센서의 추적 범위 안에 신체가 위치해야 추적이 가능하다는 점과 센서의 종류(카메라 등)에 따라서 사물에 가려진 신체를 제대로 추적할 수 없으며, 주변 환경의 영향(광량 등)을 받을 수 있다는 단점이 존재한다.

 

---

 

2. 애플리케이션 상에서의 활용

사실 장갑이나 모션 센서 등을 통해 추적된 손 모양 데이터가 온전하게 쓰이는 경우는 오히려 드물다.

손의 각 관절의 움직임 등에 대한 데이터가 상세하게 보고되면 애플리케이션이 데이터를 가공해 가상의 손을 표현하므로 개발자의 선택에 따라 사실적인 손 표현도 가능하겠지만, 대부분의 경우 이 정도 수준의 사실적인 표현이 그다지 효용성이 없는 경우가 더 많다.

결국 손을 사용한다고 해도 선택 명령을 내리기 위해 사용하는 제스처가 한 가지 형태의 단순한 자세(검지 손가락을 뻗어서 버튼을 누르기 등) 뿐이라면, 굳이 손 전체를 정확하게 추적할 노력을 기울여야 할 필요가 있을까?

이런 경우에는 오히려 장갑식 입력 장치를 사용하거나, 휴대식 컨트롤러를 사용하는 게 더 효율적일 것이다.

또는 평범한 장갑에 손가락 끝마디에만 접촉을 감지하는 센서를 부착하여 손가락의 접촉만 인식하도록 만든 장갑도 고려해 볼 수 있을 것이다.

이 장갑은 교정도 필요 없고, 인식 방식도 단순하여 손 전체를 추적하는 방식보다 오히려 정확도가 더 높을 수 있다.

현존하는 VR 기기 중 오큘러스 사에서 출시한 'Touch 컨트롤러'를 살펴보면 체험자가 컨트롤러의 버튼을 직접 누르지 않아도 어떠한 손가락이 어디에 위치해 있는지를 추적할 수 있도록 설계되어 있다.

이는 다시 말해 손가락의 위치를 제한적으로나마 추론할 수 있어 기존의 게임 컨트롤러보다 더 입체적인 조작을 보장한다는 것이다.

만약 총기를 다루는 슈팅 게임을 하고 있을 때, 트리거 위에 손가락을 올리고 있지만 트리거를 당기지 않은 상태라면 가상의 손도 트리거 위에 손가락이 올라만 가있는 상태로 렌더링 될 것이다.

만약 트리거를 당긴다면 실제 손가락의 움직임에 따라 가상의 손도 움직일 수 있다.

이와 더불어 만약 트리거에 손가락을 올려두지 않아 센서가 손가락을 감지할 수 없는 상태라면, 손가락을 트리거에서 뗀 상태라는 추론할 수 있으므로, 가상의 손도 트리거에 손가락을 올리지 않고 펼친 상태로 렌더링 될 수 있다.

즉, 손 트래킹 기술을 활용하는 애플리케이션의 종류와 특징에 맞게 그 완성도와 사실성을 적절하게 조절하는 것이 필요할 수 있다.

 

---

 

3. 추적할 손의 개수

인간의 손은 2개이다.

그런데 정말 인간의 손이 2개라고 해서 언제나 항상 2개의 손을 모두를 추적해야 할까?

그렇다면 손가락은 어떠할까? 정말로 10개의 손가락을 모두 추적해야 할까?

장갑을 사용하는 방식의 경우, 장갑을 어느 손에 착용하는지, 몇 개나 착용하는지에 따라 추적하는 손의 개수가 달라질 것이다.

또한 장갑에 부착된 센서의 존재 여부에 따라서 손가락을 아예 추적하지 않는 것도 가능하다.

만약 손가락 트래킹 없이 장갑을 한쪽만 사용한다면 구현이 매우 쉬워지며, 가격도 상당히 저렴해질 것이다.

모션 센서를 사용하는 방식은 센서 범위 안에 추적할 신체 부위가 온전히 담겨야 하기 때문에 경우에 따라 두 손을 모두 추적하기에는 추적 가능 범위가 좁게 느껴질 수도 있다.

그렇다면 앞서 언급했던 것처럼 손 트래킹 기술을 사용하는 애플리케이션의 용도와 활용도 등을 분석하여 얼마나 많은 손을 트래킹 하는 것이 만족스러운 결과를 제공하는지를 따져봐야 할 것이다.

3D 모델링 툴 등을 사용하는 경우에는 양손을 모두 사용하면 마치 찰흙을 빗듯이 모델링하는 직관적인 방식을 구현할 수 있기 때문에 양손 모두를 추적하는 방식을 구현하는 것이 더 효과적일 것이다.

하지만 사진 뷰어, 영상 뷰어 등 멀티미디어 조작이나 단순한 버튼이나 토글 등으로 이루어진 UI 조작 등의 환경에서는 굳이 양손 모두를 사용할 필요가 없을 것이다.

사진을 확대하고자 한다면 엄지와 검지 손가락을 오므리거나 펼치고, 검지 손가락으로 버튼을 누르는 등 우리에게 이미 익숙한 스마트폰 UI/UX 구성과 조작법을 재현해도 될 것이다.

물론, 양손을 모두 사용하는 방식이 한 손만 사용하는 방식보다 더 많은 유연성을 제공할 수 있다는 것은 사실이다.

 

---

 

---

수고하셨습니다!

---