광학식 트래킹, 영상 트래킹, 등대 트래킹

---

 

 

1. 광학 트래킹

광학 트래킹 시스템은 체험자의 위치를 시각 정보를 통해서 추적하는 방식의 시스템이다.

시각 정보를 통한 추적은 다양한 방식으로 구현될 수 있다.

대부분의 VR 시스템은 하나 이상의 고정된 카메라를 일종의 '전자 눈'처럼 사용하여 사물 또는 사람을 모니터링하는 방식을 사용한다.

여기서 말하는 카메라는 꼭 가시광선만 인식하는 카메라일 필요가 없다.

적외선광을 사용하면 빛이 부족한 환경에서도 일괄적인 성능을 기대할 수 있으며, 체험자의 주의를 방해하지 않을 수 있기 때문에 더 나은 결과를 기대할 수도 있다.

우리가 흔히 접할 수 있는 광학 트래킹의 예시로는 PC 모니터 상단에 올려두고 사용하는 '웹캠'을 이용한 얼굴 추적 시스템이다.

스마트폰 기술이 향상됨에 따라 별도의 특수 장비 없이도 스마트폰의 전면 카메라만을 이용해서 사용자의 얼굴의 위치, 표정, 눈의 움직임 등을 광학 트래킹하고, Unity 엔진과 ARKit 등을 활용하여 손쉽게 자신만의 '3D 버튜버' 캐릭터를 만드는 것도 가능해졌다.

광학 트래킹 시스템의 매개변수는 트래킹 데이터의 범위와 품질에 제한을 가할 수 있다.

카메라를 하나만 사용하는 '단일 카메라 시스템'의 경우, 트래킹 되는 사람과 물건, 카메라 사이의 시야는 항상 명확해야 한다.

이는 광학식 추적이라는 태생적인 한계 때문이며 카메라와 추적 대상 사이의 장애물이 등장할 경우 성능이 크게 하락될 것이다.

또한 항상 카메라의 시야 범위 내에 추적 대상이 있어야 하므로 자유도 측면에서 제약이 생긴다.

이는 가시광선 외 다른 광선을 인지하는 센서를 함께 사용하거나 여러 카메라를 다양한 각도에 배치하는 방법으로 보완할 수 있지만 완벽한 해결책이 될 수는 없다.

VR 시스템은 여러 종류의 카메라를 함께 사용하여 체험자에 대한 다양한 위치 정보를 추가로 수집할 수 있다.

카메라가 체험자의 손이나 발 등을 겨누게 하여 해당 신체 부위의 움직임을 추적한다거나, 앞서 언급한 것처럼 다양한 각도에서 체험자를 추적하도록 하여 다른 카메라의 물리적인 한계를 다른 카메라가 수집한 정보를 조합해 보완하는 것이 가능하다.

 

1.1. 모션 캡처 (Motion Capture)

모션 캡처는 사람과 오브젝트의 실제 움직임을 1:1로 감지하여 애니메이션을 제작하는 기술로, 보다 현실적이고 자연스러운 애니메이션을 쉽고 빠르게 제작할 수 있도록 도와준다.

이미 해당 기술은 애니메이션, 영화, 게임 등 다양한 디지털 콘텐츠 분야에서 적극적으로 사용하고 있기 때문에 많은 사람들에게 익숙할 것이다.

VR 시스템에서도 마찬가지로 다양하게 모션 캡처 기술을 사용하고 있는데, VR 시스템에서 다루는 모션 캡처와 기존의 모션 캡처 기술과의 차이점은 트래킹 포인트의 수와 트래킹 방식에 있다.

기존의 모션 캡처 기술은 사람의 관절, 사물의 종류와 수 등에 따라서 추적을 위한 단일 기준점(마커)을 그만큼 많이 추가해야 한다.

즉, 사람이 많아지고 사물이 많아지면 그만큼 추적해야 할 정보도 많아진다는 것이다.

하지만 VR 시스템에서는 추적하는 기준점의 수는 적지만, 완전한 6-DOF(3-DOF 회전 + 3-DOF 움직임)을 획득하기 위해서 방향에 대한 정보도 요구된다.

이 때문에 VR 시스템에서 사용되는 마커의 형태를 살펴보면 마치 '왼손 좌표계'처럼 3개 ~ 6개의 축과 점이 비대칭적인 형상으로 연결된 형태를 띠고 있다.

이를 우리는 '리지드 바디'(Rigidbody) 또는 '콘스틀레이션'(Constellation)이라고 부른다.

 

---

 

2. 영상 트래킹

영상 트래킹 기술은 광학 트래킹 기술을 반전시킨 형태의 기술이다.

즉, 카메라가 고정되어 있고 체험자가 움직이는 형태가 아니라 체험자가 고정되어 있고 카메라가 움직이는 형태이다.

체험자가 원하는 데로 카메라가 움직이면서 카메라가 비추는 영상에 따라 정보가 제공되는 형태이므로, 카메라와 디스플레이, 연산 장치가 하나로 합쳐져 있는 스마트폰이나 태블릿 PC와 같은 기기에서 주로 찾아볼 수 있다.

스마트폰에 설치한 애플리케이션을 실행하고, 피규어나 바코드 등을 비추면 가상의 캐릭터나 사물이 증강 현실 형태의 3D 그래픽으로 표현되는 'AR 카드'가 대표적인 예시이다.

영상 트래킹 시스템이 제대로 동작하기 위해서는 추적 장비(스마트폰, 카메라 등)가 자신의 위치를 인지하기 위해 '랜드마크'를 명확하게 식별할 수 있어야 한다.

랜드마크를 탐색할 때는 지형지물의 형상이나 색상 등의 정보를 주로 사용하는데, 이를 위해 이미지 분석 기술이 사용된다.

초창기의 이미지 분석 기술은 컴퓨팅 성능 문제로 그 한계가 명확했으나, 현재는 크게 개선되어 수준 높은 완성도를 보여주고 있다.

영상 트래킹 방식은 현실 세계 위에 가상 세계를 얹는 방식인 '증강 현실' 분야에서 자주 사용된다.

증강 현실 분야는 가상 세계와 현실 세계가 공존하는 형태이기 때문에 VR 시스템이 현실 세계의 지형지물을 올바르게 이해하는 수준이 몰입감에 매우 큰 영향을 미친다.

가상 세계 속 오브젝트가 현실 세계의 지형지물에 따른 물리 법칙의 영향을 받도록 시뮬레이션되거나, 가상 세계의 법칙이 현실 세계의 법칙을 위반하지 않도록 구현하는 모습 등이 대표적인 예시이다.

랜드마크 탐색에는 GPS 시스템이 제공하는 데이터도 도움이 될 수 있다.

만약 체험자가 VR 기기를 가지고 보행이 가능하다고 상정한다면, 체험자가 현재 위치한 곳을 GPS 시스템을 통해 파악하면 체험자가 위치한 공간의 지형지물을 연산할 때 어떠한 연산이 필요하고 불필요한지를 구분할 수 있으므로 보다 정확한 랜드마크 탐색이 가능할 것이다.

만약 체험자가 주변에 있는 고층 건물을 바라보고 있다면, GPS가 카메라의 위치를 추적해 정확한 좌표를 보고하고, VR 시스템은 체험자가 어느 곳에 있는 어떤 고층 건물을 바라보고 있는지를 이해할 수 있기 때문에 해당 고층 건물의 이름, 역사, 현재 상태와 영업 중인 상점에 대한 정보 등 더욱 자세한 정보를 제공해 줄 수 있을 것이다.

최근에는 위치를 추적함과 동시에 해당 시각 정보를 바탕으로 지도를 작성하는 SLAM(위치 측정 및 동시 지도화) 기술이 발전함에 따라 더욱 빠르고 정교한 영상 추적이 가능해졌다.

이 SLAM 기술은 로봇 청소기나 자율 주행 자동차 등 다양한 산업 분야에서 흔히 찾아볼 수 있다.

하지만 이러한 기술은 클라우드 컴퓨팅과 대형 데이터베이스를 기본적으로 요구할 정도로 고가, 고성능, 고난도 기술이다.

그렇다면 컴퓨팅 파워가 이보다 더욱 제한되는 환경에서의 영상 트래킹 방식은 어떻게 구현될 수 있을까?

가장 대표적인 방식은 LED를 사용하는 것이다.

LED의 밝기와 깜빡임 등을 조절하여 특정한 패턴을 만들고, 이를 주변환경에 심어서 임의적인 랜드마크를 생성하는 것이다.

색이나 패턴을 사용하면 더욱 간단하게 구현이 가능하며, 동일한 원리를 응용하여 초음파를 사용할 수도 있다.

이 LED 또한 꼭 가시광선을 사용할 필요는 없으므로 필요에 따라 체험자의 방해와 부담을 줄일 수도 있다.

이러한 방식을 가장 잘 활용한 예시를 게임 업계에서 찾아보자면 닌텐도 Wii를 들 수 있다.

닌텐도 Wii의 게임 컨트롤러는 한쪽 끝에 적외선 카메라가 있으며, 이 카메라는 한 쌍의 IR 조명을 탐색하는 용도로 사용된다.

이 카메라가 탐색하는 IR 조명은 '닌텐도 Wii 센서 바'에서 방출된다.

이 센서 바는 TV 위에 부착하여 사용하는데 사실 이름만 센서 바이지, 실상은 그저 IR 조명을 방출하는 것이 고작이기 때문에 촛불 두 개만 있어도 대체가 가능하다.

 

---

 

3. 등대 트래킹

등대 트래킹 기술은 미리 설치된 발신기(등대)가 주기적으로 빛을 발사하여 수신기(체험자)가 해당 신호를 감지하게 만든 다음, 수신기는 자신이 감지한 신호를 바탕으로 발신기와 자신의 상대적인 거리를 계산하는 방식으로 자신의 위치를 추적하는 기술이다.

원래는 로봇의 움직임을 추적하기 위해 만들어진 기술이었으며, HTC Vive가 출시될 때 'Lighthouse'라는 이름으로 등장하여 HMD 기기를 착용한 사용자의 전신 움직임과 위치를 보다 정확하게 추적할 수 있도록 사용되었다.

수신기는 발신기로부터 수신한 신호의 시간 지연, 신호의 각도 등을 통해 자신의 위치와 방향을 계산한다.

발신기(등대)의 위치와 수신기 사이의 삼각측량을 통해 3D 공간에서의 체험자 위치를 정확하게 계산할 수 있으며, 온전한 6-DOF를 보장할 수 있다.

등대 트래킹은 다른 트래킹 방식들에 비해서 상당히 정확하고 자연스러운 완성도를 보여주며, 빛을 사용하는 만큼 속도 측면에서도 상당히 빠른 모습을 보여준다.

또한 등대를 별도로 설치하는 방식이기 때문에 광학 트래킹 방식보다 더 넓은 범위를 추적할 수 있어 사용자의 전신 움직임을 추적하는 것이 요구되는 VR 게임 콘텐츠와 궁합이 좋다.

하지만 등대를 미리 정확한 위치와 각도로 설치해두어야 하므로 관리가 불편하다는 점, 등대와 수신기 사이에 일정 수준 이상의 거리를 확보해야 한다는 점, 등대 안에 회전 미러가 있기 때문에 부품의 내구성 문제가 있다는 점이 단점으로 지적된다.

하지만 등대의 수와 설치 장소 등을 적절하게 지정하면 굉장히 넓은 범위를 거뜬히 소화할 수 있으며, 정확하고 빠른 위치 측정이 가능하다는 점은 등대 트래킹 기술이 지니는 강점이다.

이 덕분에 등대 트래킹 기술은 단순히 VR 체험자의 움직임을 추적하는 것을 넘어서 노르트담 대성당처럼 매우 거대한 구조물을 빠르게 스캔하여 3D 모델링을 생성하는 작업처럼 산업 현장, 문화재 복원 사업, 극사실적인 게임 레벨 디자인 작업 등 매우 다양한 분야에서 광범위하게 활용되고 있다.

 

---

 

---

수고하셨습니다!

---