시선 트래킹

---

 

 

1. 시선 트래킹

눈의 대략적인 위치는 머리의 위치와 방향으로 유추하는 것이 가능하다.

1인칭 시점으로 전개되는 FPS 게임을 떠올려보자.

마우스를 움직이면 시야가 움직이고 시야의 정중앙을 향해 시선이 고정되어 있다.

3인칭 시점에서 타인의 캐릭터를 살펴보면 눈은 항상 정면을 바라보고 있고, 마우스를 움직이면 캐릭터의 눈동자가 움직이는 것이 아니라 머리가 통째로 움직인다는 것을 볼 수 있다.

즉, 눈은 어떻게 보면 머리의 '자식 객체'에 해당하기 때문에, '부모 객체'에 해당하는 머리의 움직임으로도 간접적으로나마 눈의 움직임을 표현할 수 있다는 것이다.

하지만 이런 간접적인 표현이 완전하다는 뜻은 아니다.

머리는 한 방향으로 고정되어 있어도, 눈동자를 움직여 다른 사물에 시선을 고정할 수 있는 것이 더욱 현실적인 움직임이다.

이러한 현실적인 움직임은 체험자의 신체 활동을 가상 세계 속에 투영할 수 있는 VR 경험의 특성상 일반적인 FPS 게임보다 더 중요한 역할을 담당한다.

체험자의 눈을 추적한다는 것은 체험자가 어디에 관심과 집중을 두고 있는지를 알 수 있다는 것이므로, 체험자의 의도를 파악하고 그에 맞는 정보나 이벤트를 발생시키기 유리할 것이다.

또한 체험자의 시야각에 따라 범위를 나누어 초점이 잡히는 중앙 부분은 렌더링 수준을 높이고, 초점이 흐려지는 나머지 변두리 부분은 렌더링 수준을 낮춰서 최적화 성능을 끌어올리는 기술도 기대해 볼 수 있다.

그 외에도 동공의 수축과 이완까지 추적할 수 있다면, 아웃포커싱 기능을 구현하여 더욱 사실적인 가상 세계 렌더링도 가능해질 것이다.

더욱이 눈의 시선은 앞서 언급한 것처럼 체험자의 관심과 집중을 의미하기 때문에 체험자가 의도하는 바를 가리키는 일종의 '포인터'로 동작할 수도 있다.

실제로 시선 트래킹 기술을 통해 손가락을 사용하지 않고도 휴대폰을 조작할 수 있도록 도와주는 접근성 기능이 iOS 18에서 도입된 바 있으며, Meta Quest Pro에서는 체험자의 시선을 추적해 키보드 타이핑에 활용할 수 있는 기능도 제공되었다.

---

Eye tracking on Meta Quest Pro

Apple announces new accessibility features, including Eye Tracking

[논문]HMD(Head Mounted Display)에서 시선 추적을 통한 3차원 게임 조작 방법 연구

---

이처럼 시선 트래킹 기술의 도입은 다양한 이점을 가져다줄 것이라고 기대해 볼 수 있지만, 여태까지 특별하게 눈에 띄게 많은 시도가 이루어지지는 않았던 분야였다고 한다.

현재는 눈 트래킹을 위한 별도의 센서를 어뎁터 형태로 부착하거나, Meta Quest Pro처럼 HMD 기기 내부에 내장된 카메라 및 센서를 활용해 체험자가 해당 기능을 원한다면 활성화하는 방식 등으로 제공되고 있다.

스마트폰을 사용하는 VR 플랫폼의 경우, 인터페이스 조작을 위한 별도의 컨트롤러 사용이 제한되기 쉽기 때문에 체험자의 시선을 전면 카메라와 센서로 추적하여 입력 인터페이스 장치를 대체하는 방안도 고려해 볼 수 있다.

이 경우에는 동공 방향을 정확하게 트래킹 하기보다는 인터페이스 조작에 목적을 두고 있으므로, 체험자가 항상 정면을 바라보고 있는 상태임을 가정하고 시선 추적 기능을 구현하는 것이 합리적일 것이다.

만약 Meta Quest Pro의 사례처럼 동공의 움직임에 따라 시야를 움직일 수 있는, 현실의 눈 움직임과 유사한 수준으로 구현하고자 한다면 동공의 움직임과 위치를 정확하게 파악하고자 '영점'을 잡는 보정 단계가 필요할 수 있다.

 

---

 

---

수고하셨습니다!

---