비폐쇄형 머리 기반 디스플레이 (See-Through HBD)

---

 

 

1. 비폐쇄형 머리 기반 디스플레이

비폐쇄형 머리 기반 디스플레이는 앞서 살펴본 HBD(머리 기반 디스플레이)의 또 다른 형태로, AR(증강현실)을 표현할 때 주로 사용된다.

체험자가 현실 세계 속의 물리적인 환경과 가상 세계 속의 애플리케이션이 렌더링 하는 데이터를 동시에 겹쳐서 봐야 하는 환경에서 활용할 수 있도록 설계되었기 때문에 현실 세계의 모습 위에 가상 이미지를 겹쳐서 보는 '시선 통과' 효과를 구현하는 것이 핵심이 된다.

광학식으로 이를 구현하기 위해서는 렌즈나 거울 등을 사용하며, 비디오 방식으로는 카메라를 이용해 촬영되는 현실 세계의 모습을 영상으로 출력하는 방법을 주로 사용한다.

기존에 살펴본 HMD 기기 대부분은 폐쇄형 구조를 띄고 있어 광학적인 방법으로 현실 세계의 모습을 보여주는 방법은 물리적으로 어려움이 있다.

Apple 사의 Vision Pro 제품이나 Meta 사의 Meta Quest Pro와 같은 제품들을 살펴보면 전면부에 렌즈, 거울 등이 장착된 것이 아니라 완전히 막힌 상태에서 따로 부착된 카메라를 이용해 체험자 주변의 현실 세계 모습을 촬영하여 보여주는 방식을 사용하고 있다.

반면에 현재는 개발이 중단된 Google 사의 Google Glass, 현재 개발이 진행 중인 Meta 사의 Project Orion 제품이 대표적인 광학식으로 구현된 제품들이다.

광학식으로 구현된 기기는 비디오 방식을 사용하는 기기보다 무게와 두께가 가볍고 소형화에 유리하지만, 그만큼 많은 센서나 카메라 등을 부착하기에 어려움이 따른다는 단점도 존재한다.

어떠한 방식을 사용하든 간에, 비폐쇄형 머리 기반 디스플레이가 구현하는 증강 현실은 체험자가 위치한 물리적인 세계의 장면 위에 '주석'을 다는 것을 기본 개념으로 사용한다.

현실 세계에 존재하는 사물을 인지하고 그 사물을 다루기 위한 세부 지시사항을 가상의 텍스트와 이미지를 담은 매뉴얼로 보여주거나, 부품이 배치되어야 하는 위치를 알려주는 등 현실 세계 속에서 체험자가 수행해야 하는 행동과 작업에 도움을 주는 것에 주로 목표를 두고 있다.

이 때문에 앞서 살펴본 폐쇄형 머리 기반 디스플레이보다 비폐쇄형 머리 기반 디스플레이가 생산성 분야에서 더 유리한 위치에 있으며, 실제로 현존하는 다양한 AR 애플리케이션을 살펴보면 시뮬레이션 또는 훈련, 교육용으로 개발된 사례를 쉽게 찾아볼 수 있다.

 

---

 

2. 비폐쇄형 머리 기반 디스플레이의 구성 요소

비폐쇄형 머리 기반 디스플레이도 HBD의 일종이기 때문에 폐쇄형 머리 기반 디스플레이에서 요구되는 항목들 대부분이 동일하게 요구된다.

이와 더불어 앞서 언급한 바와 같이 비디오 또는 광학식으로 현실 세계의 모습을 보여줄 수 있는 구성 요소도 함께 요구된다.

트래킹 장비의 경우, 현실 세계의 모습 위에 가상의 이미지를 결합하는 것을 바탕으로 하기 때문에 가상의 이미지와 현실 세계의 사물 간의 자연스러운 상호작용 및 융합이 최우선 목표이자 과제가 된다.

현실 세계에 기준 마커를 추가하여 사물의 형태와 위치를 보다 정확하게 추적할 수 있도록 준비하는 등 미리 체험자 주변에 구성 요소들을 배치하거나, 기기에 부착된 카메라나 센서 등을 통해서 시야에 들어온 사물의 형태와 위치를 실시간으로 계산하는 방법 등을 고려해 볼 수 있다.

컴퓨팅 파워와 컴퓨터 비전 알고리즘 성능의 향상 덕분에 현재는 적절한 복잡성을 가진 어떠한 정적인 이미지도 마커로 사용될 수 있는 수준까지 도달했기 때문에 체험자 주변 환경의 일부 이미지만 있어도 기준 마커를 설정할 수 있게 되었다.

이와 더불어 AR은 현실 세계 위에 가상 세계가 배치되고, 그 겹쳐진 결과물을 눈이 받아들이는 구조로 되어 있기 때문에 체험자 머리에 대한 완전한 6-DOF 추적을 요구한다.

체험자 눈의 위치와 사물을 바라보는 각도 등이 어떠한지에 따라 보여야 하는 결과물도 달라져야 하기 때문에 정밀한 트래킹 성능이 필수적이다.

가능하다면 체험자가 위치한 물리적인 현실 세계 주변의 모습에 대한 정보를 미리 수집하여 내부 모델을 디자인해 두는 것도 좋은 방법이 될 수 있다.

레이저 또는 라이다(LiDaR)를 사용하여 체험자 주변 공간을 3D로 캡처하여 모델링 데이터를 형성한 뒤, 이 데이터를 기반으로 기준 마커로 활용하여 보다 정확한 실제 사물의 위치와 각도, 회전 등을 추적하는 것이다.

라이다는 출력을 높이기가 쉽지 않아 넓은 범위를 측정하기에 불리하지만, 매우 높은 정밀도를 가지고 있다는 특징이 있는데 라이다를 주로 활용하고 있는 자율주행자동차 기술 분야와 달리 VR 기술 분야에서는 제한된 좁은 공간(실내 공간 등)을 캡처하는 용도이므로 이러한 단점이 크게 부각되지 않는다.

체험자 주변 공간을 캡처하는 것과 더불어 고고학 시뮬레이션 시스템을 구현하기 위해 동굴 속에 라이다 센서를 설치해 공간을 캡처하는 데 사용한다거나, 공장 내부에서 사용할 무인 드론이나 자율 주행 지게차 등 로봇 설비들의 운영을 위해 라이다 센서로 공장 내부를 촬영해 내비게이션 시스템에 적용하는 등 다양한 활용 방안을 고려해 볼 수도 있을 것이다.

앞서 Google 사의 Tango 프로젝트를 언급하며 등장한 'SLAM'도 이 분야에서 유용하게 활용될 수 있다.

SLAM의 경우, 위치를 추적함과 동시에 실시간으로 그 데이터를 기반으로 한 지도를 생성하는 기술이다.

임의의 공간을 이동하면서 감지한 데이터로 지도를 생성하고, 그 지도 데이터를 활용해 내부에 위치한 장애물이나 건물의 배치 등을 파악해 나가는 방식이기 때문에 라이다 센서의 예시처럼 사전에 별도의 캡처 작업을 거칠 필요도 없어진다.

 

---

 

3. 비폐쇄형 머리 기반 디스플레이의 특징

현실 세계의 모습이 그대로 노출되며, 그 현실 세계의 모습 위에 하나의 레이어를 입히는 것처럼 가상의 이미지가 덮여 씌워진다는 것은 증강 현실, 비폐쇄형 머리 기반 디스플레이가 지니는 대표적인 특징이다.

현실 세계의 모습은 가상 세계와 달리 임의로 조작이 불가능한 물리적 세계이다.

이 때문에 중력을 거스른다거나, 시간을 멈추고 되돌리는 등의 모습은 현실 세계의 법칙 기반으로 하는 AR 애플리케이션 및 비폐쇄형 머리 기반 디스플레이 상에서는 보여줄 수 없는 모습이다.

이는 마치 현실 세계의 법칙에 기반하여 전개되는 '영화'의 특징과 그러한 제약 조건에서 자유로운 '애니메이션'의 특징 사이의 관계와도 유사하다.

가상으로 렌더링 되는 이미지들은 현실 세계에 대한 충분한 데이터와 정교한 트래킹 시스템을 기반으로 하여 현실 세계를 바라보는데 불편함과 어색함이 없도록 렌더링 되어야 한다.

즉, 가상의 이미지가 현실 세계 속 사물과 동일한 공감각 개념으로 받아들일 수 있도록 렌더링 되어야 한다는 것이다.

 

---

 

4. 비폐쇄형 머리 기반 디스플레이의 인터페이스

비폐쇄형 머리 기반 디스플레이는 AR 애플리케이션을 구동하는 형태가 대부분이므로, 현실 세계 속에 존재하는 다양한 오브젝트를 인터페이스 요소로 자유롭게 활용할 수 있다.

또한 폐쇄형 머리 기반 디스플레이와 다르게 현실 세계의 모습을 그대로 보여주는 상태에서 가상의 이미지를 겹치는 형태로 구성되어 있어 컴퓨터 그래픽 기술로 렌더링 되는 가상의 인터페이스도 현실 세계의 움직임과 어색함이 없을 정도로 거의 즉각적인 반응이 요구된다.

이는 즉, 폐쇄형 머리 기반 디스플레이의 인터페이스보다 비폐쇄형 머리 기반 디스플레이의 인터페이스를 다룰 때는 응답 속도 및 정확성을 더욱 민감하게 다루어야 한다는 것을 의미한다.

폐쇄형 머리 기반 디스플레이의 경우, 현실 세계의 모습이 보이지 않는 환경에서 작업이 이루어지기 때문에 레이턴시가 발생하더라도 현실 세계에는 영향을 미치지 않는다.

하지만 비폐쇄형 머리 기반 디스플레이는 AR 애플리케이션을 다루므로, 현실 세계에서의 작업에도 큰 영향을 미치게 된다.

즉, 현실 세계에서의 움직임과 변화는 레이턴시에 영향을 받지 않고 독립적으로 진행됨에 반해 가상 세계의 인터페이스는 그보다 늦은 속도로 현실 세계를 '뒤따라'가게 된다는 것이다.

이는 광학식으로 구현된 비폐쇄형 머리 기반 디스플레이에서 보다 쉽게 접할 수 있는 문제이다.

비디오를 사용하는 방식의 경우, 촬영된 영상 이미지를 출력하는 방식이기 때문에 의도적으로 현실 세계를 촬영한 영상의 레이턴시를 조정하여 가상의 인터페이스 레이턴시와 동기화하도록 구현할 수 있어 이러한 문제에서 좀 더 자유롭다.

다만 이러한 해결방안은 체험자가 속해있는 세계관이 의도적으로 왜곡된다는 것을 의미하기 때문에 체험자에게 별도의 적응 시간과 훈련을 요구한다는 것이 단점으로 작용할 수 있다.

비폐쇄형 머리 기반 디스플레이는 현실 세계의 모습이 그대로 노출되기 때문에 프랍이나 프로브를 사용할 때 장단점이 공존하는 특징을 띤다.

나무 막대기 프랍을 체험자가 손에 쥐고 있다면, HBD 장비는 AR 그래픽으로 막대기에 설치된 프로브의 데이터를 참고하여 가상의 광선검 이미지를 '덮어씌울' 것이다.

이는 현실 세계 속에서 자신만의 가상의 광선검을 직접 손에 들고 휘두를 수 있음을 의미한다.

하지만 이는 정확한 위치에 정확한 속도로 광선검 이미지를 실시간으로 나무 막대기 위에 덮어씌우지 못한다면, 체험자의 눈에 그저 프로브가 붙은 앙상한 나무 막대기가 언제든지 그대로 노출될 수도 있음을 의미하기도 한다.

이는 컴퓨터가 생성한 가상의 이미지가 실제 오브젝트 위에 덮어씌워지는 것이기 때문에 처음부터 완전한 가상 이미지를 렌더링 하는 폐쇄형 머리 기반 디스플레이에서 사용되는 방식보다 마스킹이 더욱 어렵기 때문이다.

이러한 단점에도 불구하고 AR 애플리케이션과 비폐쇄형 머리 기반 디스플레이는 현실 세계 속에서의 활동 영역과 체험자가 실시간으로 받아들일 수 있는 정보의 양을 방대하게 확장할 수 있으며, 이는 곧 가상 세계와 현실 세계의 혼합을 가능하게 하여 그 경계를 허물 수 있다는 것을 의미하기 때문에 크게 주목받고 있다.

 

---

 

---

수고하셨습니다!

---