스마트폰 VR

---

 

 

1. 스마트폰과 VR

스마트폰 VR은 VR이 큰 관심을 받던 2010년대 시절에 급속도로 성장했으나, 부실한 콘텐츠 시장과 컴퓨터 성능 부족 등의 복합적인 이유로 현재는 거의 사라진 VR 플랫폼이 되었다.

사실 스마트폰은 앞서 살펴보았던 HBD 기기의 구성요소 대부분을 이미 갖추고 있는, 하나의 '농축액'과도 같은 존재이다.

고해상도 디스플레이, 전면/후면 카메라, 노트북 수준으로 성장한 고성능 컴퓨팅 성능, 블루투스나 와이파이 등 무선 연결을 통한 각종 인터페이스 장비 연결 기능, 배터리, 기울임 및 움직임 감지가 가능한 자이로센서/가속도센서, 정밀한 위치 추적을 위한 GPS 센서 등 하나씩 나열하자면 정말 끝도 없는 기능들이 쏟아져 나온다.

처음 스마트폰 VR이 관심을 받았던 2010년대 시절에는 아직 스마트폰이 지금(2020년대)처럼 상향평준화가 이루어지기 전 시절이었기 때문에 컴퓨팅 성능과 디스플레이의 해상도 등 부족한 점이 많았으나, 현재는 스마트폰 하드웨어 성능으로 레이 트레이싱 렌더링에 GPU 가속화를 지원할 만큼의 발전이 이루어진 상태가 되었다.

또한 스마트폰은 꼭 VR 플랫폼과 접목하지 않더라도 이미 현대인의 삶 속에 거대한 지분을 차지하고 있으며, 수많은 데이터와 애플리케이션을 보유하고 있다.

스마트폰의 장점인 소형화 및 경량화는 VR 플랫폼에서도 큰 장점으로 작용하기 때문에 스마트폰 VR의 부활은 VR 플랫폼의 보급률에 큰 도움이 될 것이라 기대한다.

고전적인 스마트폰 VR의 모습을 살펴보자면, Google 사에서 진행했던 프로젝트인 'Google Cardboard'가 대표적이겠지만, 아이팟 2개를 양쪽에 부착하고 렌즈를 달아 스테레오스코프를 구현한 사례도 찾아볼 수 있다.

위 사진의 Google Cardboard 제품은 마분지를 접어서 간이 HBD를 제작하고, 안드로이드 스마트폰에 VR 앱을 설치하여 콘텐츠를 즐기는 방식이었다.

가격이 매우 저렴하고 무게도 가벼워서 저가형 HMD 시장을 공략하고자 했으나, 장기간 인기를 끌지는 못했다.

이후 삼성 사에서는 Gear VR이라는 이름으로 고가의 스마트폰 VR HMD 기기를 출시하였고, 이는 Google Cardboard 제품과 달리 플라스틱을 사용하여 좀 더 견고한 구조에 측면에 달린 터치패드를 이용한 커서 조작 기능을 추가하는 등 차별화를 시도했으나, 이 또한 오랫동안 인기를 끌지는 못하고 사라지게 되었다.

 

---

 

2. 스마트폰 VR의 구성요소

스마트폰 VR의 디스플레이는 스마트폰 그 자체이다.

스마트폰은 컴퓨터와 디스플레이가 결합되어 있기 때문에 스마트폰이 렌더링과 이미지 출력을 함께 담당한다.

또한 스마트폰을 머리에 고정하기 위한 마운트가 필요하며, 이 마운트에는 체험자의 눈에 맞는 렌즈 한 쌍이 내장되어야 한다.

스마트폰 VR의 단점 중 하나가 컨트롤러가 부족하다는 것인데 이는 블루투스나 와이파이 등 무선 연결을 통해 필요한 HID를 연결하여 보완이 가능하다.

현재는 XBOX나 PlayStation용 게임 컨트롤러의 연결을 공식적으로 지원하는 수준까지 왔기 때문에 스마트폰 VR 기기를 활용한 게임 콘텐츠를 즐기는 것에도 큰 무리가 없어졌다.

만약 스마트폰 후면/정면에 내장되어 있는 카메라를 활용할 수 있다면 제한적으로나마 신체 추적 기능도 기대해 볼 수 있을 것이다.

최근 출시되는 스마트폰은 카메라 렌즈를 여러 개 내장하고 있는 것은 물론, 인물 사진이나 후처리를 통한 아웃포커싱 기능 구현을 위해 LiDAR 센서 등을 내장하는 경우도 있기 때문에 광학식 신체 추적 기능 구현 시, 이전보다 더욱 높은 완성도를 기대해 볼 수 있게 되었다.

스마트폰은 그 자체만으로 독립적인 컴퓨터로 동작할 수 있고, 자체적인 생태계를 이미 가지고 있는 상태이기 때문에 다양한 콘텐츠를 활용할 수 있을뿐더러, 필요에 따라 인터넷에 접속하여 다양한 기기와 연결하거나 필요한 정보를 수집하는 것도 충분히 가능하다.

이처럼 다양한 구성요소와 특징 중에서 가장 눈에 띄는 것은 '유선으로 연결된 장치'가 없다는 것이다.

사실 2020년대에 들어서면서 HMD 기기의 성능과 기술이 발전하면서 기존의 컴퓨터와 유선으로 연결되어 하나의 독특한 디스플레이로 기능하는 수준을 넘어 무선으로 컴퓨터와 연결되거나 별도의 연결 없이도 독립적으로 동작할 수 있는 '독립형 VR'이라는 플랫폼이 대세가 되었으나, 스마트폰 VR은 이보다 훨씬 더 이른 시기에 등장하였다.

또한 스마트폰 VR은 배터리마저도 스마트폰에 내장된 배터리를 그대로 사용하기 때문에 Apple 사에서 출시한 Vision Pro의 배터리팩 액세서리 같은 별도의 장치 자체가 '아예 없는' 형태의 시스템 구현이 가능하다.

이러한 특징은 스마트폰 VR 시장이 거의 사라진 것과 다를 바 없는 2020년대 현재 시점에서 다시 살펴보았을 때, 충분히 부활할 수 있는 가능성이 존재한다고 기대해 볼 수 있다.

앞서 살펴보았던 비폐쇄형 머리 기반 디스플레이 방식을 사용하여 AR 애플리케이션 중심의 HMD 기기가 보급화된다면 더더욱 큰 기대를 가져볼 수 있을 것이다.

안경 수준으로 경량화/소형화된 기기를 구현하기 위해서는 결국 컴퓨팅 부품과 배터리를 별도의 퍽 형태로 준비한 뒤 무선으로 연결하거나, 안경 수준의 작은 범위 안에 모든 부품을 내장하는 선택지 중에서 고민해야 하는데 현실적으로 접근하자면 전자가 더욱 가능성이 크기 때문이다.

스마트폰 자체를 하나의 컴퓨터 퍽으로 활용하여 블루투스 등의 무선 연결로 안경 형태의 HMD 기기와 연결하고, 기존에 스마트폰에서 사용하던 애플리케이션(카카오톡, 전화, 인터넷 브라우저 등)을 HMD 기기 상에서 AR 애플리케이션 형태로 불러와 연속성을 보장해 주는 모습은 충분히 기대해 볼 만하다.

 

---

 

3. 스마트폰 VR의 인터페이스

기존의 스마트폰은 터치 스크린을 사용하는, '직접적인 상호작용'(Direct Interaction) 방식을 중심으로 구현된 기기이다.

하지만 VR 플랫폼과 스마트폰이 결합되는 순간 터치 스크린을 다루는 것은 불가능해지기 때문에 필연적으로 다른 형태의 상호작용 방식이 도입되어야 한다.

이러한 한계 속에서 구현할 수 있는 가장 간단한 인터페이스 구현법은 기존에 사용되던 HID 기기들을 무선으로 스마트폰과 연결해 사용하는 것이다.

키보드나 마우스, 게임 컨트롤러 등을 스마트폰과 무선으로 연결하는 방법은 이미 지금도 사용되고 있는 방법이기 때문에 VR 애플리케이션 개발자가 이러한 기능 구현을 위해 별도의 추가적인 비용과 시간 투자를 요구받지도 않는다.

다만 스마트폰 VR 또한 폐쇄형 머리 기반 디스플레이와 결이 같기 때문에 현실 세계의 모습을 체험자가 바라보기 위해서는 스마트폰 후면에 장착된 카메라 등을 활용해야 한다는 단점도 존재한다.

그 외에 다른 방법을 찾아본다면 아이 트래킹 기법을 제안할 수 있다.

스마트폰 전면에 내장된 카메라를 활용하여 체험자의 눈을 광학식으로 추적하고, 자신이 원하는 메뉴나 버튼 등을 응시하는 것을 인식하는 방법이다.

이러한 방법을 구현하기 위해서는 먼저 '퓨즈' 스타일의 입력 활성화 방법을 구현해야 할 것이다.

이 방법은 특정 메뉴나 활성화 가능한 오브젝트가 존재할 때, 체험자가 일정 시간 이상 해당 메뉴/오브젝트를 활성화 상태로 유지시키면 마치 퓨즈가 켜지고 꺼지는 것처럼 일정 시간 이후에 그 입력을 컴퓨터가 인식하고 처리하는 방식이다.

아이 트래킹을 통해 퓨즈 스타일의 입력 활성화 방법을 구현한다면 특정 버튼을 일정 시간 이상 응시하고 있으면 일종의 '타이머'가 동작하는 모습이 연출되고, 타이머가 만료될 때까지 해당 버튼을 응시하고 있었다면 해당 버튼을 클릭한 것으로 컴퓨터가 인식해 처리를 시작할 것이다.

이러한 인터페이스 구현은 일정 시간을 소모해야 다음 단계로 넘어가기 때문에 즉각적인 반응을 기대하기는 어렵지만, 게임을 비롯한 특정한 콘텐츠 분야가 아닌 기본적인 UI 조작 환경에서는 그렇게 빠른 반응이 요구될 필요는 없으므로 큰 문제가 되지 않는다.

즉, 게임과 같은 즉각적인 피드백이 요구되는 환경에서는 기존에 사용되던 게임 컨트롤러 등을 무선으로 스마트폰에 연결해 사용하다가 OS 메뉴 조작이나 비디오 감상 등 즉각적인 피드백을 요구하지 않는 환경에서는 아이 트래킹과 퓨즈 스타일 입력 방법을 함께 사용하는 방식의 구현도 구상해 볼 수 있다.

 

---

 

---

수고하셨습니다!

---