입력 상호작용 기술의 조합과 활용

---

 

 

1. 입력 상호작용 시스템의 조합

앞서 살펴본 다양한 입력 상호작용 시스템들은 필요에 따라 조합하는 것도 가능하다.

일반적인 VR 시스템에서 사용되는 입력 상호작용 시스템들을 살펴보면 거의 대부분 여러 입력 시스템을 조합하여 사용하는 것을 알 수 있다.

고정형 VR 시스템의 경우, 머리의 위치를 추적하기 위한 완전한 6-DOF 추적 시스템이 요구된다.

또한 체험자가 어떠한 애플리케이션을 다루기 위해서는 최소한 한 개 이상의 손을 추적할 필요가 있다.

손을 추적하는 방식(핸드 트래킹)을 사용하지 않으려면 핸드 헬드 컨트롤러를 사용해야 하므로, 컨트롤러에 내장된 조이스틱(벨류에이터), 버튼, 기울임 및 가속도 감지(자이로스코프 센서) 등을 활용해야 한다.

HMD 기기를 사용하는 VR 시스템의 경우, 용도에 따라서 요구사항이 달라진다.

만약 책상에 앉아서 사용하는 용도로 설계되었다면 머리의 회전만 감지하면 되므로, 3-DOF만 보장하면 될 것이다.

손을 사용하는 작업들은 조이스틱이나 키보드, 마우스 등 우리가 기존에 사용하던 인터페이스를 재활용하는 것이 오히려 더 편하고 익숙할 것이다.

이 인터페이스 범주에는 트래킹 기능을 빼고 단순히 버튼 입력만 가능한 컨트롤러도 포함될 수 있다.

위 사진의 Google 사에서 개발한 Daydream 컨트롤러는 버튼 2개와 3-DOF 방향 트래킹이 가능한 블루투스 방식의 무선 컨트롤러이다.

Google 사에서 판매 중인 Google Chrome Cast에서나 볼 법한 형태의 컨트롤러인데, 거실에 있는 TV 앞에서 소파에 앉아 사용하는 환경을 상정했을 때 더 어울리는 듯한 외형이다.

HMD 기기는 착용 시, 체험자의 눈을 가리는 형태로 위치하므로, 별도의 센서를 사용하지 않고 HMD 기기에 부착된 카메라와 센서만으로 체험자의 신체를 추적하기 위해서는 센서나 카메라의 추적 범위가 중요하다.

이는 자이로스코프 센서를 통한 머리의 회전 인식, GPS 센서를 통한 위치 인식 등은 큰 영향을 받지 않겠지만 핸드 트래킹은 가장 많은 영향을 받을 것이다.

버튼이나 아날로그 스틱 등으로 이루어진 핸드 헬드 컨트롤러를 사용한다면 이러한 문제에서 자유롭지만, 양손을 자유롭게 사용하기 힘들고 직관적인 입력 상호작용이 불가능하다는 단점이 존재한다.

 

---

 

2. 스마트폰 VR과 입력 상호작용 시스템

스마트폰 VR은 한때 큰 관심을 받았던 시장이었으나, 지금은 사실상 사라진 플랫폼이다.

당시 스마트폰 VR 시장에 악영향을 미쳤던 것은 당시 스마트폰의 부족한 성능과 고가의 HMD 키트도 한몫을 했지만, 무엇보다 너무 제한적인 입력 상호작용 시스템이 큰 영향을 미쳤다.

이론상 스마트폰 VR 시스템은 상당한 이점을 지닌 플랫폼이었다.

별도의 컴퓨팅 장비를 따로 추가하지 않아도 스마트폰의 배터리, 프로세서, 메모리, 디스플레이, 센서, 카메라, OS 등을 그대로 사용한다는 점과 언제나 항상 들고 다니는 스마트폰의 특성과 맞물려 HMD 키트만 있으면 언제든지 VR을 경험할 수 있다.

또한 모든 연산 처리를 스마트폰이 감당하므로 초창기 HMD 기기처럼 거추장스럽고 위험한 PC와의 케이블 연결도, 독립형 VR 이후 등장한 무선 연결 방식조차도 불필요하다.

이처럼 스마트폰 VR의 편리한 휴대성은 그 당시에도 상당한 장점이었으며, 스마트폰 성능이 더욱 향상되어 하드웨어 가속을 통한 레이트레이싱 지원 기술까지 등장한 지금으로서는 더욱 매력적인 요소로 느껴질 수 있다.

하지만 스마트폰 VR 시스템은 다른 형태의 VR 시스템과 비교했을 때 입력 상호작용이 매우 제한적이었다.

이 때문에 스마트폰 VR 시스템을 통해 제공되던 대부분의 콘텐츠들이 360도 촬영 영상 시청처럼 영상물을 관람하는 형태가 대부분이었다.

삼성에서 출시한 GearVR에는 이러한 문제를 해결하고자 HMD 키트 측면에 터치패드를 추가하였으나, 조작을 위해서 팔을 항상 들고 있어야 하며, 조작을 할 때 머리 움직임에 방해가 되는 구조였다.

이는 당시 스마트폰의 부족한 연산 성능과 함께 스마트폰 VR 시장의 대표적인 걸림돌로 작용하였다.

하지만 현재는 클라우드 게임 플랫폼의 등장과 함께 모바일 OS 차원에서 게임패드를 공식적으로 지원하는 수준까지 오게 되면서 다양한 변화가 생겼다.

현재 출시된 기술들을 통해 스마트폰 VR이라는 플랫폼을 다시 살펴보자면, 아래와 같은 요소들을 구상해 볼 수 있다.

- iOS 18에 적용된 '시선 추적'을 통한 인터페이스 조작 방식의 적용

- 클라우드 게이밍 플랫폼의 등장과 함께 지원 수준이 높아진 XBOX 컨트롤러 또는 듀얼 쇼크 등의 활용 

- 클라우드 게이밍 플랫폼 적용을 통한 고사양 AAA 게임 구동 
(엑스박스 클라우드를 통한 <레지던트 이블> VR 모드 구동 등)

- 스마트폰 후면의 카메라를 사용해 핸드 트래킹 기능을 제한적인 구동

iPhone 15 시리즈 등장 이후부터 AAA 게임의 네이티브 구동이 가능하다는 점을 홍보하고 있을 정도로 현존하는 스마트폰의 연산 처리 성능은 스마트폰 VR이 처음 등장했을 시기와 비교하면 상당한 발전을 이루었다.

이뿐만 아니라 XBOX Cloud 서비스, GeForce Now 서비스 등 네트워크 환경만 갖추어져 있다면 성능이나 플랫폼과 무관하게 어디서든지 AAA 게임을 즐길 수 있는 클라우드 게이밍 서비스가 출시되면서 스마트폰의 성능도 큰 걸림돌이 되지 않는 시대가 왔다.

 

---

 

3. 입력 상호작용 기술의 활용

입력 상호작용 기술을 활용할 때, 대부분 다양한 상호작용 기술을 조합한다는 점을 언급한 바 있다.

여기서는 그러한 사례들을 VR 플랫폼과 콘솔 게임기 분야를 위주로 살펴본다.

 

3.1. 닌텐도 Wii

닌텐도는 콘솔 게임 시장에서 가장 적극적으로 실험적인 입력 상호작용 기술들을 활용한 기업일 것이다.

특히 닌텐도 Wii는 리모컨형 게임 컨트롤러를 가지고 정말 다양한 방식의 입력 기술을 적용한 모습을 보여준다.

'Wii 리모컨'이라는 이름으로 불린 이 컨트롤러는 벨류에이터 입력 시스템 방식인 자이로센서를 다양한 방식으로 활용하였다.

테니스 라켓을 휘두르거나(Wii 스포츠), 핸들 형태로 생긴 키트에 컨트롤러를 부착하여 레이싱을 즐기는(마리오 카트) 등 다양한 형태로 컨트롤러를 활용할 수 있었다.

별도의 센서 바를 설치하면 컨트롤러 정면에 부착된 적외선 센서를 통해 리모컨을 든 상태에서 팔을 움직여 커서를 조작하는 것도 가능했다.

추가로 Wii 리모컨에는 자체적으로 스피커가 내장되어 있어서 캐릭터를 선택하거나 아이템을 먹는 상황에서 효과음이 발생하기도 했다.

그 외에도 별도 구매를 통해 설치 가능한 '닌텐도 Wii 보드'는 체중계처럼 위에 올라서서 다양한 피트니스 동작을 입력하는 컨트롤러로, 무게 중심을 감지하는 센서를 통해 체험자의 자세를 인식할 수 있다.

이러한 기술들은 닌텐도가 기능성 게임, 체험자의 신체적, 정신적 몰입감에 대한 이해가 매우 높다는 것을 증명하는 사례로 손꼽히며, 닌텐도의 최근 출시 제품인 닌텐도 스위치에서도 이러한 모습은 계속 이어지고 있다.

 

3.2. 소니 DualSense 컨트롤러

소니에서 출시한 플레이스테이션 5의 핵심 요소 중 하나였던 듀얼 센스(Dual Sense) 컨트롤러는 수준 높은 햅틱 피드백 기술로 큰 관심을 받았다.

특히 가장 큰 관심을 받았던 적응형 트리거는 양쪽에 배치되어 있는 트리거에 저항 모터가 적용되어 사용 중인 총기에 탄 걸림이 발생하면 트리거가 당겨지지 않는다거나, 트리거의 압력이 실제 총기의 방아쇠 압력과 유사하게 구현되는 등 입력 상호작용 시스템을 사용할 때 이전보다 훨씬 뛰어난 몰입감을 선사하는 것이 가능했다.

진동 효과의 경우에는 게임 내에서 발생한 사운드를 인식하여 자동으로 진동 패턴을 생성하는 기술 등이 적용되었고, 이는 게임 패드를 이용한 체험이 시각, 청각을 넘어 촉각까지 자극할 수 있음을 보여주었다.

소니에서 출시한 컨트롤러는 닌텐도만큼의 자유로운 수준은 아니었지만, 그럼에도 다양한 센서를 내장하고 있어 다양한 조작이 가능했다.

컨트롤러에 내장된 자이로센서를 통해 컨트롤러를 흔들어 QTE(퀵 타임 이벤트)를 조작하거나, 정조준 버튼을 누른 상태에서 컨트롤러를 직접 기울여 미세한 조작을 하거나, 내장된 터치 패드를 이용해 미니맵 열기 등 게임 내 부가적인 기능을 수행하는 모습이 대표적이었다.

 

3.3. 로지텍 MX Stylus

로지텍에서 출시한 MX Stylus 디지타이저 펜은 Meta 사에서 출시한 Meta Quest 3와 연결하여 사용할 수 있는 VR 시스템용 디지타이저 팬이다.

VR 시스템과 무선으로 연결하고, 펜을 든 상태로 허공에 선을 긋거나, 가상의 오브젝트를 집어드는 등의 활용이 가능하다.

위와 같이 Depth API를 적용하여 현실의 사물과 펜을 접촉해 그 사물의 색상을 뽑아내는 '현실 세계의 색상 스포이트'를 구현한 사례도 있으며, 마치 가상의 3D 펜처럼 사용할 수 있다는 점 덕분에 HMD 스타일 VR 시스템의 생산성 부분에 큰 영향을 미쳤다.

일반적인 디지타이저 펜 형태인 'Apple Pencil' 제품을 기준으로 적용된 입력 상호작용 시스템들을 대강 살펴보자면, 필압 감지 및 기울임 감지에는 벨류에이터, 터치 센서를 통한 손가락 탭 제스처 감지에는 터치(버튼), 호버링 커서 기능에는 전자기 유도 등이 포함되어 있다.

이는 현실 세계에서는 매우 흔하게 접할 수 있는 하나의 펜을 가상 현실 공간에 구현하는 것조차도 굉장히 다양한 입력 상호작용 기술들이 적용되고 있음을 보여주는 예시이다.

 

---

 

---

수고하셨습니다!

---