VR과 상호작용

---

 

 

1. 타인과의 상호작용

가상 환경 속에서 타인과 함께 활동하는 것은 VR 경험의 완성도와 활동 범위를 대폭 향상할 수 있기 때문에 중요한 역할을 한다.

단순하게 가상의 공간을 타인과 함께 공유하는 것부터 함께 어떠한 문제를 해결하거나, 놀이를 즐기는 등 애플리케이션의 목적에 따라 상호작용 방법과 요구되는 기술 등이 크게 달라진다.

 

1.1. 공유 경험

타인과 정보와 경험을 공유하는 목적을 지닌 상호작용이다.

여기서 주의할 점은 공유(Share)와 협업(Collaborative)은 동일한 의미가 아니라는 점이다.

즉, VR 경험을 공유한다고 해서 타인과 협업하는 것이라고 단정 지어서는 안 된다.

단적인 예시로 <VR Chat>과 <Medium>이 동일한 경험을 제공하는 애플리케이션이라고 취급하지는 않을 것이다.

경험은 한 명만 수행하고 나머지는 그 경험을 관람하는 형태로 구성될 수도 있으며, 의사소통은 가능하지만 경험 그 자체에 직접적인 개입은 불가능한 경우도 존재할 수 있다.

이러한 경우에는 대부분 경험을 수행하는 사람만 HMD 기기와 같은 VR 시스템을 온전하게 착용하고, 나머지 인원은 컴퓨터 모니터나 마이크 등을 이용한 간접적인 환경에서 경험을 공유하는 경우가 대부분이다.

 

1.1.2. 공유할 수 있는 요소들

타인과 공유할 수 있는 요소들은 시스템의 구성과 애플리케이션의 목적에 따라서 달라진다.

음성을 이용한 토론이나 아이디어 공유를 위한 가상 회의실을 구현하고자 한다면 타인의 실제 모습이나 이를 반영한 아바타의 움직임이 보일 수 있어야 하며, 타인의 목소리도 들릴 수 있어야 할 것이다.

만약 공동 작업을 위해서 화이트보드나 PT와 같은 자료를 함께 공유하고자 한다면 해당 데이터를 서로 공유할 수 있는 환경(펜을 이용한 드로잉 기능, 사진이나 영상 등을 가상공간 내에 출력하는 기능 등)을 구축해야 할 것이다.

가상 세계 속에 더 많은 것들이 공유될 수 있다면, 그만큼 더 많은 공통점을 가진 체험자들이 함께 모이기 쉬워질 것이다.

다만 무엇을 공유하든 간에 기본적으로 체험자에 대한 트래킹 정보는 어디에서나 필요로 할 것이다.

 

1.3. 가상 세계를 공유하는 방법

기술적으로 가상 세계를 공유할 수 있는 방법은 체험자의 POV의 일관성에 근거해서 아래와 같이 두 가지 카테고리로 구분해 볼 수 있다.

- '완전한 다중성(Full multipresence)'라고 불리는 방식으로 모두가 몰입감 있게 경험하는 방법

- 체험자 외 관람자들(viewers)은 몰입감을 느끼지 않는 상태로 관찰(observe)만 하는 방법

전자의 경우, 타인과 본인 모두를 체험자로 취급하여 동일한 VR 시스템을 사용하도록 구현해야 할 것이며, 후자의 경우에는 체험자는 VR 시스템을 착용하고, 나머지 관람자들은 마치 무대에서 경기나 공연 등을 관람하듯이 연출하는 방안이 일반적일 것이다.

공유된 시점의 몇 가지 조합에 대해 살펴보면 아래와 같다.

- 몰입하는 체험자 한 명과 관람객들: 체험자 한 명은 HMD와 같은 VR 시스템을 사용하고, 나머지 관람객들은 외부 모니터를 통해 체험자가 어떤 경험을 수행하고/겪고 있는지를 관람하게 된다.

- 두 명 이상의 몰입하는 체험자들: 체험자들은 각각 자신의 VR 시스템을 사용해 가상 세계를 함께 경험한다. 이때 사용되는 VR 시스템의 패러다임은 모두 동일하거나 다를 수 있으나, 일반적으로 구현 난이도와 비용 등 현실적인 문제 때문에 동일한 패러다임을 사용한다.

- 개방형 디스플레이 (Open Display): 프로젝션 기반 디스플레이나 수조형 디스플레이처럼 공개적으로 누구나 육안으로 볼 수 있는 개방형 디스플레이를 사용하여 하나의 동일한 가상 세계를 다수의 체험자가 동시에 경험한다.

- 다인용 콕핏 (Multiperson Cockpit): 두 명 이상의 인원이 함께 조작해야 하는 조종실(콕핏)을 구현하여 조종실 안에 위치한 모든 체험자가 동시에 조종실 외부에 존재하는 가상 세계를 경험한다.

이러한 모든 조합은 구성과 설계에 따라 체험자들 간의 협력의 종류와 가능 범위에 영향을 미친다.

 

1.3.1. 그룹 컨트롤 (Group Control)

체험자 그룹이 가상 세계를 제어하는 방법인 그룹 컨트롤(Group Control) 기법은 시네메트릭스 사(Cinematrix.Inc)의 로란 카펜터(Loran Carpenter)와 레이철 카펜더(Rachel Carpenter)에 의해 디자인되었다.

각각의 체험자는 기권 또는 동의처럼 두 가지 선택지 중 하나를 선택할 수 있는 컨트롤러가 제공되고, 일종의 투표 형식으로 체험자 그룹의 집단적인 의사결정에 따라 가상 세계를 경험하는 방식으로 구현되었다.

이러한 방식의 공유 경험은 집단행동에 대한 흥미로운 실험을 가능하게 하였으며, 좀 더 나아가서 간단한 형태의 게임 플레이(퐁 또는 벽돌 깨기, 미로 풀기, 스키 타기 등)에 활용되기도 했다.

게임 플레이에 활용할 때는 체험자 그룹을 작은 규모로 다시 나누어서 각 그룹마다 서로 다른 역할(스키를 좌/우로 기울이기, 점프하기 등)을 배정하는 방법을 사용하기도 했다.

이러한 가상 세계 구현은 얼굴도 이름도 모르는 불특정 다수가 모인 집단에서도 구현이 가능하며, 그러한 집단에서도 게임을 클리어하기 위해 자연스럽게 협업하는 모습은 상당히 인상적으로 느껴질 것이다.

 

1.4. 우리는 왜 가상 세계를 타인과 공유해야 하는가?

가상 세계의 경험을 타인과 공유하기 위해서는 1인 경험보다 더 많은 비용과 노력을 필요로 한다.

그럼에도 가상 세계의 경험을 공유해야 하는 이유는 협업을 가능하게 만들기 위함도 있지만, 가상의 사회적 공간을 구성할 기회를 마련해 줄 수 있기 때문이다.

그렇게 구축된 가상의 사회적 공간은 굉장히 다양한 활용도를 지닌다.

새로 출시된 스포츠카를 원하는 사람과 함께 가상의 트랙에서 몰아보면서 간접적으로 차량의 성능과 만족도를 살펴보는 것처럼 마케팅 용도로 활용될 수도 있으며, <VR Chat>의 사례처럼 체험자들과 함께 수다를 떨거나 역할극 놀이를 하는 등 일종의 놀이터나 광장처럼 활용할 수도 있을 것이다.

훈련이나 교육용으로 가상 세계가 활용될 수 있다는 점은 이미 코로나19가 전 세계를 휩쓸었을 당시 누구나 공감할 수 있을 정도로 보편화되기도 했다.

다만 앞서 언급한 것처럼 1인 경험보다 더 많은 변수와 연산량, 데이터 등을 요구하기 때문에 1인 경험을 구현하는 것보다 더 높은 구현 난이도를 지니는 것은 사실이다.

가상 세계에 진입하기 위해 체험자들 모두가 갖추어야 하는 준비물, 즉 VR 시스템의 요구 성능은 어느 정도인지, 네트워크를 통해 원격으로 구축되는 가상 세계는 얼마나 빠르고 안정적인지, 체험자들 모두의 신체는 얼마나 정확하고 많이 트래킹 되어야 하는지 등이 대표적인 고려사항이 된다.

 

1.2. 협업 상호작용

협업 상호작용은 VR 시스템을 생산성 분야에서 활용할 수 있도록 만들어주기 위한 중요한 기능 중 하나이다.

이미 많은 시도를 보이고 있는 3D 모델링 분야부터 수술 시뮬레이터와 같은 훈련용 애플리케이션까지 매우 다양한 분야에서 VR 시스템을 도입하려는 시도는 오래전부터 보이고 있었으며, 이러한 분야에서의 활용도를 높이기 위해서는 규모와 목적은 달라질 수 있겠지만 타인과의 협업이 필수적이라는 사실은 변함없다.

 

1.2.1. 커뮤니케이션

협업에서 가장 중요한 기술이 바로 커뮤니케이션(의사소통)이다.

여기서 말하는 커뮤니케이션은 텍스트나 음성을 통해 소통하는 언어적인 방법과 악수나 손 제스처, 고개의 움직임, 얼굴의 표정 등을 활용한 비언어적인 방법 모두를 의미한다.

언어적 방법은 음성 채팅이나 통화처럼 이미 오래전부터 활용되고 있던 방법을 그대로 적용해 사용할 수 있어 구현 비용이 상대적으로 저렴하지만, 해당 언어를 모르면 의사소통이 불가능해진다는 단점이 존재한다.

비언어적 방법은 대부분 시각적 수단을 통해 정보가 전달된다.

손으로 어떠한 사물을 가리키거나, 고개를 끄덕이는 등의 신체를 활용한 제스처가 대표적이며, 이러한 비언어적 커뮤니케이션은 체험자의 신체 움직임을 트래킹 하여 아바타에 매핑해 표현하거나, 체험자의 실제 모습 자체를 카메라 등으로 촬영해 보여주는 방법으로 구현이 가능하다.

커뮤니케이션의 또 다른 방법은 가상 세계에 체험자의 흔적을 남기는 것이다.

마치 <마인크래프트>의 세계 속에서 자신의 집을 짓거나, 길을 내거나, 농장을 지어두는 것처럼 말이다.

자신의 존재를 나타내기 위한 그라피티를 그리거나, 가상의 종이에 메시지를 쓰고, 표지판과 같은 주석을 남기는 것이 대표적인 예시가 된다.

사실 이렇게 고려해 볼 수 있는 모든 방안 중에서 가장 단순한 방법은 타인과 물리적인 공간을 함께하는 것이다.

이는 CAVE 시스템처럼 고정형 디스플레이로 구현된 VR 시스템에서 가장 활용하기 좋은 방법이다.

커뮤니케이션이 일어나는 시간을 기준으로 커뮤니케이션 종류를 분류해 보자면 아래와 같다.

- 동기식 커뮤니케이션: 커뮤니케이션의 수신과 송신이 동시다발적으로 이루어진다. 실시간으로 커뮤니케이션이 이루어지는 환경이라고 생각하면 이해하기 쉽다. 현실에서 이루어지는 커뮤니케이션 방식을 모방한 사례이기도 하다.

- 비동기식 커뮤니케이션: 커뮤니케이션의 수신과 송신이 분리된 시간 상에서 이루어진다. 즉, 수신이 이루어지는 시간과 송신이 이루어지는 시간이 분리되어 있다는 것이다. 이러한 방식의 커뮤니케이션을 잘 활용한 사례가 <Death Stranding>이다. 이 게임은 직접적으로 두 명 이상의 플레이어가 만나 커뮤니케이션은 할 수 없으나, 누군가 남긴 아이템과 건축물이 다른 플레이어의 세계에 표현되고, 이에 도움을 받으면 '좋아요' 버튼을 누르거나, 앞으로 발생할 이벤트에 대한 경고 메시지, 타인에 대한 감사 인사 메시지 등을 남기는 방식으로 커뮤니케이션이 가능하다. 사실 비동기식 커뮤니케이션은 동기식 커뮤니케이션보다 구현도 쉽우며, 역사도 <MUD> 게임까지 거슬러 올라갈 정도로 유구한 전통을 자랑하는 커뮤니케이션 방식이기도 하다.

 

1.2.3. 주석

가상 세계에서 주석을 달 수 있는 능력은 체험자가 타인에게 대상을 설명하거나, 질문을 하는 등의 형태로 활용될 수 있다.

어떠한 형태와 목적을 지닌 주석이든 간에, 주석이 한 번 생성되면 체험자가 어디에 무슨 내용으로 생성되었는지를 파악할 수 있어야 한다.

주석이 이곳에 있음을 알려주는 아이콘이나, 색상 등은 애플리케이션의 특징과 세계관에 따라 조금씩 달라질 수는 있으나, 그것이 체험자가 쉽게 주석임을 알아차릴 수 있어야 한다는 점은 동일하다.

가상 세계 속 체험자가 주석을 활용할 때 고려해야 하는 사항들은 아래와 같다.

- 누구를 위한 주석인가?: 나를 위한 주석인가, 타인을 위한 주석인가?

- 언제 사용할 주석인가?: 경험을 하고 있는 지금 사용할 것인가, 추후에 사용할 것인가?

- 무엇을 위한 주석인가?: 협업을 위한 것인가, 지침/안내를 위한 것인가, 문서로서 정적인 정보를 제공하기 위한 것인가? 다만 주석은 기본적으로 일방적인 정보 전달의 개념(마치 메모처럼)이기 때문에 어떠한 목적으로 주석을 활용하든 간에 이 개념을 벗어나지는 않는다.

- 어떻게 표현되는 주석인가?: 주석은 음성, 텍스트, 제스처, 그림, 사진 등 다양한 방법으로 표현이 가능하다.

또한 주석은 아래와 같은 가상 세계 속 다양한 구성 요소에 부착될 수 있다.

- 위치/목표: 박물관과 같이 특정 목표나 장소에 대한 설명이 중요한 경험에서 주석이 유용하게 활용된다.

- POV: 가상 세계에 대한 특정 시점에 대한 코멘트로 주석을 활용할 수 있다.

- 시간: 시뮬레이션과 같은 VR 경험에서는 특정 시간에 대한 코멘트도 남길 수 있다. 이를 좀 더 정확히 표현하자면 특정 시간에 발생하는 이벤트에 대한 코멘트이다.

- 조합: 특정 시간대 또는 특정 관점에서만 벌어지는 이벤트, POV 등에 주석을 붙여 해당 조합에 대한 정보를 제공한다.

 

1.2.4. 플로어 컨트롤 (Floor Control)

플로어 컨트롤이란, 사람들이 효율적인 협업을 위해 컴퓨터 기술을 어떤 식으로 활용할 수 있는지를 다루는 컴퓨터 지원 협업 작업(Computer-Supported Cooperative Work) 분야에서 누가 협업 경험을 담당하고 있느냐를 의미하는 개념이다.

대개 "Who has the floor?(플로어가 누구죠?)"라는 식의 표현으로 사용한다.

즉, 플로어 컨트롤은 일종의 가상 세계에 대한 권한을 누가 쥐고 있는가를 명시하는 것으로, 동기식 커뮤니케이션과 비동기식 커뮤니케이션 분야 모두에 적용되는 개념이다.

플로어 컨트롤의 수준은 아래와 같이 다양한 형태로 결정된다.

- 모든 체험자가 대등한 위치에 있어 플로어 컨트롤 자체가 무시되는 경우

- 온건적인 방식으로 제어되는 경우 (손을 들면 진행자의 지시에 따라 발언권을 얻는 방식 등)

- 형식적인 방식으로 제어되는 경우 (로버트 회의진행법; Robert's Rules of Order)

- 계층적인 방식으로 제어되는 경우 (타인을 방해할 수 있는 순위가 정해져 있는 방식 등)

이러한 형태들은 모두 다양한 상황과 조건에서 이루어지는 커뮤니케이션을 통제하고 질서를 유지할 수 있도록 함에 초점을 두고 있다.

 

1.2.5. 세계 합일성 (World Congruity)

세계 일치성은 공유된 경험에 참여하는 각 참가자에게 세계가 동일하게 나타나는 정도를 의미한다.

완전히 일치된 세계는 각 참가자들이 다른 참가자가 보고 있는 것을 온전하게 볼 수 있는 세계를 의미한다.

이러한 합일성은 주로 동기적 상호작용에 초점을 두고 있지만, 꼭 그래야만 하는 것은 아니다.

타인이 남긴 마커의 흔적을 추후에 발견하게 되거나, 다른 체험자가 자신이 조작하고 있는 사물을 동시에 수정하고자 할 때, 버전 충돌 문제를 방지하기 위해 데이터 사본을 별도로 관리하는 방법처럼 비동기적 상호작용도 충분히 활용될 수 있다.

위 사진처럼 세계 합일성은 밀접한 상호작용과 커뮤니케이션을 보장하는 것이 중요하게 작용하는 훈련/교육 애플리케이션에서 큰 효과를 발휘할 수 있다.

 

---

 

2. VR 시스템과 상호작용 (메타 커맨드)

때로는 체험자 간의 상호작용도 중요하지만 체험자와 VR 시스템 간의 상호작용도 중요하게 작용한다.

이러한 상호작용은 새로운 과학적 데이터를 시각화를 위해 불러오는 명령부터 세계 속에 존재하는 대리 에이전트(a surrogate agent)를 제어하는 명령까지 다양하게 존재한다.

이러한 상호작용을 메타 커맨드(Metacommands)라고 부르며, 앞서 살펴본 상호작용과 달리 메타 커맨드는 가상 세계의 표면 아래에서, 즉 보이지 않는 영역에서 실행되는 명령들로 구성되어 있다.

많은 VR 경험에서 누군가는 어떠한 방식으로든 간에 타인뿐만이 아니라 가상 세계 그 자체도 제어해야 한다.

예를 들어 비행에 대한 공포증을 치료하기 위해 만들어진 비행 시뮬레이션을 사용할 때는 시뮬레이션을 제어하는 치료사가 비행 시뮬레이션 체험이 진행되는 동안 공포를 느끼는 수준을 조절하기 위해 시뮬레이션의 사실감이나 조작 난이도 등을 조절할 수 있어야 한다.

이때 치료사는 체험자가 사용하는 것과 동일한 형태의 VR 인터페이스가 아니라 키보드와 마우스 등을 활용해 가상 세계를 제어하게 될 것이다.

이러한 타입의 상호작용은 대리 에이전트 제어(surrogate agent control) 또는 영화의 이름에서 따온 오즈의 마법사 에이전트 컨트롤(Wizard of Oz agent control)이라고도 불린다.

 

---

 

---

수고하셨습니다!

---