VR 매체에 대한 연구

---

 
 

1. VR 매체의 특징

VR에는 해당 매체를 매우 독특한 매체로 자리 잡을 수 있도록 해주는 다양한 특징들이 존재한다.

- 시공간에 대한 감각

- 상호작용성

- 다수의 동시 참여에 대한 옵션 조정 능력

- 체험자가 경험의 서술적 흐름을 주도할 수 있는 가능성

VR은 위의 요소들을 단일 매체로 통합하여 수신자/체험자와 매체 사이의 역동적인 관계를 위한 기회를 만들어낸다.

그중에서도 VR의 가장 특별한 요소 중 하나는 체험자의 몸을 경험의 일부로 끌어들인다는 것이다.

이 덕분에 체험자의 자기 수용감각은 그들이 가상 세계를 경험하는 방법으로 작용하며, 이것이 이전 매체에서는 볼 수 없었던 다른 차원의 몰입감과 상호작용 능력 등으로 이어진다.

즉, 가상 세계에 속한 신체가 마인드(정신)의 참여로 이어진다는 것이다.

이 마인드의 참여는 결국 체험자의 신체 반응에도 영향을 미쳐 심박수, 호흡수, 전기 피부 반응 등 다양한 생체 지각의 변화를 이끌어낸다.

 

---

 

2. 고정형 내러티브, 상호작용형 내러티브

이벤트 기반의 매체(소설, 영화, 애니메이션 등)에서 창작자는 캐릭터들이 다양한 설정을 지닌 세계관 속에서 연속적인 사건의 나열을 따라가는 모습을 그려낸다.

이를 스토리라고 부르며, 그 스토리의 전개를 내러티브라고 부른다.

---

3. 서사 이론과 마스터 플롯

---

VR의 경우에는 창작자가 정보를 전달하는 방법을 선택할 수 있다.

줄거리 또는 관련 사건들, 줄거리 등을 창작자가 구성하고, 스토리를 시간 순서에 맞게 표현하거나 거슬러서 표현하는 것이 가능하다.

의도적으로 시간을 점프하거나 내러티브 방향을 결정하기 위해 체험자의 선택을 요구할 수도 있다.

즉, VR은 다른 이벤트 기반 매체보다 수신자에게 주어지는 선택의 범위가 매우 넓으며, 상호작용을 기반으로 내러티브가 전개되기 때문에 창작자의 통제력이 상당히 약하다는 특징이 있다.

이는 창작자들에게는 상당히 어려운 도전과제가 되겠지만, 체험자 입장에서 보면 이전보다 훨씬 더 몰입감이 높은 내러티브를 경험할 수 있는 좋은 기회가 될 수 있을 것이다.
 

---

 

3. 상호작용성, 참여, 멀티프레젠스

VR의 체험자는 일반적으로 시공간을 통과하는 방법으로 가상 세계 속을 탐험한다.

자신에게 가장 유리한 지점을 물리적으로 변경할 수 있다는 것은 VR 매체가 지니는 새로운 요소이다.

또한 체험자는 자유롭게 고개를 돌려서 원하는 지점에 집중할 수도 있으며, 가상 세계를 이루는 다양한 오브젝트들과 마음대로 상호작용할 수도 있다.

이러한 자유도는 내러티브 개발자의 통제력을 약화시키기 때문에 창작의 어려움을 끌어올리는 요소가 되지만, 체험자에게는 매우 높은 상호작용성을 제공함으로써 수준 높은 몰입감을 선사해 준다.

또한 VR에는 수많은 참가자들이 같은 공간에서 경험을 공유할 수 있다.

각 체험자의 아바타는 다른 체험자의 아바타들과 상호작용할 수 있으며, 동일한 공간을 함께 점유할 수 있다.

이는 때때로 협력성을 높이기도 하며, 체험자들 사이에서 새로운 사회와 문화, 공동체를 이루게 만드는 계기가 되기도 한다.

VR이 지닌 이러한 상호작용성을 처음으로 보여준 미디어 중 하나는 <WOW>로 유명한 MMORPG이다.

MMORPG에서 일어나는 수많은 사건사고들과 사람들 간의 상호작용, 그들만의 규칙과 질서에 따라 형성되는 독특한 문화와 세계관, 공동체는 VR보다 훨씬 부족한 수준의 매체에서도 충분히 다양한 상호작용성을 보여줄 수 있음을 증명한다.

VR 경험이 사용자에게 더 많은 컨트롤 능력을 제공할수록 가상 세계에 대한 참여감은 커질 수밖에 없으며, 이 컨트롤 능력의 범주 안에는 시공간도 포함된다.

즉, 체험자/청중이 가상 세계와 그 안에 존재하는 다른 사람들과의 상호작용이 가능해지면 그들에게 더 큰 존재감을 줄 수 있고, 더 큰 영향을 줄 수 있는 경험으로 이어진다는 것이다.
 

---

 

4. 내러티브의 유연성

VR도 스토리텔링의 수단으로 쓰일 수 있다.

또한 VR만의 독특한 스토리텔링의 특징이 존재하는데, 이는 인터랙티브 픽션을 다룰 때 언급되는 우려와 상당히 유사하다.

- 체험자에게 특정 선형 스토리라인(연출된 내러티브)을 따라가도록 강요해야 하는가?

- VR이 만약 선형 스토리라인을 강요한다면, 이것은 3D 영화와 어떻게 다른가?

- 만약 체험자가 내러티브를 완전히 통제할 수 있다면, (연출되지 않은 내러티브) 어떻게 관객이 내러티브의 모든 것을 볼 수 있다고 장담할 수 있는가?

- 만약 유도되지 않은 내러티브가 이루어진다면, 관객이 내러티브의 모든 것을 꼭 봐야 하는가?

연출된 내러티브는 미리 결정된 한 가지 목표 또는 대단원의 결말을 지향하는 플롯 기반 작품이 지니는 유형의 내러티브이다.

이는 말 그대로 연출된, 미리 정해진 무대를 따라 체험자가 대단원에 이르기 위해 정해진 내러티브를 순순히 따라가는 것이다.

VR에서도 이러한 연출된 내러티브를 쓸 수 있다.

하지만 이것은 VR 매체가 지니고 있는 강점 중 하나인 체험자와 가상 세계 사이의 수준 높은 상호작용성이 희생되기 때문에 경험의 만족도가 떨어질 수도 있다.

만약 연출된 내러티브를 VR 경험에 도입하고자 한다면, 체험자가 내러티브를 진행하는 데 필요한 요소를 경험하지 못했을 경우, 체험자가 이야기의 중요한 사건이나 등장인물 등을 목격하거나 상호작용에 성공할 때까지 진행 자체를 막아버리는 등의 방법이 필요할 것이다.

여기서 VR 콘텐츠를 개발하는 창작자의 입장을 돌아보자면, 체험자가 목격한 것(실제로 중요한 이벤트를 보았는가)을 판단하는데 큰 어려움이 따를 수 있다는 걸 짐작할 수 있다.

그렇다면 VR에 연출된 내러티브를 적용하는 것 자체가 무모한 생각이지는 않을까?

VR이라는 매체가 지니는 특징에 맞게 내러티브 또한 변화해야 하는 것 아닐까?

만약 VR 콘텐츠가 제공하는 스토리가 선형적인 시간의 흐름을 체험자가 따라가는 것이 아니라, 체험자가 직접 발굴하는 것이라면 어떤 느낌을 줄 수 있을까?

VR이 지니고 있는 상호작용성을 적극적으로 활용한다면 체험자가 탐험할 수 있는 공간 그 자체를 창작자가 만들고, 체험자는 능동적으로 그 세계 속을 움직이면서 상호작용을 통해 스스로 스토리를 풀어가는 것이다.

이는 사전에 계획되거나 서술된 이야기 없이 스스로 탐구하는 방식이 때문에 체험자마다 서로 다른 내러티브를 경험할 수도 있다.

이러한 내러티브를 연출되지 않은 내러티브라고 부른다.

이 경우에는 앞서 언급한 사용자 인터페이스의 존재가 매우 중요하게 부각될 것이다.

상호작용을 위해서는 사용자와 가상 세계 사이의 원활한 정보의 교류가 필수적이기 때문이다.
 

---

 

5. 폼과 장르

폼과 장르라는 단어는 미디어의 내용을 평가하고 토론을 할 때 자주 사용하는 용어들이다.

- 폼: 이야기를 구성하고 청중에게 표현하는 방법

- 장르: 각 작품들의 스타일을 분류하는 방법

---

4. 서사와 장르

---

VR에서 하나의 폼은 매우 단순한 애플리케이션 인터페이스에 해당한다.

체험자는 모델링 된 가상 세계 전체로 이동할 수 있으며, 일반적으로 일어나지 않는 공간과 시점을 경험할 수도 있다.

예를 들어 화재경보기를 듣고 침착하게 건물 밖으로 대피하는 사람들을 아무렇지도 않게 서서 텅 비어진 건물을 홀로 지켜본다거나, 정수기 옆에서 작은 목소리로 잡담을 하는 사람들의 대화를 거리낌 없이 바짝 다가가서 대화를 엿듣는 것처럼 말이다.

이러한 상호작용의 폼은 '워크스루(Walkthrough)'라고 부른다.

워크스루 외에도 다양한 VR 인터페이스 폼이 존재하며, 이는 가상 세계를 탐험하는 방법에 국한되지 않는다.

또한 폼은 체험자들이 세계의 오브젝트와 상호작용하는 방법을 포함한다.

오브젝트를 선택하여 이동시키기 위해 체험자가 오브젝트를 꼬집어서 다른 곳으로 손을 움직여 꼬집은 손가락을 푸는 등의 활동이 대표적이다.

장르와 폼의 선택은 직교적이기 때문에 특정 장르의 선택이 어떤 폼을 사용하는지에 대해 제한을 두지 않는다.

하지만 자주 함께 사용되는, 특정한 조합의 선호도는 존재할 수 있다.

 매체의 언어가 다른 작품으로 넘어갈 수 있는 것처럼 폼과 장르도 한 작품에서 다른 작품으로 넘어가는 것이 가능하다.

한 영화에서 시간의 흐름을 빠르게 감기는 시계의 초침을 클로즈 업하는 방식으로 표현했다면, 다른 장르에서도 이와 같은 기호학을 쓸 수 있다.

또한 이러한 기호학에 노출되었던 관객들은 다른 영화를 보아도 그 기호학을 바로 이해할 수 있다.

이러한 요소를 새로운 경험을 만드는 창작자 입장에서 생각해 보면, 정보 전달의 효율성을 높이기 위해서 이전에 사용된 폼과 장르를 일관되게 재사용하는 것이 유리할 수 있다.

 

---

 

6. 경험과 정보

 다른 통신 매체처럼 VR 체험도 다양한 용도로 디자인이 가능하다.

다양한 유형의 정보를 전달하기 위한 매체들을 자세히 살펴보면 각자 다른, 크고 작은 가상 세계를 담고 있음을 알 수 있다.

가장 가벼운 예시로 길의 방향을 안내하는 표지판을 떠올려보자.

이 표지판을 만드는 간판 디자이너는 아주 단순한 그림과 약간의 텍스트만으로 가상 세계를 통해 사실적인 정보를 우리에게 전달한다는 목표를 가지고 있다.

법정 재판에 참석한 화가는 자신이 목격한 장면들을 스케치하여 재판에 참석하지 못한 사람들에게 전달하기 위해 이벤트를 기록하는 목표를 가지고 있다.

VR도 다양한 목표를 가지고 다양한 경험과 정보를 제공해 줄 수 있다.

학생들에게 분자의 3D 구조를 가르치기 위해 개발된 교육용 애플리케이션, 고객에게 건물의 디자인을 보여주기 위해 3D 모델로 건물을 살펴볼 수 있도록 만들어진 산업용 애플리케이션 등이 대표적이다.

이처럼 VR 애플리케이션들은 오브젝트와 이벤트를 정보로 인코딩해야 한다.

그렇다면 인간이 느끼는 감정은 어떻게 인코딩할 수 있을까?

먼저 춤을 떠올려보자.

춤을 매개로 하여 개인의 마음에서 다른 사람의 마음으로 경험이 직접 전달되는 것은 불가능하다.

춤이라는 것은 일종의 표기법으로, 무용수의 움직임을 나타내는 용도로 사용된다.

이 때문에 춤을 추는 행동 그 자체를 기록하여 가상 세계에 복제하면 관객들에게 보여주는 것이 가능하다.

즉, 경험을 제공하는 정보 자체를 저장(인코딩)하여 전송하는 것은 가능하지만, 그렇게 저장된 정보를 통해서 취하는 경험 그 자체는 인코딩이 불가능하다는 것이다.

이는 체험자가 모두 같은 VR 경험을 한다는 보장이 없다는 것과 같은 의미가 된다.

그렇다면 여기서 생기는 의문은 "어떻게 창작자가 만든 모델이 체험자에 의해 경험될 수 있도록 가상 세계를 전송할 것인가?"이다.

 

---

 

7. 아티스트와 기술자의 역할

매체의 진보는 기술과 예술의 상호작용으로 이루어진다.

예술은 인간의 생각을 표현하는 방법, 단순한 아이디어 표현을 탐구하는 장소로 매체에 접근하며, 자신의 표현에 대해 만족할 수 있도록 새로운 요구사항을 담아 기술의 발전을 갈망한다.

기술자는 불충분해진 지금의 기술을 인지하고 더 나은 발전을 위해 이를 개선하고자 새로운 기술을 탄생시킨다.

즉, 필요는 발명의 어머니라는 것이다.

지금은 매체의 기술이 굉장히 복잡해졌기 때문에 혼자서 매체의 모든 것들을 감당하기에는 거의 불가능에 가까워졌다.

당장 게임만 하더라도 음악, 서사, 프로그래밍, 그래픽을 모두 아울러야 한다.

이러한 특징은 VR에서도 똑같이 적용되며, 이는 곧 원활한 팀워크가 필수적이라는 뜻이 된다.

기술자와 예술자 사이의 상호 이해, 관심, 협력적인 노력과 공부가 이루어져야 보다 효율적이고 효과적인 VR 개발이 가능해진다는 것이다.

여기서 중요한 점은 진정한 협력적 노력에서 기술자가 단순히 예술가의 사상의 구현자로만 인식되면 안 된다는 것이다.

오히려 통신 매체에 전문가인 기술자는 매체의 뉘앙스를 통해 메시지 자체에 통찰력이 있는 아이디어를 가져다 줄지도 모르는 법이다.

이는 모든 팀 구성원들이 자신의 기여, 다른 그룹 구성원들에 대한 적극적인 관심과 협력, 기여의 인정, 존중이 필요하다는 것을 의미한다.

 

---

 

8. VR 경험의 기록

VR 경험을 기록한다는 것은 절대 쉽지 않은 일이다.

대부분의 사람들이 이전에 했던 VR 작업을 다시 반복한다고 해도 그때마다 경험이 달라지기 마련이기 때문이다.

가장 이상적인 VR 경험의 기록은 그 경험의 실행 복사본을 보관하는 것이다.

하지만 이는 애플리케이션을 만들 때 사용된 소프트웨어와 하드웨어에 의존하는 경향이 강하다는 단점이 있다.

하드웨어와 소프트웨어는 세월이 지나면서 점차 노후화되어 예상 밖의 문제가 발생할 수도 있으며, 이것이 기록된 VR 경험을 손상시킬 수 있다.

경험을 포착하는 가장 분명한 방법은 이를 어떠한 매체에 기록하는 것이지만, 이것이 비디오, 오디오, 컨트롤러가 전해주는 진동, 사용자 생체 지각 등은 어떻게 기록할 것인지에 대한 의문을 해소해주지는 못한다.

동영상으로 녹화를 하여 VR 경험을 기록한다고 가정하면, 녹화는 제삼자의 관점인지, 체험자의 1인칭 관점인지를 고민해야 하며, 오디오를 녹음할 때 체험자의 목소리도 녹음이 되어야 하는지 등의 문제가 뒤따른다.

이러한 한계 속에서 택할 수 있는 최선의 선택지는 VR 기기를 통해 당시에 했던 경험을 다시금 수행하는 것이다.

그 외의 선택지를 보자면, 페이지 또는 스틸 사진 등을 첨부하여 말로 그때의 경험을 묘사하는 것이다.

물론 이러한 방법은 동영상 녹화보다 손실이 크겠지만 그럼에도 다양한 곳에서 이 방법을 통해 VR 작품들이 기록된 것이 사실이다.

그렇다면 우리는 대체 왜 이렇게까지 VR 경험의 기록에 집착하는 것일까?

돌린스키 외 연구진들은 VR 경험을 기록하기 위한 동기들을 제시한다.

- 역사적 보존

- 작업의 비교분석

- 더 많은 청중에게 도달

- 저널리즘 프레젠테이션을 통한 공개 노출

- 전시 기회 확대

- 파생작물 작성

- 보급과 교육

- 창의적 프로세스의 문서화

- 지적 재산권 문제에 대한 문서

 

---

 

9. MR 비디오와 뜨롱쁘레 유

VR에서 체험자는 3인칭 관점에서 가상 세계 속에서 일어나는 일들을 바라보고 다른 사람들을 관찰할 수 있다.

이는 마치 가상 세계에 몰입 중인 체험자가 실제로 그 공간에 존재하고 있다는 느낌을 제공해 준다.

즉, 만약 VR 체험자가 가상 세계 속에서 무용수의 춤을 보고 있다면, 그 세계에 있는 무용수를 구현하기 위한 요소들, VR 카메라 트래킹, 무용수들이 착용한 센서 등은 무용수가 아니라 체험자(관객)들을 위해 존재한다고 말할 수 있다.

여기서 무용수들은 단순히 혼재의 일부일 뿐이다.

이는 프로젝션 매핑의 개념과 관련이 있다.

여기서 가상 요소는 현실 세계의 오브젝트에 투영되는데, 이는 디즈니 테마 파크를 떠올려보면 이해하기 쉽다.

수많은 조각품들로 만들어진 테마 파크 안의 조형물들 위에 프로젝션 매핑을 통해서 다양한 시각 효과를 부각한다.

MS 사에서 2013년에 공개한 일루미룸(illumiRoom)은 기존의 TV나 모니터와 같은 디스플레이 장치의 경계를 넘어서 디스플레이 장치를 둘러싸고 있는 벽면과 표면에 콘텐츠를 추가하는 기술이었다.

이는 룸어라이브(RoomAlive)로 진화하여 방 전체에 콘텐츠를 추가하는 형태가 되었다.

이러한 요소들은 본질적으로 '뜨롱쁘레 유'라는 화법을 따르고 있다.

일종의 착시 효과를 통해서 일정한 위치에 서 있는 사람들이 입체적이고 사실적으로 왜곡된 그림을 인지할 수 있도록 하는 것이다.

VR의 경우에는 VR의 체험자의 위치를 기준으로 도면을 바꾼다는 차이가 있지만 본질적으로 이와 거의 동일하다.

 

---

 

---

수고하셨습니다!

---