가상 현실(Virtual Reality)이란?

---

 

 

1. '가상'과 '현실'의 정의

VR이라고 부르는 '가상 현실'은 '가상'이라는 단어와 '현실'이라는 단어가 합쳐진 용어이다.

어떻게 보면 '가상'과 '현실'은 서로 상반되는 개념으로 보일 수도 있는데, 이 두 단어가 어떻게 합쳐진 것일까?

아니, 애초에 '가상'과 '현실'은 무엇일까?

먼저 가상은 '본질적이고 효과적이지만, 실존하지는 않는 것'이라고 말할 수 있다.

컴퓨터를 다루는 사람들이라면 이 개념이 어느 정도 익숙할 것이다.

컴퓨터의 HW의 핵심 구성 요소 중 하나인 RAM의 용량이 부족할 때, 우리는 HDD 또는 SDD와 같은 보조 기억장치를 RAM 대신 사용하는 '가상 메모리(Virtual Memory)'를 활용한다.

즉, 메모리 공간이라는 본질적인 개념도 존재하며 실제로도 메모리 용량이 늘어난(것 같이 보이)는 효과도 볼 수 있다.

하지만 그렇다고 해서 실제 RAM 부품의 용량이 늘어나지는 않았기 때문에 실존한다고는 말할 수 없다.

그렇다면 현실은 무엇일까?

현실은 가상보다 의미를 풀기가 더 어렵다.

듣기만 해도 복잡하고 머리가 아파오는 철학적 논의까지 이어질 수도 있다.

그래도 최대한 간결하게 표현해 본다면 '실제 상태 또는 품질, 그것에 대한 아이디어(개념)와는 별개로 독립적으로 존재하는 무엇'이라고 말할 수 있다.

즉, 현실은 '존재하고 경험할 수 있는 장소 그 자체'를 말한다고 요약할 수 있다.

 

---

 

2. VR 경험의 5가지 핵심 요소

VR 경험을 구성하는 핵심 요소를 5가지로 정리해 보자.

가장 먼저 떠오르는 것은 가상 세계, 몰입, 상호작용일 것이다.

여기서 우리는 체험자와 크리에이터까지 덧붙여서 총 5가지의 핵심 요소를 정의한다.

 

2.1. 체험자

VR 경험은 사람들 사이에서 이루어지는 의사소통 수단임을 명심하자.

이는 즉, 모든 VR 경험의 중요한 핵심 요소 두 가지는 체험자와 창작자다.

여기서 중요도를 다시 나눈다면 체험자가 더 중요하게 여겨질 것이다.

VR 경험은 사람마다 다르게 만들어지는데, 이는 각자의 능력, 해석력, 배경, 경험, 자신만의 가상 세계를 경험하는 독특한 방법이 모두 다르기 때문이다.

즉, VR 경험이 선사하는 모든 마법들은 체험자의 마음(mind of the participants) 속에서 일어난다는 것이다.

여기서 주의할 점은 꼭 VR 경험의 체험자가 인간만 될 수 있다는 것이 아니란 점이다.

실제로 곤충이나 물고기들도 VR 경험의 체험자가 되는 다양한 실험들이 존재한다.

즉, '인간'을 위한 VR 경험이 아니라 '체험자'를 위한 VR 경험이라는 점에 집중해야 한다는 것이다.

 

2.2. 창작자

창작자는 체험자를 위한 VR 경험을 실제로 제작하는 자들을 말한다.

VR 경험을 가능하게 만드는 VR 애플리케이션을 만들고, 애플리케이션 구동에 필요한 각종 시스템들을 구축하는 등 단어 그대로 '창작자' 또는 '개발자'에 해당하는 자들이다.

 

2.3. 가상 세계

가상 세계는 매체의 콘텐츠이다.

이는 창작자들의 머릿속에 있는 추상적인 개념일 수도 있고, 다른 사람들과 함께 공유할 수 있는 형태일 수도 있다.

여기서 말하는 가상 세계는 꼭 VR 시스템 안에 있지 않아도 된다.

즉, 가상 세계라고 해서 별도로 구축된 시스템 안에서 출력되는 세계일 필요는 없다는 것이다.

연극과 영화 대본을 보면, 이는 그 공연 자체를 설명한다.

즉, 공연에서 보여주는 '가상 세계'를 서술해 둔 자료라고 할 수 있다.

이 대본을 토대로 하여 다양한 배우, 무대, 조명, 음악 등이 합쳐지면 그때 '공연'이라는 완성된 가상 세계를 경험할 수 있게 된다.

컴퓨터를 기반으로 한 가상 세계는 시뮬레이션 안에 있는 객체들의 서술이다.

우리가 시스템을 통해 보이는 가상 세계 속에서 그 세계 속에 있는 객체들과 상호작용이 가능할 때, 우리는 VR을 통해 가상 세계를 경험하고 있다고 말한다.

즉, 가상 세계는 '매체를 통해서 표현되는 상상 속 공간' 또는 '공간을 이루는 객체의 모음, 그 객체를 지배하는 규칙과 관계의 정의'를 말한다.

 

2.4. 몰입감

체험자는 어떠한 대체 현실에 몰입하고 있어야 한다는 점을 고려하여 VR을 다시 정의해 보면, '대체 현실이나 시점으로의 몰입'으로 정의할 수 있다.

그래서 이 말이 대체 무슨 뜻일까?

대체 현실이나 시점(POV)에 몰입하기 위해서는 어디로 가야 한단 말인가?

애초에 대체 현실이나 POV는 또 뭘까?

먼저 대체 세계(Alternate World)는 실제 공간의 대리일 수도 있으며, 순전히 상상 속에만 존재하는 환경일 수도 있다.

대체 세계는 종종 소설가, 작가, 다른 예술가, 개인 창작가들에 의해 주로 만들어진다.

이는 대체 세계가 인간의 상상력을 재료로 하여 만들어진다는 것을 의미한다.

갑작스러운 사고로 죽어버린 우리가 다른 세계에 떨어져서 마력을 손에 넣었으며, 곰돌이들이 하늘을 날아다니고, 매주 금요일마다 중력이 사라지는 세상에서 게임 회사를 차리는 상상을 해보자.

이런 세계를 상상할 수 있다면 그 대체 세계는 존재할 수 있다.

상상력은 가상 세계를 만드는 시작점이자, 원료이다.

우리가 원하는 시간과 장소, 수많은 사람들을 자유롭게 불러오고 이들과 함께 할 수 있도록 해준다는 것이다.

즉, 대체 세계의 한계는 상상력의 한계와 같다.

여태까지 만들어졌던 대부분의 창작물들은 이러한 대체 세계를 다양하게 만들어 표현해 왔다.

하지만 이 매체들은 대부분 창작자에서 독자(시청자)로 향하는, 일방적인 전달 형태를 띠고 있었다.

시점, 대화 내용, 이야기의 결과가 모두 결정된 상태로 진행되는 과정을 말 그대로 '바라보는' 것에 불과했다.

소설을 예시로 보자면, 독자들을 이야기의 세계로 빠져들게 만드는 작가의 능력에 따라서 대체 세계로써의 자격이 결정된다.

즉, '미메시스'라고 불리는 이야기 속 세계는 사실적, 일관되게 표현되어야 한다.

---

3. 서사 이론과 마스터 플롯

 

1. 서사의 역사

 

6. 시나리오와 쇼트

---

영화, 애니메이션 등의 영상 매체를 보면 3인칭 시점으로 이야기 속 세계를 보여주는 것이 대부분이다.

시청자와 극 속의 등장인물 사이에는 어떠한 직접적 상호작용이 존재하지 않으며, 시청자는 단순히 극 속의 세계를 '훔쳐'보는 것이 전부이기 때문에 정신적인 연결, '동일시'는 존재하지만 물리적인 연결은 존재하지 않는다.

하지만 VR은 그렇지 않다.

체험자가 정신적 몰입에서 멈추지 않고, 가상 세계로의 진입을 통해 물리적인 몰입까지도 보장한다.

즉, 체험자가 가상 세계 속에서 직접 물리적인 상호작용을 수행하면서 기존의 매체들이 보여주었던 동일시보다 훨씬 더 압도적인 동일시를 선사한다.

이러한 물리적인 몰입감은 VR이 보여주는, 다른 매체와의 차별점을 지니는 가장 핵심적인 필수 요소라고 할 수 있다.

그렇다면, 이러한 물리적인 몰입감은 어떻게 만들어지는 것일까?

물리적인 몰입감은 물리적인 법칙과 그에 따른 현실적인 상호작용이 가상 세계 속에 반영되었을 때 시작될 수 있다.

이를 위해서는 VR 시스템 상에서 체험자의 움직임을 추적할 수 있는 기술을 제공해야 한다.

고개를 돌리고, 손으로 물체를 집어드는 동작들을 추적할 수 있어야 가상 세계에서도 그 움직임을 반영해 표현할 수 있을 것이다.

VR 시스템에서 제공하는 이러한 기술들은 '트래킹(추적)'이라고 부른다.

- 포지션 트래킹(Position Tracking): 물리적 세계 속 사물의 위치(또는 방향)을 컴퓨터를 통해 감지하는 것. 일반적으로 체험자의 신체 일부 또는 전체를 감지할 수 있다.

 

2.4.1. 물리적 몰입감, 정신적 몰입감

몰입감은 물리적 몰입감, 정신적 몰입감으로 나눌 수 있다.

우리가 흔히 미디어 매체를 다룰 때 감정 또는 정신의 상태가 미디어 매체에 "빠져드는" 상태를 의미하는 몰입감은 대부분 정신적 몰입감을 뜻한다.

하지만 VR이라는 매체는 정신적 몰입감뿐만 아니라 물리적 몰입감도 함께 선사할 수 있는 매체이다.

체험자의 감각을 대체하거나 증강시킴으로써 VR 매체가 보여주는 가상 세계 속으로 끌어당긴다는 것이다.

- 몰입감: 환경 속에 존재하고 있다는 느낌. 물리적 또는 정신적으로 환경에 빠져드는 경험을 통해 느낄 수 있다.

- 물리적 몰입감: 물리적 몰입감은 체험자의 신체가 매체 안으로 들어감으로써 만들어진다. 신체 감각에 자극을 가하는 기술을 활용해야 한다. 단, 이것이 체험자의 모든 신체 또는 모든 감각이 매체 안으로 들어가야 한다는 것을 말하지는 않는다.

- 정신적 몰입감: '완전히 깊게 푹 빠져있는' 정신적 상태를 말한다. 우리가 흔히 말하는 '몰입'의 개념이 여기에 해당한다.

여기서 언급한 물리적 몰입감, 정신적 몰입감은 체험자가 '존재감'을 느끼고 있을 때 만들어질 수 있다.

즉, 체험자가 경험하고 있는 그 세계 속에 자신이라는 존재가 있음을 스스로가 느끼고 있어야 한다는 것이다.

이러한 점을 보면 VR은 기존의 매체보다 훨씬 더 몰입감에 유리한 매체임을 알 수 있다.

VR은 체험자들이 스스로 가상 세계 속에서 자신이 원하는 장소, 원하는 활동, 원하는 선택지를 통해 그 세계와 상호작용할 수 있도록 해주는 매체이다.

대부분 3인칭 시점으로 전개되는 기존의 매체와 달리 1인칭 시점으로, 자신의 의지와 판단에 따라 행동하고 경험할 수 있다는 것은 물리적 몰입감과 정신적 몰입감을 동시에 제공한다.

이와 유사하게 '현실'에도 '상상 현실'이라는 개념이 존재한다.

우리의 머릿속에서 만들어지는 상상과 꿈의 세계는 상상 현실이라고 부를 수 있다.

즉, 매체를 통해서 우리가 스스로 그 세계의 모습을 상상하고 그려내는 세계가 '상상 현실'이다.

이때, VR은 물리적인 상호작용을 통해서 상상 현실 속을 경험할 수 있게 해주는 매체로써 기능한다.

그렇기 때문에 체험자가 VR을 통해 상상 현실 속을 경험을 하는 동안에는 자신의 상상력은 적게 발휘하고, 콘텐츠 제작자의 상상력에 더 의존하게 되는 경향이 발생한다.

감각 피드백은 VR에서 물리적 몰입감을 극대화할 때 결정적인 역할을 수행한다.

VR 시스템은 직접적으로 체험자의 물리적인 위치에 맞게 체험자의 감각 기관에 피드백을 제공할 수 있다.

체험자의 두 눈을 가리는 형태의 디스플레이를 통해 제공되는 시각적 피드백, 진동 피드백, 사운드 피드백 등이 대표적이다.

이러한 즉각적인 피드백 기능들은 매우 빠른 연산 처리가 가능한 고성능 컴퓨터를 요구한다.

체험자의 움직임과 위치를 추적해 가상 세계 속에 이를 반영하고, 체험자가 손동작을 통해 사물을 집어드는 행동을 인식하는 등 다양한 신체 추적이 이 범주에 해당한다.

VR 시스템이 추적하는 체험자의 신체는 전체일 수도 있고 일부분일 수도 있다.

 

2.5. 상호작용

VR 경험의 5가지 핵심 요소의 마지막은 상호작용이다.

이는 VR 매체와 다른 매체 사이에서 유독 부각되고 앞서 언급된 몰입감을 한층 더 끌어올리는데 결정적인 역할을 하는 요소이기도 하다.

여기서 언급할 점은 상호작용을 활용한 대체 현실을 구현하는데 꼭 컴퓨터 그래픽 요소가 필요하지는 않다는 점이다.

텍스트나 이미지 등을 통해서 서술된 대체 현실 속 가상 세계를 체험자가 상상하는 것으로도 충분히 몰입감을 선사할 수 있다.

특히 컴퓨터를 기반으로 만들어진 대체 현실 속 가상 세계는 대부분 상호작용이 가능한 형태이기 때문에 더더욱 효과적이다.

즉, 자신이 원하는 비행기를 직접 고르고, 비행기 계기판에 있는 버튼을 직접 누르며, 쓰로틀을 원하는 데로 당기고 밀면서 자신만의 노하우로 비행기를 모는 것이 컴퓨터 기반의 대체 현실 속에서는 가능하다는 것이다.

'비주얼 노벨'이라는 용어로 자주 언급되는 텍스트 어드벤처, 시뮬레이션 게임들을 살펴봐도 가상 세계에 빠져드는 데 그렇게 대단한 연출과 그래픽이 필요하지 않다는 것을 쉽게 알 수 있다.

자신이 원하는 선택지를 골라서 다양한 분기와 흐름을 타고 결말을 향하는, 이러한 형태의 매체들을 '인터렉티브 픽션(IF)'라고도 부른다.

여기서 VR은 체험자의 능력과 신체 활동을 가상 세계 속으로 옮겨줄 수 있기 때문에 더욱 완성도 높은 상호작용을 가능하게 한다.

컴퓨터를 이용해 가상 세계 속에서 상호작용을 한다고 가정해 보자.

우리가 그 가상 세계 속에서 시선을 돌리기 위해서는 나의 머리를 돌리는 것이 아니라 마우스 또는 컨트롤러를 움직여야 한다.

즉, 현실 세계에서 우리가 행하는 방식과는 전혀 무관한, 완전히 새로운 방식의 인터페이스를 거쳐서 가상 세계 속 상호작용을 경험한다는 것이다.

현실 세계에 존재하는 현상 또는 사물을 가상 세계로 옮기고 싶다면(시뮬레이트 하고 싶다면) 어떻게 해야 할까?

먼저 현실에 존재하는 현상 또는 사물을 기반으로 수식 알고리즘을 거쳐 계산하는 과정을 거쳐야 한다.

그렇게 계산된 결과들은 당연히 수치이며, 시각화를 거치지 않아 알아보기가 힘든 상태이다.

이 수치들을 기반으로 그래픽 작업을 거치게 되면 가상 세계 속에 계산된 모습이 이미지로 그려지게 된다.

체험자의 움직임, 체험자와 가상 세계 속 사물과의 상호작용도 이와 동일한 과정을 거치게 된다.

여기에 더해서 앞서 언급한 것처럼 체험자의 행동에 따라 즉각적인 피드백이 와야 하므로, 이 계산 처리 과정이 매우 효율적이고 빠르며, 정확해야 한다.

 

2.5.1. 협업 환경

협업 환경은 타인과 함께 생산 활동이 가능한 가상의 환경을 말한다.

이를 위해서는 당연히 타인과의 상호작용이 가능해야 하며, 가상 세계 속에 체험자가 꼭 온전하게 나타나야 할 필요는 없다.

협업 환경은 게임, 시뮬레이션, 산업 등 분야를 가리지 않고 다양한 VR 애플리케이션에서 굉장히 중요한 기능으로 작용한다.

다른 사람들과 함께 동일한 환경에서 협업을 수행한다는 것은 예측이 불가능한 변수를 자연스럽게 만들어내며, 이는 체험자들에게 더욱 도전적인 환경을 만들어낸다는 것을 의미한다.

협업 환경을 언급한다면 '아바타'라는 개념도 빼놓을 수 없다.

아바타는 가상 세계 속에 체험자의 모습을 본떠서 만들어진 일종의 '분신'이며, 실시간 비디오 이미지, 모션 캡처 등의 기술을 통해 구현되기도 한다.

이 아바타는 체험자가 행하는 다양한 활동을 가상 세계 속에 반영하며, 참가자가 직접 구현한 대상이다.

또한 아바타는 체험자의 신체 전부를 반영할 수도 있지만, 손, 상체, 얼굴 등 일부분만 반영해 구현될 수도 있다.

체험자의 신체 전체를 움직임을 추적하여 아바타를 구현하는 경우에는 신체 추적 기술의 한계와 환경적인 제한을 극복하기 위해 계산되어 이미 나타난 값들을 기반으로 아직 나타나지 않은 다음 값을 추정해 내는 '보외법'을 적용하기도 한다.

---

보외법 - 위키백과, 우리 모두의 백과사전

---

여기서 한 가지 알아둘 것은 협업 환경 또한 VR 매체가 필수적이지 않다는 것이다.

꼭 고성능 연산이 가능한 컴퓨터, 체험자의 신체 움직임을 추적할 고가의 센서, 전문적인 기술 등이 뒷받침되지 않아도 충분히 가상의 협업 환경은 구현될 수 있다.

예를 들어 타인과 전화를 통해 의사소통을 하며 협업을 수행하고 있다고 가정해 보자.

이때 우리는 오디오만 존재하는 가상의 협업 환경 속에서 타인과 협업을 하고 있다고 말할 수 있다.

2인 이상의 체험자 사이에서 이루어지는 상호작용, 현실이 아닌 가상 세계에서 이루어지는 상호작용과 그 상호작용을 기반으로 한 협업 활동까지, 이미 모든 조건을 충족하고 있다.

 

---

 

3. VR이란?

그렇다면 이제 여태까지 언급한 모든 내용을 합쳐서 간략하게 VR에 대해 정의를 내려보자.

- 가상 현실(VR): 복합적인 상호작용이 가능한 컴퓨터 시뮬레이션 매체. 체험자의 위치와 행동을 감지하고, 하나 또는 그 이상의 체험자의 감각에 피드백을 제공하여 그 감각을 대체하거나 증강할 수 있다. 이를 통해 체험자에게 정신적 몰입감을 느끼게 하거나, 시뮬레이션(가상 세계)을 제공한다.

즉, 가상 현실이란:

- 커뮤니케이션의 매체이다.

- 물리적 몰입감을 요구한다.

- 복합적인 감각 피드백(자극)을 제공한다.

- 상호작용이 가능하다.

- 정신적 몰입감을 제공할 수 있다.

 

---

 

---

수고하셨습니다!

---