현실 세계와 가상 세계

---

 

 

1. 개요

현실 세계와 가상 세계에 대한 컴퓨터 매개 인터페이스의 형태 관련 용어들은 자주 혼동되는 경우가 있다.

먼저 가상 세계와 밀접하게 관련된 다양한 표현들(VR, AR, Telepresence, Cyberspace)의 용어들이 어떻게 서로 비슷하고 다른지 간략히 요약해 보고 넘어가자.

 

1.1. VR, AR, Telepresence

VR, AR, Telepresence(텔레프레젠스)는 물리적 몰입 미디어의 세 가지 카테고리로 볼 수 있다.

- VR: 사용자가 상호작용하는 순수한 인공 환경. 물리적인 현실과 관련이 없는 컴퓨터가 생성한 가상의 공간만 존재한다.

- AR: 현실 세계와 컴퓨터가 생성한 정보를 혼합한 환경. 물리적인 현실이 신체에 가깝다.

- Telepresence: 멀리 떨어진 사용자들이 실제 환경을 보고, 서로 상호작용하고, 자신의 행동으로 영향을 미치는 것이 가능한 환경. 물리적인 현실이 신체에서 멀다.

여기서 VR과 AR 모두가 부분적, 전체적으로 컴퓨터가 인공적으로 만든 세계에 의존하기 때문에 이 두 가지 개념을 합쳐서 XR(확장 현실)이라고 부르기도 한다.

또한 VR, AR을 섞어서 몰입형 경험을 표현하고자 MR(혼합 현실)이라고 부르기도 한다.

다만 AR이라는 단어 자체가 XR, MR이 지니는 의미를 이미 포함하고 있기 때문에 엄격하게 구분 지을 필요까지는 없다.

 

1.2. Cyberspace & VR

Cyberspace(사이버 스페이스)는 조금 더 복잡한 개념으로 다루어야 한다.

사이버 스페이스와 VR은 거의 비슷하게 느껴지지만, 사이버 스페이스는 사용자의 감각을 직접적으로 대체하지 않는다는 큰 차이점이 있다.

VR은 상호작용이 반드시 여러 사람들 사이에서 일어나는 것이 아니라 한 사람과 가상 세계 사이에서도 일어날 수 있다는 점에서 사이버 스페이스와 차이점을 가진다.

- Cyberspace: 매체가 아니라 다양한 매체의 한 특징. 타인과의 정신적 몰입을 수반한다.

- VR: 컴퓨터가 매개하는 가상 세계 안에서의 감각적 몰입을 수반한다.

즉, 어떠한 매체가 사이버 스페이스가 되려면 가상 세계, 여러 명의 체험자, 그 체험자 사이의 상호작용성, 정신적 몰입의 가능성을 갖추어야 한다.

 

---

 

2. 인공 현실 (Artifacial Reality)

인공 현실은 사용자가 상호작용을 통해 참여할 수 있는, 인공적으로 만들어진 환경을 말할 때 사용되는 또 다른 용어다.

- 인공 현실: 컴퓨터 그래픽으로 구현된 가상 세계와 체험자의 신체와의 관계 측면에서 체험자의 행동을 감지, 그 행동이 가상세계 안에서 일어나고 있다는 착각을 받도록 만드는 것.

 

---

 

3. 가상

가상은 반드시 VR의 학문적 정의에 들어맞아야 하는 개념은 아니다.

컴퓨터 시스템에 가상을 추가하면 해당 시스템의 일부 구성 요소가 하드웨어적으로 확장되어 다른 소스로 실제의 것을 에뮬레이션 할 수 있다.

실제 세계에 존재하는 오브젝트가 가상으로 존재하는, 일종의 시뮬레이션된 가상 세계도 존재할 수 있다.

예를 들어 가상 부엌과 가상 테이블이 존재하는 가상의 집을 떠올려보자.

가상 부엌, 가상 테이블 모두 가상 세계에 존재하는 오브젝트이지만, 우리는 이 두 가지가 무엇을 가리키는 것인지 설명할 수 있다.

- 가상: 하나의 독립체가 다른 것의 특성을 모방한 것. 가상 세계라는 맥락에서의 가상은 가상 세계에 있는 모든 오브젝트들을 칭한다.

그렇다면 광학 분야에서 가상의 개념을 살펴보자.

이 분야에서는 렌즈나 거울을 통해서 존재하는 오브젝트를 가리킬 때 '가상 이미지'라는 단어를 사용하고 있다.

이러한 가상의 의미는 VR에서의 가상의 의미와 매우 비슷하다.

일반적으로 <Minecraft> 또는 <Second Life> 작품에서 나타나는 인터랙티브 공간을 설명할 때 VR이라는 용어를 자주 사용한다.

하지만 이러한 공간은 VR을 통해 경험할 수 있는 가상 세계임은 맞지만, 실제로는 VR이 아닌 인터페이스를 통해서 경험하는 가상 세계이다.

 

3.1. 가상 세계와 가상 환경

가상 환경은 VR, 가상 세계와 동의어로 사용되는 경우가 많다.

하지만 가상 환경은 가상 현실이라는 표현보다 우선되는 용어이다.

가상 환경은 간단하게 가상 세계로 정의될 수도 있고, 특정 VR 하드웨어 구성에 표시되는 세계를 나타낼 수도 있다.

요즘 VR 시스템이라고 부르는 1인칭 시점(POV)에서 컴퓨터가 생성한 장면(Scene)을 경험할 수 있는 인터페이스를 만들어내는 작업을 설명할 때 가상 환경이라는 단어가 자주 쓰이기도 했다.

- 가상 환경: 가상 세계, 가상 현실과 같은 인터랙티브 매체로 제공되는 가상 세계의 인스턴스.

- 가상 세계: 어떤 매체의 콘텐츠, 하나의 공간으로 이 공간을 만든 창작자의 마인드에 존재하며 어떠한 매체에를 통해 드러나기도 함, 어떠한 공간에 있는 가상 오브젝트의 모음에 대한 기술, 그 오브젝트들에 적용되는 규칙과 관계.

 

---

 

4. Cyberspace(사이버 스페이스)

역사적으로 전화기와 같은 다양한 통신 기술들은 다양한 사람들이 한 장소에 있는 것처럼 의사소통할 수 있는 수단을 제공해 왔다.

이러한 기술의 발전 속에서 가상의 공간인 '사이버 스페이스'가 자연스레 구축되어 왔는데, 이는 엄연히 VR과는 다르다는 것에 주의해야 한다.

물론, VR 기술을 사이버 스페이스 상에서의 인터페이스로 사용할 수는 있지만, 그 기술이 사이버 스페이스에 필수적이지는 않다.

간단한 텍스트, 음성, 비디오를 통해서 사이버 스페이스를 만들어낸 예시는 지금도 많이 존재한다.

사이버 스페이스는 VR 기술보다는 통신 기술과 더 밀접하게 얽히는 경향이 있는데, 대표적인 것이 '인터넷'이다.

인터넷 기술의 발전 이후 등장한 소셜 미디어, 인스턴트 메신저, 라이브 채팅, 인터넷 커뮤니티, 뉴스, 게임 등 다양한 장르의 사이버 스페이스가 등장했다.

인터넷 기술을 사용하지 않는 사이버 스페이스도 존재한다.

가장 대표적인 것이 전화이며, 라디오, 화상 회의(화상 통화) 등이 있다.

- 사이버 스페이스: 체험자의 마인드에 존재하는 장소(스페이스). 지리적으로 멀리 떨어진 사람들끼리도 원활한 상호작용이 가능하게 해주는 기술의 결과물.

사이버 스페이스에 존재하는 사람들이 사용하는 단어나 인식을 유심히 파해쳐보면 가상의 공간에 있음에도 실제 물리적 공간에 있는 것처럼 인식하고 그와 관련된 단어를 쓰고 있음을 알 수 있다.

카카오톡이나 라인과 같은 텍스트 채팅을 통해 의사소통하고 있는 모습을 한 번 떠올려 보자.

분명 우리는 텍스트를 이용해 의사소통을 하고 있지만, 간간히 '말하다'라는 표현을 쓰는 것에 어색함이 없다.

여기서 '말하다'는 표현을 엄밀히 따지고 들면, 텍스트를 사용해 의사소통하는 사이버 스페이스와는 무관한 표현이다.

즉, 우리는 사이버 스페이스를 물리적 공간과 다를 바 없이 인식하고 그 공간에 자연스럽게 녹아들고 있다는 것이다.

뉴스에서 진행되는 라이브 인터뷰도 마찬가지이다.

진행자가 "지금 여기 함께 계신 분은 가상 현실 분야의 전문가이신 허니듀 박사님이십니다."라고 말하며 허니듀 박사를 소개하는 것에 대해 아무도 어색하게 느끼지 않는다.

하지만 실제로 허니듀 박사는 물리적인 공간에서 보면 뉴스 스튜디오에 존재할 뿐, 수많은 사람들이 보고 있는 대형 스크린에 존재하는 것이 아니다.

 

---

 

5. 증강 현실 (Augmented Reality)

일부 VR 애플리케이션은 가상 표현과 물리적 세계(실제 세계)와 결합하도록 디자인되었다.

가상 표현은 사용자에게 현실 세계에서 인간이 지니고 있는 감각으로는 인지하는 것이 불가능한 추가적인 정보를 제공해 주거나, 상상 속에만 있는 오브젝트나 캐릭터들을 표현하기 위한 가상의 오브젝트를 추가할 수 있도록 해준다.

이러한 타입의 VR 애플리케이션들을 '증강 현실' 또는 '혼합 현실' 애플리케이션이라고 부른다.

즉, 현실 세계 속에 가상의 표현을 '섞는' 것이다.

AR에서 특수한 디스플레이 기술을 사용하면 사용자가 가상으로 제공되는 추가적인 정보를 통해 현실 세계를 지각할 수 있게 된다.

증강 현실은 이름에서 알 수 있듯이, 사용자의 일반적인 지각에 비해 사용할 수 있는 정보의 양을 늘려주는 것에 초점을 두고 있다.

하지만 반대로 경우에 따라서 사용자가 보는 장면이 너무 복잡해지는 것을 막기 위해 의도적으로 현실 세계의 정보를 디지털 기술로 제거하는 것도 '증강'에 포함된다.

AR은 VR의 한 종류로 볼 수 있다.

물리적 현실을 경험하는 것이 아니라 가상과 함께 물리적인 것을 포함하는 다른 종류의 현실을 다루는 것이 AR이다.

이와 반대로 VR은 현실 세계가 사라진, 특별한 종류의 AR이라고 말할 수도 있다.

AR 분야에서 일반적으로 증강되는 요소는 시각적 감각이다.

AR이 시각적 감각을 주로 증강시킨다는 점을 게임을 통해 예시를 들자면, 가장 대표적인 예시가 <The Division> 시리즈일 것이다.

무기의 현재 탄약 수, 플레이어의 체력, 눈앞에 펼쳐진 뉴욕 도심의 지도, 획득한 아이템에 대한 정보 등 게임 속에서 보이는 모든 정보들이 AR의 시각적 감각 증강 요소를 활용하고 있다.

게임 설정을 살펴보면, 플레이어가 접하게 되는 이러한 다양한 정보들은 게임 속 디비전 요원들이 AR 기술이 적용된 콘택트렌즈를 통해 실제로 보고 있는 정보라고 설명한다.

현실에서도 이러한 기술을 언급하는 모습은 쉽게 찾아볼 수 있다.

내과 의사가 수술을 하는 도중 AR을 통해서 환자의 신체 외면도를 살펴본다거나, 현재 사용 중인 장비의 상태, 환자의 상태 등을 볼 수 있는 기술이 대표적이다.

- 증강 현실: 실시간 인터랙티브 디지털 정보가 물리적 세계에 오버레이 되는 형태의 매체. 이 디지털 정보는 물리적 세계와 동일한 시간선, 동일한 공간 안에 동시에 존재한다.

많은 AR 애플리케이션들이 생활 또는 기계 시스템의 내부 구성요소를 수리하는 개념에 맞추어져 있다.

AR은 위 그림을 보아도 알 수 있지만, 이동이 가능한 시각적 디스플레이가 필요하다.

즉, AR을 제대로 활용하기 위해서는 사용자가 증강 세계 안에서 돌아다닐 수 있어야 한다는 것이다.

이를 위해서는 AR 기기 자체가 오래 착용하고 돌아다녀도 부담이 되지 않도록 가벼워야 하고, 누구나 다루기 쉬워야 하며, 스마트폰이나 태블릿 PC처럼 대중에게 널리 보급될 수 있을 만큼 가격이 저렴해야 한다.

프로젝션 기반의 AR 시스템도 존재한다.

AR의 핵심은 가상의 정보가 현실 세계 속에 '섞여'있어야 하며, 제공되는 정보가 현실 세계에 맞춰 조정되어야 한다는 것이다.

우리는 이를 레지스트레이션(Registration)이라고 부른다.

여기서 주의할 점은 현실 세계와 가상 세계가 섞였다는 것만으로 모두 AR로 분류되지는 않는다는 것이다.

사용자가 AR을 거쳐서 보고 있는 세계는 현실 세계와 가상 정보가 합쳐진 새로운 형태의 현실 세계라고 했다.

여기서 가상 정보가 겹쳐지지 전의 현실 세계는 말 그대로 우리가 살아가고 있는, '진짜' 현실 세계여야 AR로 분류할 수 있다.

즉, 현실 세계의 구성 요소들이 가상 오브젝트로서 가상 세계의 어딘가에 존재할 수 있다면 이는 AR로 분류하지 않는다.

또한 현실 세계를 다루는 이유가 그저 사용자의 안전을 보장하기 위해서이거나, 물리적 키보드, 마우스처럼 사용자가 현실 세계에서 사용하는 입력 체계에 더 잘 접근할 수 있도록 보이는 것이 전부인 경우에도 AR로 취급하지 않는다.

즉, 아래와 같은 예시들은 AR로 취급할 수 없다는 것이다.

- VR 기기를 착용한 상태로 복싱 스포츠 게임을 즐길 때, 주변의 사물이나 사람에게 주먹을 휘둘러 사고가 나지 않도록 하기 위하여 VR 기기에 부착된 카메라가 현실 세계의 주변 환경을 비추어 착용자가 현실 세계의 주변 환경을 인지할 수 있도록 만들어주는 기능.

- VR 기기를 착용한 상태로 사용 중인 콘텐츠 내에서 인터넷 검색이나 카드 결제 정보 입력을 수행할 때 보다 편리하게 정보를 입력할 수 있도록 VR 기기를 벗지 않아도 컴퓨터에 연결되어 있는 블루투스 키보드를 사용할 수 있도록 VR 기기에 부착된 카메라가 동작하여 현실 세계의 모습을 일시적/영구적으로 비추어 보여주는 기능.

 

---

 

6. 텔레프레젠스 (Telepresence)

VR 기술과 밀접하게 연관이 있는 텔레프레젠스는 비디오카메라, 마이크 등과 같은 변환기를 통해서 이에 상응하는 체험자의 감각을 대신하는 형태의 매체이다.

체험자는 자신의 감각 기관을 대체하는 다양한 변환기를 통해 원격으로 1인칭 시점으로서 보거나 듣는 것이 가능하다.

또한 원격으로 멀리 떨어진 장소에서 상호작용을 하거나 영향을 미치는 것도 가능하다.

이처럼 텔레프레젠스는 컴퓨터로 만들어진 완전한 가상 세계가 아니라 물리적 세계를 대변한다는 점에서 기존의 VR과 차이점이 있다.

텔레프레젠스는 하나의 애플리케이션으로서 VR과 연관된 기술을 사용하여 사용자들을 가상의 공간에 배치시킨다.

'텔레프레젠스'에서 '텔레'는 거리를 의미하며 '프레젠스'는 존재하고 있거나, 그곳에 있는 상태를 의미한다.

텔레프레젠스의 예시는 심해 탐사정의 원격 조종, 우주 탐사정의 원격 조종, 폭발물 해체 로봇의 원격 조종 등 원격으로 로봇과 같은 물체를 조종하는 것이 대부분을 차지한다.

텔레프레젠스는 규모, 안전과 관련된 문제를 해결할 때 유용하게 활용될 수 있다.

외과 수술을 예시로 들면, 의사가 손으로 다루기에는 너무나도 정밀한 작업을 수행해야 할 때, 초소형 비디오카메라가 연결된 수술 장비를 이용해 환자의 신체 내부를 원격으로 보면서 정밀도 높은 작업을 수행하는 모습을 떠올릴 수 있다.

- 텔레프레젠스: 1인칭 POV에서 경험한 물리적인 실제 원격 환경과 직접적인 상호작용이 가능한 역량. 디바이스의 크기나 위치에 영향을 받지 않고 원격에서 사용자의 명령을 수행할 수 있다.

위의 텔레프레젠스 정의를 읽어보면, 사용자가 자신에게 유리한 지점에 배치한 원격 디바이스를 통해 원격 세계를 바라보는 것이라고 해석할 수 있다.

 

6.1. 텔레오퍼레이션 (Teleoperation)

텔레프레젠스와 반대되는 의미의 텔레오퍼레이션은 오퍼레이터가 원격 디바이스에 장착된 외부 카메라를 통해 다른 시점에서 원격 디바이스를 보며 환경과 상호작용하는 것을 말한다.

텔레오퍼레이션은 엄연히 텔레비전(Television)과는 다른 개념이다.

텔레비전은 체험자가 원격으로 환경을 바라만 볼 뿐, 상호작용을 하지는 않기 때문이다.

또한 일반적으로 텔레프레젠스는 내부에서 외부로 향하는 방향성을 지닌 시점을 다루지만, 텔레오퍼레이션은 외부에서 내부로 향하는 방향성을 지닌 시점을 다룬다는 차이가 있다.

이러한 차이는 RC 자동차 또는 RC 비행기를 조작하는 모습을 연상해 보면 쉽게 이해할 수 있다.

텔레프레젠스의 입장에서 본다면 오퍼레이터는 물리적으로 비행기 내부에 위치한 시점으로 환경을 바라보고, 상호작용을 수행한다.

텔레오퍼레이션의 입장에서 본다면 비행기 외부에 위치한 POV에서 비행기가 움직이는 환경을 바라보고 상호작용을 하게 된다.

즉, 오퍼레이터는 지상에 위치해 있고, 비행기가 날아다니면서 전송하는 정보들을 바탕으로 비행기의 움직임을 조작할 수 있는 명령을 원격으로 전송하는 형태인 것이다.

이처럼 텔레프레젠스와 텔레오퍼레이션의 차이는 시점(POV)의 차이라고 봐도 된다.

텔레오퍼레이션 형태의 RC 비행기 조작 예시를 텔레프레젠스 형태로 바꾸고 싶다면 비행기 내부에 카메라를 설치하여 사용자가 비행기 파일럿과 같은 POV를 가질 수 있게 만들면 된다.

이러한 RC 비행기 예시와 잘 맞아떨어지는 현실 속 예시를 하나 더 살펴보자면 무인 항공기, 드론 조작이 있다.

드론에 달려있는 카메라를 1인칭 시점에서 조작하며 레이싱을 펼치는 스포츠 종목도 존재(텔레프레젠스)하며, 수많은 드론을 조작해 하나의 드론을 마치 하나의 픽셀처럼 다루어 항공에서 다양한 퍼포먼스를 펼치는 드론 아트쇼라는 개념도 존재(텔레오퍼레이션)한다.

그렇다면 쌍안경처럼 시력을 향상해 주는 디바이스들은 텔레프레젠스일까, 텔레오퍼레이션일까?

쌍안경은 사용자가 어떠한 장면을 바라볼 때, 인간의 시력으로는 보기 힘든 곳의 물체들을 매우 가까이 있는 것처럼 확대하여 보여주는 장비이다.

하지만 쌍안경으로 멀리 있는 물체를 가깝게 바라볼 수 있다고 해도 그 물체와 사용자가 상호작용하는 것은 불가능하다.

즉, 앞서 언급한 텔레비전처럼 단순히 '바라보는 것'만 가능할 뿐, '상호작용하는 것'은 불가능하기 때문에 단방향 소통 연결 수단으로 분류되며, 이는 텔레프레젠스나 텔레오퍼레이션 모두에 해당하지 않는다는 것을 의미한다.

그렇다면 스카이프(Skype) 또는 줌(Zoom)처럼 원격 화상 채팅 애플리케이션은 어떨까?

이 또한 쌍안경과 마찬가지이다.

그저 사이버 스페이스 상에서 다른 사람들과 커뮤니케이션을 할 수 있다는 예시일 뿐, 텔레프레젠스나 텔레오퍼레이션의 개념과는 관계가 없다.

단지 화상 채팅에 참가한 체험자들은 다른 체험자들과 함께 동일한 공간에 있다고 인지하는 것까지만 가능할 뿐이다.

 

---

 

---

수고하셨습니다!

---