촉각 디스플레이 패러다임

 

---

 

 

1. 택타일 디스플레이 (Tactile Displays)

택타일 디스플레이는 자극을 수용하는 피부의 능력에 초점을 맞춘 촉각 디스플레이다.

피부가 수용할 수 있는 자극으로는 진동, 압력, 전단, 온도, 통증 등이 있다.

피부의 자극과 관련이 있기 때문에 체험자의 손이나 몸통 등에 디바이스를 부착하거나, 체험자가 직접 디바이스를 붙잡도록 하여 구현된다.

능동적인 촉각 피드백이 없어도 체험자는 수동적인 촉각 피드백을 계속 받아들일 수 있다.

핸들을 돌릴 때마다 느껴지는 진동과 저항감이 꼭 구현되어 있지 않더라도 핸들 형태를 한 디바이스를 붙잡고 있는 것만으로 일반적인 게임 컨트롤러를 붙잡고 있는 것보다 더 현실적인 느낌을 충분히 받을 수 있다는 것이다.

 

1.1. 택타일 디스플레이의 구성요소

1.1.1. 블레이더 액추에이터 (Blader actuators)

블레이더 액추에이터는 공압 도는 유압을 통해서 주머니 안팎으로 확장 및 수축을 조정할 수 있는 구조의 장비이다.

여기서 말하는 주머니는 체험자의 신체를 감싸는 형태로, 대표적인 형태가 바로 장갑이다.

이 장비는 체험자에게 일종의 압박감을 느끼게 만들어주는 역할을 한다.

이러한 '블레이더' 형태의 장비는 제조하기가 상당히 까다로운 편이다.

이는 불특정 다수의 사람들 모두에게 원활하게 작동하는 장비를 완성하기가 힘들며(악력이 강한 사람은 악력이 약한 사람보다 더 높은 압력을 가해도 큰 효과를 보지 못할 수 있음), 장비의 유지보수와 내구성 보장이 상당히 까다롭다.

 

1.1.2. 진동 촉감 액추에이터 (Vibrotactile actuators)

이름에서 알 수 있듯이, 진동을 가하는 방식으로 구현되는 촉각 디스플레이로, 장갑, 휴대식 프랍, HMD 기기 등에 내장될 수 있다.

소형화가 쉽다는 점 덕분에 손가락마다 하나씩 배치하거나, 받침대 위에 설치하는 등 다양한 위치와 방법으로 배치해 활용할 수 있으며, 블레이더 방식보다 제어와 유지보수 또한 간편하다.

진동 피드백은 촉각 피드백 중에서 가장 쉽고 흔하게 접할 수 있는 가장 기초적인 피드백이다.

그럼에도 상당한 이점을 보여줄 수 있는데, 게임 컨트롤러에 내장된 진동 피드백의 사례만 살펴보아도 충분히 이해할 수 있다.

단순히 진동을 통해 피드백을 주는 것을 넘어서 트리거 등에 저항을 가하여 총기의 종류마다 달라지는 트리거의 압력을 재현한다거나, 탄이 걸려서 총기 격발이 불가능한 상황에서는 트리거 자체가 눌리지 않도록 한다거나, 톱니바퀴를 굴릴 때마다 느껴지는 일정한 간격의 진동을 미세하게 조정하여 제공하는 등 다양한 방식으로 활용하는 것도 가능하다.

압력 또한 진동을 통해 어느 정도 재현이 가능하다.

가상의 태니스 공을 손에 쥐고 있을 때 느껴지는 압력, 활시위를 당기고 있을 때 느껴지는 압력 등을 진동을 통해 재현하는 것이다.

이때 진동의 세기가 커지면 커질수록 손의 압력도 함께 증가하는 것을 느낄 수 있다.

 

1.1.3. 저주파 스피커; 서브우퍼 (Subwoofers)

서브우퍼라고 불리는 저주파 스피커도 촉각 디스플레이로 활용될 수 있다.

정확히는 앞서 언급한 진동 디스플레이로 활용하는 것이 가능하다.

소형 서브우퍼를 바닥 아래, 의자, 옷 속, 방 안 등에 적절히 배치하면 진동 피드백을 주는 것과 유사한 피드백을 제공할 수 있다.

실제로 4D 영화관에서 영화를 관람해 보면 영화관 의자에서 서브우퍼가 울리며 몸 전체를 울리는 듯한 묵직한 진동을 가하는 것을 느껴볼 수 있다.

이를 만약 하나의 조끼로 만들어 구현한다면, 휴스턴 대학에서 선보인 체스트 텀퍼(Chest Thumper)가 탄생한다.

이 장비는 조끼 형태로 만들어져 가상 세계 속에서 물리적인 충돌이 가해지면 그 피드백이 조끼에 달린 우퍼를 통해 전달되었고, 아이들에게 물리 개념을 교육하는데 활용되기도 하였다.

 

1.1.4. 핀 액추에이터 (Pin actuators)

아직 상용화까지는 되지 못한 방식이지만, 엄연히 연구가 진행 중인 핀 액추에이터는 수많은 핀이 피부와 직접 접촉하면서 사물의 질감이나 마찰 등 표면의 감각을 재현하는 형태의 장비이다.

손가락에 직접 피드백을 주는 것 대신, 막대기나 펜처럼 다른 사물을 손에 쥔 상태로 표면 질감을 감지하도록 하는 방법도 존재한다.

이는 소품과 촉각 디스플레이 사이에 하나의 접촉점만 존재하기 때문에 손가락을 직접 사용하는 방식보다 구현하기가 훨씬 쉽다.

 

1.1.5. 온도 액추에이터 (Thermo-actuators)

손끝에 느껴지는 온도의 변화를 구현하는 액추에이터이다.

매우 빠르게 온도의 변화를 표현할 수 있으며, 잘못될 경우 인간의 조직을 손상시킬 수 있을 정도로 뜨겁거나 차가운 온도를 구현하는 것도 충분히 가능하기 때문에 안전에 유의가 필요하다.

이를 예방하기 위한 방법 중 하나는 체험자에게 단순하게 '뜨거움' 또는 '차가움'이라는 추상적인 개념으로만 온도 변화를 알려주고 정확한 수치는 알려주지 않는 것이다.

이는 정확한 수치가 나타나게 된다면 정말 자신이 느끼고 있는 온도가 이 수치에 맞는 온도인지를 가늠할 수 있기 때문인데, 만약 사람이 생존할 수 없을 정도로 뜨거운 온도를 가상 세계 속에서 마주했다면(용암에 빠졌거나 몸에 불이 붙는 등) 어쨌거나 체험자의 안전이 최우선이기 때문에 이 온도를 정확하게 묘사하는 것은 불가능하다.

하지만 아이러니하게도 명확한 수치로 나타낸 온도를 경험하고 있는 체험자는 안전 때문에 그럴 수밖에 없음을 인지하면서도 '용암 속에 빠진 것이 이렇게 시원할 리가 없다'는 생각을 동시에 하게 된다.

때때로는 너무 솔직한 게 독이 될 수도 있다는 것이다.

 

1.1.6. 환경 액추에이터 (Environmental actuators)

환경 액추에이터는 쉽게 말해서 '4D 효과'이다.

4D 영화를 관람한 경험이 있다면 보다 쉽게 이해할 수 있을 것이다.

공기의 폭발, 안개와 거품, 몰아치는 비바람, 몸을 흔드는 진동 등 가상 세계 속에 놓인 환경 속에서 마주할 수 있는 다양한 감각들을 재현하는 것이다.

언급한 바와 같이 영화관에서 주로 찾아볼 수 있으며, 의외로 환경 액추에이터에 대한 아이디어는 상당히 오래전(무려 1956년)에 등장하였다.

꼭 영화관에서만 사용되는 것은 아니며, 디즈니랜드와 같은 테마파크에서 접할 수 있는 다양한 CAVE 시스템에서도 자주 접할 수 있다.

놀랍게도 아래 사진과 같이 HMD 기기의 액세서리 형태로 환경 액추에이터가 제한적으로나마 구현된 사례도 존재한다.

삼성에서 출시했던 기어 VR(Gear VR) 제품에 설치하여 사용하는 Ambiotherm 디바이스는 바람과 열을 재현할 수 있었다고 한다.

 

1.2. 택타일 디스플레이의 특징

피부는 인체에서 가장 넓은 부위를 차지하고 있는 단일 기관이다.
(그도 그럴 것이 인간의 겉 표면은 모두 피부로 덮여있다)

이 때문에 아직 감각 전체를 완전히 덮을 수 있는, 100% FOR을 보장할 수 있는 택타일 디스플레이는 존재하지 않는다.

현존하는 대부분의 택타일 디스플레이가 인간의 신체 부위 중 손과 손가락의 감각에 크게 의존하고 있으며, 이보다 범위를 더 넓혀서 몸통(조끼)까지 다루기도 하지만 아직은 소수에 불과하다.

 

1.3. 택타일 디스플레이의 인터페이스

택타일 디스플레이를 사용하는 가장 큰 이유는 체험자가 무언가를 만지고, 움켜쥐고, 표면의 질감이나 온도를 감지할 수 있도록 하기 위해서이다.

이를 위해서 사용되는 일반적인 표현 기법이 앞서 살펴보았던 전역 압력, 국부 압력, 진동, 열전달 등이다.

즉, 우리는 어떠한 사물을 손으로 만지거나 잡을 때 자연스럽게 압력을 느끼고, 그 사물에서 손으로 전해지는 열전달(온도)을 느낀다.

다만 앞서 핀 액추에이터를 다루며 언급한 바와 같이 사물의 표면 질감을 표현하는 것은 이보다 훨씬 더 복잡하다.

표면 질감을 재현한다는 것은 결국 가상의 텍스처를 생성한다는 것인데, 체험자에게 이러한 촉각 피드백을 제공하기 위해서는 매우 빠르고 정확하게 체험자의 손끝에 피드백을 제공해야 하기 때문이다.

또한 이 표면 질감이 항상 일정할 수도 없기 때문에 굴곡, 사물의 종류에 따라 변화할 수 있는 표면 질감의 재현까지 함께 고려해야 한다.

 

---

 

2. 엔드 이펙터 디스플레이 (End-Effector Displays)

이펙터란, 어떠한 자극에 반응하여 활성화되는 기관을 의미한다.

그리고 엔드 이펙터란, 로봇 팔 끝에 장착되어 자극에 반응할 수 있는 장비를 의미한다.

엔드 이펙터 디스플레이는 체험자의 손이나 발과 같은 말단부가 장치를 붙잡거나 접촉하는 방식으로 조작이 가능한 촉각 디스플레이다.

체험자의 행동에 따라서 힘이나 저항을 가하여 반응하는 형태이기 때문에 '포스 디스플레이(Force display)'로 분류된다.

엔드 이펙터 디스플레이는 앞서 언급한 것처럼 기계장치를 이용해 체험자의 말단부에 피드백을 주는 장비이다.

이는 기본적으로 엔드 이펙터 디스플레이는 입력 디바이스로써 기능하지만, 특이하게도 체험자의 입력 행위를 방해하는 역할을 동시에 수행한다는 것을 의미한다.

즉, 엔드 이펙터 디스플레이는 입력과 출력을 동시에 수행한다는 것이다.

 

2.1. 엔드 이펙터 디스플레이의 구성요소

엔드 이펙터 디스플레이는 입출력을 동시에 수행하는 장비이며, 담당하는 체험자의 말단부에 따라서 형태와 구성요소가 크게 달라진다.

팬을 사용하는 위 사진의 Phantom Premium 장비의 경우, 체험자가 팬을 손으로 잡고 움직이면서 그리거나 터치하는 등의 입력을 수행할 것이다.

그러는 동안 장비는 체험자에게 어떠한 사물의 표면 질감을 표현하기 위해 저항이나 진동 등의 출력을 수행하게 된다.

페달을 사용하는 위 사진 속 Sarcos Uniport 장비의 경우, 체험자는 페달을 밟아 돌리는 식으로 입력을 가할 것이다.

장비는 그 입력을 받음과 동시에 언덕을 올라가거나 내려가는 상황이 발생했을 때에 맞춰서 기어의 장력을 조절하는 식의 출력을 수행하게 된다.

장비의 종류에 따라 달라지겠지만, 아래 사진 속 장갑처럼 체험자가 착용하는 형태의 장비가 아니라면 일반적으로 엔드 이펙터 디스플레이는 세계 접지(World-grounded) 기반으로 구현된다.

엔드 이펙터 장비에서 사용되는 기계적 움직임을 감지하기 위한 센서들은 일반적으로 장비 자체에 내장되어 있는 경우가 많다.

기계적 움직임은 대체적으로 반응이 매우 빠르고 값을 수치화하기 쉽기 때문에 매우 정확하다는 특징이 있는데, 내장된 센서가 이러한 값을 기기 내부에서 곧장 인식하도록 설계되어 있다.

추가적으로 기계적 장치의 움직임이 지니는 이러한 두 가지 특징(매우 빠른 반응, 높은 정확도)은 촉각 디스플레이의 성능을 높이기 위한 필수 조건으로 알려져 있다.

 

2.2. 엔드 이펙터 디스플레이의 인터페이스

엔드 이펙터 디스플레이를 활용하면 가상 세계의 속성이 그 세계 속에 있는 사물에 어떠한 영향을 미치고 있는지를 체험자가 감지해 낼 수 있게 된다.

체험자가 상호작용하고 있는 대상이 체험자의 행동에 따라 보여주는 저항이 어떠한지를 시뮬레이션하며, 이를 위해 장비는 체험자의 신체와 접촉하여야 한다.

그립(Grip)은 이러한 조건에서 체험자와 엔드 이펙터 디스플레이 사이에 배치되는, 대표적인 인터페이스이다.

체험자의 손을 사용해 조작하는 디스플레이의 경우, 그립은 체험자의 손이 직접적으로 닿게 되는 부분이 될 것이다.

그러므로 그립은 사용하고자 하는 장비의 형태와 설계에 따라 신중하게 선택되어야 한다.

체험자가 태니스 공을 사용하기 위해 손을 뻗어 사물을 집었는데, 그립의 크기가 곰 발바닥 수준으로 묵직하고 거대하다면 당연히 체험자는 혼란에 빠질 것이다.

또한 디스플레이가 가하는 저항의 크기도 중요한 단서가 된다.

절대 체험자의 힘으로는 밀 수 없는 크고 무거운 벽을 손으로 밀고 있는데, 장치가 충분한 저항을 가하지 않아서 그대로 밀려버린다면 체험자는 그것이 벽이 아니라 벽의 형상을 띈 무언가라고 오해할 것이다.

 

---

 

3. ROSD (Robotically Operated Shape Displays)

ROSD는 로봇을 사용하여 체험자의 손이 닿는 곳에 물리적 사물을 배치해 주는 형태의 촉각 디스플레이이다.

이는 로봇을 이용하여 물리적 사물을 창조한다는 것이 아니다.

말 그대로 미리 준비되어 있는 다양한 사물들을 로봇이 적재적소에 맞게 알아서 '배치'하는 것이다.

이러한 촉각 디스플레이가 체험자를 '속일' 수 있으려면, 당연히 사물을 배치해 주는 로봇의 존재를 체험자가 알아챌 수 없도록 숨겨야 한다.

 

3.1. ROSD의 구성요소

ROSD의 구성요소는 생각보다 간단하다.

이름에서 알 수 있듯이 로봇은 당연히 필요할 것이며, 적재적소에 사물을 배치하기 위해서 뛰어난 성능의 트래킹 장비도 필요할 것이다.

또한 체험자의 안전을 위해서 앞서 언급하였던 '데드 스위치'도 필요할 것이다.

 

3.2. ROSD의 특징

ROSD의 가장 큰 특징은 사실감이다.

로봇이 어떠한 사물의 형태를 재현하는 것이 아니라 미리 준비되어 있는 사물을 적재적소에 배치하는 것이기 때문에 적절한 시간과 장소에 로봇이 사물을 정확하게 배치만 한다면 충분히 그 역할을 다 한 셈이다.

즉, 체험자가 비행기 시뮬레이션을 조작하기 위해서 콕핏에 앉은 상태로 특정 페달이나 스위치를 조작하기 위해 손을 뻗으면, 손을 뻗은 그 위치에 로봇이 올바른 스위치를 컨트롤 패널 위에 단순히 배치만 하는 것이다.

이러한 특징 때문에 ROSD의 완성도를 끌어올리기 위해서는 로봇이 적재적소에 배치할 사물의 완성도를 올리는 것이 관건이며, 일반적으로 이러한 사물들은 실제 사물을 본떠서 만든 소품이나 실제 사물을 그 자체를 직접 활용하기도 한다.

또한 로봇이 어떠한 사물을 배치하든 간에 ROSD를 구성하는 로봇은 사물을 배치하는 알고리즘에 따라서만 동작하므로, 다양한 환경과 다양한 조건 속에서 활용하는 것이 가능하다.

이 덕분에 필요에 따라 질감이나 온도, 공기의 흐름처럼 4D 효과를 구현할 때도 ROSD를 활용할 수 있는데, 온도나 질감, 공기의 흐름을 구현하는 장비를 로봇 팔에 연결하고 적재적소에 배치되도록 이동시키는 것이다.

 

3.3. ROSD의 인터페이스

로봇이 정확하게 동작하기 위해서는 체험자의 움직임을 정확하고 빠르게 감지하며 그보다 먼저 움직일 수 있어야 한다.

이 때문에 로봇의 움직이는 도중 타인이나 체험자 본인이 부상을 입지 않도록 주변 환경을 통제할 필요가 있으며, 데드 스위치도 준비하는 것이 좋다.

또한 앞서 언급한 것처럼 사물을 배치하는 로봇의 모습을 체험자로부터 숨길 수 있는 방법이 필수적이다.

이 때문에 ROSD는 HMD 기기와의 궁합이 좋은 편이다.

 

---

 

4. 패시브 햅틱 디스플레이 (Passive haptic display)

소품(Props)은 촉각 디스플레이의 기본적인 방법을 제공해 준다.

소품은 무게와 질감, 무게 중심 등 그 존재만으로 체험자에게 촉각 피드백을 제공해 줄 수 있다.

이러한 요소들은 자연스럽게 가상 세계의 완성도를 강화시켜 준다.

이 때문에 서로 유사한 특성이 있는 소품과 가상의 사물을 연결해 주면(막대기 형태의 소품과 횃불 등), 앞서 다루었던 '객체의 불변성 전이 효과'를 기대할 수 있다.

또한 이러한 소품들이 정확하게 트래킹 되고, 가상 세계 속 사물과 체험자가 다루고 있는 소품의 형태가 일치하는 시각적 표현이 포함된다면 이것을 '패시브 햅틱(Passive haptic)'이라고 부른다.

이 패시프 햅틱은 가상 세계에 현실감을 더해주는 효과적인 방법 중 하나이다.

의자, 소파, 대문 등과 같이 가상 세계 속 사물들 중 체험자와 접촉하게 되는 일부분만 실제 소품으로 준비하여 일종의 '세트장'을 꾸며둔다면, 그 세트장의 완성도가 극도로 뛰어나지 않더라도 체험자가 느끼는 몰입감과 사실감은 기하급수적으로 증가한다.

일반적으로 패시브 햅틱 디스플레이 구현에 사용되는 이러한 소품들은 사물의 표면 질감이나 무게 등 기초적인 수준으로만 구현된 일종의 택타일 디스플레이에 해당한다.

패시프 햅틱 디스플레이의 효과적인 구현을 위해서는 이러한 소품들의 위치를 정확하게 추적하고 가상의 사물 이미지를 정확하게 렌더링 하여 시각 정보와 촉각 정보를 동기화해 주는 것이 가장 중요할 것이다.

 

---

 

5. 혼합 디스플레이

혼합 디스플레이는 말 그대로 앞서 살펴보았던 다양한 촉각 디스플레이들을 용도와 필요에 맞게 혼합하여 동시에 사용하는 방식의 디스플레이이다.

아직 다양한 촉각 디스플레이를 결합하여 사용하는 경우는 많지 않지만, 이미 다양한 시도가 이루어지고 있는 것도 사실이다.

다양한 형태와 방식, 조건과 구성요소를 지니고 있는 촉각 디스플레이를 동시에 활용하기 위해서는 각자의 특징과 장단점, 요건 등을 명확하게 파악하여 결합하여야 매끄러운 시너지 효과를 기대할 수 있을 것이다.

또한 체험자에게 한 가지 종류의 촉각 피드백보다 다양한 촉각 피드백이 동시에 제공될 수 있으면 그만큼 VR 경험의 완성도와 몰입감도 크게 증가할 수 있을 것이다.

 

---

 

6. 3D 하드카피

앞서 살펴보았던 패시프 햅틱 디스플레이 구현 방식과 궁합이 좋은 방법으로, 3D 프린터기를 이용해 사물을 출력한 다음, 이를 하나의 소품(Prop)으로 활용하는 방법이다.

이는 3D 프린팅 기술이 발전함에 따라 등장할 수 있었던 방법으로, 지금보다 3D 프린터 가격이 더 떨어지고 대중화가 이루어진다면, 다양한 분야와 조건을 지닌 체험자들이 자유롭게 자신이 원하는 소품을 직접 출력하여 가상 세계 경험에 활용할 수 있을 것이다.

이러한 3D 출력물은 시각적인 표현뿐만 아니라 무게와 질감처럼 촉각 피드백 또한 자연스럽게 제공할 수 있으며, 다른 형태의 촉각 디스플레이와의 궁합도 좋아서 활용도가 상당히 높은 편이다.

 

---

 

---

수고하셨습니다!

---