인간 지각 체계 이해

---

 

 

1. 인간 지각과 VR

체험자를 가상 현실 시스템의 일부로 취급하는 한 가지 측면은 체험자의 '기술 인터페이스'를 검토하는 것이다.

기술 인터페이스란, 사용자가 특정한 기술 또는 시스템과 상호작용하는 인터페이스를 의미한다.

컴퓨터의 경우에는 마우스, 키보드, 터치 스크린 등이 해당되며, VR의 경우에는 컨트롤러, 헤드셋 등이 해당된다.

VR 분야에서는 이 기술 인터페이스의 완성도와 수준이 사용자가 가상 환경에 얼마나 몰입할 수 있는가를 결정하기에 상당히 중요한 지분을 차지한다.

여기서는 이러한 기술 인터페이스를 이해하기 위해서 가상 현실 경험의 생성과 관련된 인간 지각의 몇 가지를 다루어본다.

먼저 VR 디자이너 또는 엔지니어가 인간 지각의 기본을 이해하게 된 동기가 최소 세 가지가 있다.

- 현실인 것처럼 지각하게 되는 세계의 생성

- 인간 지각체계의 부정확성의 활용

- 위험하거나 건강하지 않은 방법을 사용한 감각 자극 방지

이러한 세 가지 요소들은 모두 아래의 질문으로 이어진다.

- 가상 현실 경험은 얼마나 현실적이어야 하는가?

그렇다면 인간 지각 체계를 이해하는 것이 필요한 동기 부여에 대해서 알아보자.

- 디자이너는 체험자에게 충분히 사실인 것처럼 보이는 가상 세계를 묘사하고자 얼마나 많은 감각이 필요한 지 알아야 한다.

가상 세계에서의 경험이 현실 세계에 존재하는 사용자의 신체나 정신에 해를 끼칠 정도로 현실적이어서는 안 되며, 여기서 말하는 '충분함'의 수준은 만들어지는 경험의 목적에서 결정된다.

- 가상 세계 시스템의 기술적, 논리적 단점을 숨기기 위해서는 인간의 지각 한계를 활용해야 한다.

VR 시스템이 사용자에게 제공할 수 있는 요소들의 제한 사항은 디자이너가 전달하려는 세계보다 더 제한적일 수 있다.

이 때문에 자신이 이상적으로 그리는 세계를 최대한 완벽하게 완성하기 위해서는 다양한 편법도 동원할 필요가 있다.

여기서 말하는 '편법'은 인간의 지각 한계를 활용하는 것을 의미하는데, 가장 대표적인 예시가 제한된 바닥 공간을 극복하기 위한 '방향 전환 보행' 기술의 활용이다.

이 기술은 우리가 얼마나 빨리 회전하고 걸을 수 있는지에 대한 모호한 지각을 활용한다.

HMD를 통해 사용자가 보고 있는 가상 세계의 모습을 사용자가 알아차리지 못하는 수준으로 조금씩 왜곡하여 실제 공간에서의 이동 방향을 바꾸도록 만드는 것이다.

즉, 가상 공간에서는 사용자가 직선으로 걷고 있으나, 실제 공간에서는 곡선을 그리면서 걷고 있게 만든다.

이는 가상 세계 내에서의 사용자의 움직임이 실제 세계에서의 움직임과 1:1로 매핑되지 않는다는 것을 의미하며, 이러한 의도적인 왜곡은 사용자가 실제 공간보다 더욱 넓은 가상 세계를 경험할 수 있게 해 준다. 

그렇다면 가상 현실 디자인과 지각의 요점을 정리해 보자.

- "어떻게 하면 그 경험을 실감 나게 할 수 있는가?"

- "그 경험을 얼마나 실감 나게 할 수 있는가?"

궁극적으로 체험자에게 경험이 얼마나 사실적인지는 체험자에게 달려있다.

아무리 사실적인 체험을 선사해도 결국 그것이 사실인지 아닌지를 판별하고 인정하는 주체는 체험자이기 때문이다.

하지만 우리들은 일반적으로 사실적인 체험을 기꺼이 받아들일 뿐만 아니라, 우리가 보고 있는 것을 액면 그대로 받아들이고 신뢰한다는 것을 기억해야 한다.

 

---

 

2. 감각

생리학적으로 인간의 지각 체계를 분할하면 다음과 같다.

- 수용기: 외부 세계로부터 받아들인 신호를 전기적 자극으로 변환한다.

- 뉴런: 수용기에서 만들어진 전기적 자극 신호를 뇌, 보통 피질까지 전달하는 통로 역할을 한다.

- 뇌: 뉴런을 통해서 전달된 수용기의 전기적 자극 신호를 받아서 그 신호를 해석한다.

고전적으로 인간의 감각을 말할 때 언급되는 시각, 청각, 촉각, 후각, 미각은 인간의 다섯 감각이라고 말한다.

하지만 우리가 말하는 '터치'라는 개념을 떠올려보면 이것이 하나의 감각만을 의미하는 것이 아니라 여러 감각의 조합이라는 것을 깨달을 수 있다.

앞에서 언급한 수용기는 특정 유형의 자극을 감지하는 역할도 수행하지만, 그 외에 강도와 위치, 지속시간의 특성도 보고하는 역할을 함께 수행한다.

만약 지속적인 자극이 이어지고 있다면, 수용기는 자극을 지속적으로 보고하는 것이 아니라 자극의 시작과 중단만 보고하는 식이다.

시각적으로 유사한 효과를 예시로 들 수 있는데, 일정 시간 동안 고정된 이미지를 응시하고 있다가 자극이 바뀔 때 이미지의 음영을 보게 되는 경우가 그것이다.

 

---

 

3. 계층적 처리 및 선택성

지각은 주로 뇌피질에서 일어난다.

자극 수용기와 피질 사이에는 신호를 전처리하는 여러 층의 중간 뉴런이 존재하는데, 감각들이 수용기에서 뇌로 전달될 때는 신경 경로를 따라간다.

신경 연결의 특정한 조합은 더 높은 수준의 데이터 처리를 가능하게 하는데, 시각적 자극이 이에 전문화된 뉴런을 통과하여 시신경의 신경절세포로 전달되는 식이다.

이렇게 처리가 된 신호를 피질에 가져오는 뉴런은 특정한 특징을 지니고 있는데, 이 특정 신경절의 특징에 따라서 감지할 수 있는 능력에 변화가 생긴다.

특정한 신경절이 특정 방향의 선, 움직이는 선, 어떠한 색상의 강도와 동심원 등에 반응하여 이를 감지하는 식이다.

이러한 감각 조합은 더 많은 정보가 더 적은 신경 경로를 사용해 전달될 수 있게 하여 효율성을 극대화시키는 장점이 있다.

하지만 이러한 방식의 단점은 감각을 읽어드릴 때 '오차'를 발생시킬 수 있다는 것이다.

이 오차가 바로 우리가 흔히 말하는 '착각'이다.

여기서 놀라운 점 하나는 대부분의 착각이 '이것이 착각이다'라는 걸 깨달은 이후에도 그 착각이 사라지지 않는다는 것이다.

 

---

 

4. 가소성 및 적응성

앞에서 언급한 착각의 또 다른 원천은 특정 자극에 장기간 노출되었다가 그 자극을 제거하는 것이다.

그렇게 되면 자극이 제거되었음에도 여전히 그 자극이 이어지고 있다는 착각에 빠질 수 있다.

이를 우리는 흔히 적응이라고 부른다.

어떠한 환경에서 적응이 이루어진 이후, 그 환경에서 벗어나 자극이 제거되거나 변경된다면, 그에 따른 후유증이 따른다.

이 때문에 다른 환경에 노출되어 새로운 자극이 시작된다면 그러한 환경에 다시 적응하는 기간이 필요하다.

이 경우에는 이전보다 더 빠르게 적응이 가능하다는 특징이 따른다.

 

---

 

5. 지각/감각 측정

체험자에게 데이터를 보다 잘 표현하기 위해서 개발자는 사용자가 어떤 지각을 구별할 수 있는지 이해해야 한다.

다만, 인간의 다양한 자극을 인지하는 방법에 관한 것은 정신물리학 연구 분야이기 때문에 여기서는 깊게 다루고 싶어도 그렇게 할 수는 없다는 점을 기억하자.

 

5.1. 배버의 법칙

지각 변화(강도)의 차이는 자극에 비례한다.

피험자가 두 개의 무게를 각각 들어 올렸을 때, 무게가 같은지 여부를 물으면 가벼운 무게는 더 가볍게, 무거운 무게는 더 무겁게 느끼는 지각 차이가 나타난다.

여기서 '식별 최소차'라는 개념이 등장한다.

식별 최소차(JND)는 피험자가 지각 과제 내에서 차이를 식별할 수 있는 최소 강도 차이를 말한다.

 

5.2. 페히너의 법칙

주관적인 감각이 자극의 강도에 논리적으로 비례한다.

즉, 실제 자극 강도의 비율이 감각의 주관적 지각 크기 비율과 동일하다는 것이다.

맛, 음량, 무게, 온도 등 다양한 분야에서 그 사례를 찾아볼 수 있다.

같은 온도에서도 누구는 춥게, 누구는 덥게 느끼거나, 같은 맛인데도 누구는 짜게, 누구는 싱겁게 느끼는 모습은 주변에서도 쉽게 찾아볼 수 있을 것이다.

 

5.3. 마차 바퀴 효과

자동차가 고속도로를 달릴 때 옆 차선 차량의 바퀴를 한 번 살펴보자.

전진하는 차량임에도 불구하고 차량의 바퀴는 역회전하는 것처럼 보일 것이다.

이러한 효과를 영화 산업에서는 '마차 바퀴 효과'라고 부른다.

이는 영화에서 움직이는 이미지가 캡처되는 빈도의 결과(샘플링 레이트) 때문이며, 인간의 지각 자체에서도 동일한 효과가 일어난다는 것이다.

 

---

 

6. 변화에 대한 지각

인간의 신경계 구성에서 나타나는 지각의 한 측면은 변화를 지각하는 능력이다.

다만, 변화가 일어나는 것은 잘 알아채지만 중단점에 대해서는 약한 모습을 보이는 것이 특징이다.

사운드를 들을 때, 순간적으로 피치가 바뀌는 것을 알아챌 수 있으며, 오브젝트가 한 곳에서 다른 곳으로 움직이는 것은 볼 수 있다.

하지만 이 변화가 너무나도 미묘할 경우에는 지각 능력이 현저히 떨어질 수 있다.

이 때는 타임랩스를 비롯한 기술을 활용해서 변화의 속도를 올리는 방식으로 지각할 수 있는 범위를 전환하는 것도 가능하다.

또한 어떠한 피사체의 움직임, 목소리 톤의 상승 및 하강을 인지하는데 특별한 훈련도 필요하지 않다.

이는 누구나 본능적으로, 자연스럽게 그냥 이해하고 받아들이는 영역이라는 것을 의미한다.

인간이 잘하지 못하는 것 중 하나가 '일직선으로 걷기'이다.

단거리에서는 직진을 하는 방향과 움직임을 확증할 수 있는 추가적인 감각(시력)을 활용하면 보다 쉽게 일직선을 만들 수 있을 것이다.

하지만 시각이 차단되거나, 거리가 멀어진다면 이야기가 달라진다.

VR 분야에서는 이를 의도적으로 잘못된 움직임의 단서를 제공해야 할 때 사용할 수 있다.

인간이 지니고 있는 '신경절'은 특정 방향으로의 움직임을 연산하는 기능을 수행한다.

이는 아주 짧은 시간 동안 연산을 수행하는데, 두 개의 시각적 씬이 중단되면 신경절은 더 이상 그 차이를 연산하지 않는다.

이 때문에 개입 이벤트가 발생했거나, 시각적 지각이 분리되는 등 다양한 방해 요소가 등장하거나 다른 것에 집중하게 되었을 때 환경의 중요한 변화를 놓칠 수 있다.

이를 '변화 맹시'라고 부른다.

피험자가 다른 사람과 상호작용을 하고 있던 도중, 피험자가 다른 것에 집중하고 있는 틈을 타서 상호작용하고 있던 사람을 다른 사람으로 바꾸었음에도 이를 깨닫지 못하는 실험 결과가 대표적인 변화 맹시의 예시이다.

이를 VR 분야에서 활용한다면 대상자가 다른 곳에 집중하고 있을 때, 가상 세계의 모습을 바꾸는 방법을 생각할 수 있다.

이는 훨씬 쉽게 가상 세계의 모습을 체험자가 눈치채지 못하는 순간에 뒤바꿔버릴 수 있다.

이를 기술적으로 바라보자면 하드웨어의 성능 한계를 극복하기 위한 최적화 기법으로 사용할 수도 있을 것이다.

사용자가 보고 있는 모습만 렌더링 하여 보여주고서 사용자의 주의를 다른 곳으로 이끈 다음, 보이지 않는 곳에 존재하던 가상 세계의 오브젝트들을 뒤바꾸거나 제거하는 것이다.

이를 적재적소에 잘 활용한다면, '로딩이 없는(것처럼 보이는)' 게임이 만들어질 수도 있을 것이다.

에반 수마 로젠버그는 사람들의 세계의 배치 변화를 얼마나 잘 인식하는지 알아보기 위해 일련의 실험을 수행했다.

이 실험은 피험자가 건물을 돌아다닐 때, 등 뒤에서 방이 뒤바뀌고 있다.

또한 피험자가 방의 한쪽을 보고 있다면, 피험자가 방에 들어갈 때 썼던 문이 보이지 않는 영역 내에서 다른 곳으로 이동해 버린다.

하지만 대부분의 피험자들은 자신들이 보지 못한 사이에 방의 배치가 바뀌고 있었음을 눈치채지 못했다.

 

---

 

7. 크로스 모달 지각

크로스 모달 지각은 서로 다른 감각(시각, 청각, 촉각 등)들 사이에서 정보를 통합하여 지각하는 것을 말한다.

인간의 뇌는 앞서 언급한 다양한 감각 기관들이 전달한 자극들을 하나의 감각 정보로 결합하여 하나의 경험으로 수용하는데, 이때 하나의 감각이 얻은 정보를 다른 감각이 얻은 정보와 합쳐서 부족한 부분을 보완하거나 영향을 주는 등의 효과가 벌어진다.

아래는 크로스 모달 지각이 분명한 다섯 개의 영역을 나열한 것이다.

- 방향 지정

- 오브젝트 식별

- 로컬라이제이션

- 신체 움직임 

- 맛

 

7.1. 방향 지정

시각적, 청각적 또는 촉각적인 자극에 주의를 기울일 때, 이 세 가지 감각 중에서 두 가지 이상의 감각의 자극이 확증 데이터를 제공하면 입력 방향을 지각하는 반응 시간이 줄어드는 것을 알 수 있다.

만약, 세 가지 자극이 모두 일치한다면 반응 시간은 더더욱 줄어든다.

 

7.2. 오브젝트 식별

여기서 말하는 식별은 구체적인 것 또는 추상적인 것 모두가 해당된다.

언어를 통한 의사소통의 경우에는 얼굴과 입술의 움직임이 들리는 소리와 함께 전달될 때 그 정확도가 향상된다.

사물을 구별하는 경우에는 촉각과 시각이 함께 적용될 수 있을 때 정확도가 향상된다.

한 치 앞도 안 보이는 어둠 속에서 순전히 촉각만으로 사물을 구별하는 것과, 밝은 조명 아래에서 촉각을 함께 활용하여 어떤 사물인지 알아내는 것은 엄청난 차이가 있을 것이다.

어쩌면 그 사물을 이루고 있는 재질을 알아낸다거나, 오브젝트에 적용되어 있는 기능들을 알아내는 등, 오브젝트를 구분하는 것을 넘어서 더 다양한 정보들을 알아내는 것도 가능할 것이다.

 

7.3. 로컬라이제이션

시각적 자극이 사운드 또는 촉각 감각이 인지되는 방향을 확증할 때, 자극 사이에 실제적인 차이가 있을 때도 강한 지각 효과가 나타난다.

즉, 어떤 곳에서 소리가 나길래 고개를 돌려서 그곳을 바라보았더니, 그러한 소리가 날 법한 일이 벌어지고 있다고 인지하게 된다면, 실제로 일어난 일과 받아들인 정보 사이에 차이가 있을 때에도 강한 영향을 미친다는 것이다.

예시로 횡단보도 앞에서 신호를 기다리고 있는 도중, 자동차가 급정거하면서 날카로운 타이어 소리를 냈을 때를 생각해 보자.

갑자기 난 소리에 깜짝 놀라 소리가 난 곳을 바라보니, 아이가 횡단보도 위에 넘어져 있고, 차가 그 앞에 서 있는 모습이 눈에 들어왔다.

그러한 정보를 통해서 '아이가 차에 치였다'는 결론이 도출되었다면, 실제로 아이가 차에 치여서 넘어진 것이 아니라, 급정거한 차에 놀라서 혼자 넘어진 것이 사실이었음에도 우리는 강한 지각 효과를 받게 된다.

이는 복화술 효과의 전형적인 예시이다.

상대방, 또는 게임 속 캐릭터가 입술을 움직이는 와중에 목소리가 들리고 있다고 가정해 보자.

우리는 그 모습을 바라보면서 저 캐릭터 또는 상대방이 입술을 움직이고 있기 때문에 그러한 소리가 나고 있다고 뇌에 확신시킨다.

이는 실제 복화술사들을 마주했을 때만 벌어지는 것이 아니라 스크린을 통해서도 접할 수 있다는 것을 기억하자.

로컬라이제이션 효과의 또 다른 예시는 고무손 착각 현상이다.

이는 피험자의 손을 가린 채로 가짜 팔을 옆에 두고 이 가짜 팔을 피험자가 바라보게 만든다.

이후 누군가가 피험자가 바라보고 있는 가짜 팔에 빗질을 하면 피험자는 자신의 진짜 팔에 빗질을 하는 것처럼 받아들인다.

이는 가짜 팔을 자신의 진짜 팔로 '체화'하기 시작했기 때문인데, 이러한 효과는 피험자가 가짜 팔이 자신이 진짜 팔처럼 느끼고 있음을 보고한다고 해도 사라지지는 않는다.

이러한 효과는 실험을 좀 더 극단적으로 바꾸면 더 확실하게 알 수 있다.

피험자가 자신의 진짜 팔로 착각한 가짜 팔을 망치로 내리친다면 실제로 자신의 팔이 망치에 맞았다는 것처럼 뇌에서 불안 반응이 일어나기 때문이다.

 

7.4. 신체 움직임

선형, 또는 회전과 관련된 강력한 움직임을 마주했다고 가정하자.

예를 들어 정지된 열차에 타고 있었는데, 창문 너머로 고속 열차가 순식간에 옆을 지나치는 모습을 목격한 것이다.

이럴 때 우리는 순간적으로 자신이 타고 있는 정지된 열차가 움직이는 것 같다는 느낌을 받는다.

이를 우리는 '전이성 착각'이라고 부른다.

 

---

 

---

수고하셨습니다!

---