인간의 지각 요소: 청각

---

 

 

1. 청각 지각

사운드는 공간의 현실성을 높이는 중요한 요소 중 하나이다.

입체감을 올려주고, 생동감을 올려주며, 다른 감각들과 결합하여 몰입감을 올려준다.

게임에서도 '사운드 플레이'라는 말이 있을 정도로 사운드는 큰 영향을 미치는 요소 중에 하나이며, 영화나 애니메이션에서도 이는 마찬가지이다.

주변에서 무슨 일이 일어나고 있는지를 알아내기 위한 수단으로 사용되기도 하지만 무엇보다 타인과의 주요 의사소통 수단이 되기 때문에 시각과 함께 절대 빼놓을 수 없는 요소 중에 하나이다.

 

1.1. 인간의 청각 능력

사운드는 일종의 진동, 파장이기 때문에 그 진동을 전달할 매개체가 필요하다.

일반적으로 공기가 그 역할을 수행하지만 물과 같은 액체, 금속과 같은 고체도 매개체 역할을 수행할 수 있다.

이러한 진동은 단위시간 동안 일어난 진동의 횟수를 계산하여 '주파수'라는 단위로 표현하는데, 인간의 뇌가 이해할 수 있는 주파수의 범위가 정해져 있다.

인간의 오디션 시스템은 사운드를 외이도로 전달하여 증폭, 신호 분석을 통해서 압력파의 주파수를 추출하는 과정을 거쳐 이해하는 방식으로 구성되어 있는데, 지금은 의학을 다루는 것은 아니므로 자세한 사항은 생략한다.

인간은 다양한 사운드가 섞이더라도 특정한 사운드에 집중할 수 있는 능력을 지니고 있다.

옆에서 다양한 대화가 이어지고 소란스러운 환경이라고 해도, 옆에 있는 사람과 새로운 대화를 시작되었다면 자신이 집중하고 있는 대화가 더 잘 들린다는 것을 느낄 수 있다.

음파 간의 시간 차이, 즉 사운드가 각 귀에 도달하는 시간 차이를 ITD라고 부르며, 음압의 세기 차이, 즉 머리의 구조에 의한 진폭 차이를 ILD라고 부른다.

여기서 ITD와 ILD를 명확하게 결정하기 위해서는 개별 사운드를 알아내야 하는데, 소리를 3차원 공간에 위치시키고 청취자에게 특정한 위치에서 소리가 나는 것처럼 만드는 '사운드 공간화' 기술은 이 분야에 큰 도움이 되지 못한다.

이는 동시에 전달되는 소리(파장)들이 뒤섞이거나, 반사되거나, 상쇄되는 등 서로에게 영향을 미치면서 일종의 '원본'이 훼손되기 때문에 그것을 온전하게, 정확하게 분리하는 것이 매우 어렵기 때문이다.

 

---

 

2. 청각 착각

시각과 마찬가지로 청각에도 착각의 개념이 적용된다.

우리가 들은 것을 잘못 지각하거나, 듣지 않은 것을 들었다고 착각하거나, 들은 것을 지각하지 못하는 일이 벌어질 수 있다.

어떠한 경우에는 청각 착각이 다른 감각과 연결되어 있기도 하고, 어떠한 경우에는 순전히 음압 파동 때문에 벌어지기도 한다.

시각과 청각이 연관되는 착각의 종류로는 복화술 효과와 맥거크 효과가 있다.

- 복화술 효과: 음원의 위치에 대한 지각을 바꾸고자 시각적 단서를 사용하는 것. 공연자가 복화술로 연기를 하여 인형이 말하는 것처럼 느끼게 만드는 모습을 떠올리면 이해하기 쉽다.

- 맥거크 효과: 청취자가 듣는 소리와 실제로 들리는 음향이 다른 방식으로 지각될 수 있음을 보여주는 효과. 누군가가 '바'라는 발음을 내는 것과 같은 입술의 움직임을 읽었을 때, 실제로 들은 발음은 '가'에 가까웠다고 가정해 보자. 우리는 불확실한 정보의 충돌 때문에 혼란을 겪을 것이다. 이때 우리는 소리를 듣고 이해하는 과정에 시각 정보가 개입할 수 있음을 이해할 수 있다.

 

2.1. 셰퍼드 음

셰퍼드 음은 음색 및 기타 음악적 특성이 만들어내는 청각 착각의 일종이다.

셰퍼드 음을 들어보면 음이 끝없이 올라가거나 끝없이 내려가는 것처럼 착각하게 된다.

하지만 이는 사실 옥타브 차이를 두고 있는 세 개의 음을 결합하여 만들어진다.

가장 낮은 음의 세기를 점점 키우고, 가운데 음은 그대로 유지하며, 가장 높은 음의 세기는 점점 줄이는 방식으로 음계를 반복하는 것이다.

이렇게 되면 한 쌍의 음이 끝나고 다음 쌍으로 넘어가는 부분이 자연스럽게 이어지는 것처럼 느껴지면서 음이 끝없이 올라가거나 내려가는 것처럼 느끼게 된다.

 

2.2. 마블 핸드 일루전

피험자의 손이 만들어진 소재를 거짓으로 전달하는 소리를 사용해 정말 자신의 손이 거짓으로 전달된 소리와 연관이 되어 있는 소재로 만들어졌다고 착각하는 것을 말한다.

즉, 만약 피험자가 자신의 손을 긁을 때마다 대리석을 긁는 듯한 소리가 난다면, 어느 순간 피험자는 정말로 자신의 손이 대리석으로 되어 있다고 착각하기 시작한다는 것이다.

 

---

 

3. 청각 로컬라이제이션 단서

가상 현실 세계에서 체험자가 자신의 공간을 정확하게 이해하고 판단하기 위해서는 시각 정보도 중요하지만 청각 정보도 매우 중요하다.

현실 세계는 언제 어디서나 사운드로 가득 차 있고, 우리는 그 사운드를 활용해서 주변 환경의 본질을 이해한다.

어떤 이벤트가 언제 어디서 왜 일어나는지를 이해할 수 있도록 다양한 단서를 제공하기 때문에 가상 현실 세계를 구현할 때 사운드의 방향, 크기, 종류 등을 세밀하게 고려해야 한다.

인간이 사운드 위치를 측정할 수 있는 능력은 거리와 방향 모두에 달려 있다.

세계의 사운드 특성을 판단하는데 그 능력을 향상해 주는 몇 가지 청각적 단서를 나열하자면 다음과 같다.

- 로컬라이제이션 (방향성)

- 거리 단서

- 복화술 효과

- 공간적 특성 단서

사운드는 발생한 방향에 따라서 해상도가 달라진다는 특징이 있다.

청취자 앞에 있을 때 사운드의 해상도가 1도 정도라면, 옆에서 나는 사운드의 해상도는 15도 정도로 떨어진다.

이 때문에 우리는 본능적으로 주의를 기울이는 사운드가 생기면 그 방향으로 고개를 돌리는 행동을 취하게 되는 것이다.

여기서 로컬라이제이션은 사운드가 나오는 방향과 거리에 대한 지각을 말한다.

즉, 사운드가 발산하는 방향과 거리를 결정할 수 있는 음향 심리학 현상을 의미한다.

또한 공간화는 청취자가 특정 장소에서 사운드가 난다고 믿도록 사운드 파동을 필터링하거나, 증폭, 위상, 조정하는 프로세싱을 말한다.

즉, 특정한 3D 장소에서 사운드가 나고 있다고 느끼게 만드는 착각을 일으키는 작용을 의미한다.

사운드는 어느 방향에서 사건이 벌어졌는지를 이해하는데 도움을 주기도 하지만, 그 사건이 얼마나 멀리서 벌어진 것인지를 이해하는데 도움을 줄 수도 있다.

아래 사항들은 거리를 이해할 때 영향을 미치는 요소들이다.

- 소리의 크기/세기

- 고주파 감쇠

- 초기 시간 지연

- 직접/간접 사운드의 혼합

- 운동 시차

- 청각 수준의 차이 (ILD)

앞에서 언급한 복화술 효과는 사운드가 나야 할 곳에서 사운드가 나고 있다고 판단하는 것에서 오는 착각이다.

이는 단순하면서도 오차가 있을 수 있지만, 그럼에도 매우 강력한 로컬라이제이션 단서가 되어준다.

누군가 목소리를 내면서 동시에 입을 움직이고 있다는 걸 목격한다면, 우리는 그 사람의 입에서 지금 들려오는 목소리가 흘러나오고 있음을 쉽게 이해할 수 있다.

이러한 개념을 가상 세계에 접목한다면, 가상 세계에 드럼의 이미지가 존재하고 실제로 드럼의 사운드가 들리고 있다고 가정했을 때 대부분의 체험자는 드럼의 사운드가 자신이 목격한 드럼의 이미지에서 흘러나오는 것이라고 생각할 것이다.

공간의 특성이 사운드에 적용된다면 자신이 위치한 공간을 보다 쉽고 몰입감 있게 이해하게 만들어줄 수도 있다.

만약 터널 안에서 소리가 울리는 것을 가상 세계 속에서 구현했다면, 들리는 사운드의 잔향 효과를 통해 사운드의 방향이 어느 쪽인지 현실 세계와 동일한 방법으로 자각할 수 있을 것이며 그것이 보다 강력한 몰입감을 선사할 수도 있을 것이다. 

 

---

 

 

 

---

수고하셨습니다!

---