가상 세계의 청각 표현

---

 

 

1. 청각 표현

청각은 시각과 더불어 의존도가 매우 큰 감각 기관이다.

일반적으로 시청각이라고 묶어서 다루기도 하며, 정신적/물리적 몰입감을 향상하기 위해서는 시각 피드백과 청각 피드백의 완성도에 가장 많이 집중해야 한다.

사운드는 가상 세계 속 환경에 대한 성질과 크기, 위치, 분위기에 대한 단서를 주기도 하며 체험자의 입력에 대한 피드백, 경고나 음성 등을 통한 메시지 전달까지 매우 다양한 범위에서 활용이 가능하다.

또한 청각 표현은 시각 표현과 달리 상대적으로 비용이 매우 저렴하기 때문에 컴퓨터 리소스 활용에 큰 부담을 미치지 않는다.

 

1.1. 사운드의 특징

사운드는 장거리 지각과 제한이 없는 FOR, 일시적인 차단이 불가능한 연속성이 가장 큰 특징이다.

사운드는 매질을 통한 진동이기 때문에 액체, 고체, 기체를 매질로 삼아 전달된다.

이 때문에 회절이 가능하여 어떠한 벽이나 장애물이 근원지를 가리고 있어도 사운드를 감지하는 것이 가능하다.

앞서 언급한 바와 같이 고주파와 저주파에 따라서 얼마나 멀리서도 지각이 가능한지는 차이가 있지만, 기본적으로 사운드는 장거리에서도 지각이 가능하다.

또한 사운드는 FOR에 대한 제약이 없다.

인간의 양 쪽 귀는 사운드가 발생한 방향에 따른 사운드의 차이를 감지할 수 있으나, 그것이 사운드 자체를 한쪽 귀가 듣지 못한다는 것은 아니다.

즉, 사운드를 들을 수 있는 영역 안에 있다면 방향과 무관하게 사운드를 듣는 것이 가능하다.

마지막으로 귀는 인간의 다양한 감각 기관 중에서 유일하게 의도적으로 감각 피드백을 차단할 수 없는 기관이다.

시각 피드백을 원치 않는다면 눈을 감을 수 있으며, 냄새를 맡고 싶지 않으면 (제한적이지만) 코를 막거나 숨을 참으면 된다.

맛을 보고 싶지 않다면 먹지 않으면 되고, 만지고 싶지 않으면 만지지 않으면 된다.

하지만 귀는 어떠한 방법으로도 차단이 불가능하다.

항상 귀는 열려있으며, 항상 소리를 감지하는 상태를 유지한다는 것이다.

이는 체험자가 청각 장애를 가지고 있지 않는 이상 언제나 필연적으로 청각 피드백만큼은 받을 수 있다는 보증 하에 가상 세계를 경험하게 된다는 것임을 의미한다.

이는 다시 말해서 체험자에게 불쾌함이나 상해를 입힐 수도 있는 좋지 못한 사운드도 피할 수 없다는 것을 의미하기도 한다.

앞서 언급한 것처럼 청각 표현은 시각 표현과 더불어 인간의 지각 능력에 굉장히 넓은 영향력을 끼칠 수 있다.

이는 시각 표현이 청각 표현에, 청각 표현이 시각 표현에 영향을 미치는 것이 가능함을 의미하기도 한다.

즉, 시각적으로 받아들인 정보를 기반으로 하여 청각적으로 받아들인 정보를 '일반화'할 수 있다는 것이다.
(빛의 속도가 소리의 속도보다 빠르기 때문)

이러한 특징을 활용하면 아래 영상과 같이 착각을 유도할 수도 있다.

---

---

사운드는 시간의 개념과도 연관성이 크다.

숫자를 말하거나, 사람의 이름을 부르는 등의 사운드는 시간의 흐름에 따라 순차적으로 정보가 '흘러가는' 언어의 특성을 그대로 지니고 있다.

이 때문에 타이밍이 중요한 순간에는 경주의 시작을 알리는 총성처럼 사용할 수 있는 사운드의 길이에 제한을 받기도 한다.

이와 마찬가지의 이유로 사운드를 재생할 때는 순서에 맞게 차례대로 재생해야 올바르게 그 정보를 전달할 수 있다.

마지막으로 앞서 잠깐 언급한 바와 같이 사운드는 매질의 진동이므로 빛보다 전달 속도가 느리다.

이는 즉, 다른 감각(특히 시각)보다 상대적으로 지각되는 속도가 느리다는 것을 의미한다.

그러므로 가상 세계에서 사운드를 렌더링 할 때도 이러한 특징을 고려할 필요가 있다.

속도가 느림과 동시에 매질의 진동으로 전달되며, 그 진동이 감각 기관에 닿아야 인지가 된다는 특징 때문에 사운드가 발생하는 근원지(Sound source)나 체험자 둘 중에 하나 이상이 움직이게 되면 파동의 주파수가 다르게 지각되는 '도플러 효과'가 발생하기도 한다.

즉, 만약 근원지와 체험자가 서로 가까워지는 방향으로 움직인다면 파동의 주파수가 높아지며, 멀어지는 방향으로 움직인다면 파동의 주파수가 낮아진다는 것이다.

 

---

 

2. VR에서의 사운드 활용

2.1. 현실적인 사운드

현실감 높은 사운드는 정신적 몰입감에 큰 도움을 줌과 동시에 체험자가 놓인 가상 세계 속 환경에 대한 정보를 제공하기도 한다.

예를 들어 발걸음 소리가 메아리친다면 터널이나 동굴처럼 소리가 울리기 쉬운 실내 공간에 있다고 체험자는 판단할 것이다.

또는 캐터필러를 조작하는 훈련용 애플리케이션을 다루고 있다면 체험자는 자신이 조작 중인 가상의 캐터필러에서 나는 다양한 소리(유압 펌프의 작동음, 엔진음, 후진 기어 경보음 등)를 통해서 현재 조작 중인 캐터필러의 상태를 현실 세계와 마찬가지로 가늠할 수 있다.

이러한 이점은 훈련용 애플리케이션에서 큰 빛을 발할 수 있으나, 게임처럼 정신적 몰입이 중요한 분야에서도 충분히 좋은 효과를 기대할 수 있다.

이 때문에 현실적인 사운드를 구현하기 위해서는 적재적소에 맞는 음향과 물리적인 법칙에 충실한 사운드 효과, 충분한 음질 등이 기본적으로 요구된다.

현실적인 사운드는 샘플링된 사운드 활용 방법이나 시뮬레이션된 사운드 활용 방법을 통해 구현될 수 있다.

- 샘플링된 사운드: 실감 나는 사운드 제작을 위한 가장 쉬운 방법으로, 미리 현실 세계에서 다양한 사운드를 연출하여 녹음한 뒤, 이를 적재적소에 맞게 재생한다. 실시간으로 계산된 알고리즘으로 사운드가 제작되는 방식이 아니기 때문에 미리 준비되지 않은 사운드 발생 조건을 마주하면 몰입을 깨는 불상사가 발생할 수 있다.

- 시뮬레이션된 사운드: 현실 세계에서 사운드가 만들어지는 물리적인 현상 그 자체를 시뮬레이션하여 사운드를 실시간으로 조건에 맞게 합성하여 재생한다. 샘플링된 사운드보다 컴퓨팅 자원을 더 많이 소모하지만 그만큼 더 현실적인 사운드를 제작할 수 있다.

엔진의 RPM처럼 실시간으로 계속 바뀌어야 하는 동적인 사운드는 시뮬레이션 사운드를, 집 대문을 여닫을 때 나는 소리나 유리컵 등이 깨지는 소리처럼 정적인 사운드는 샘플링된 사운드를 활용하는 식으로 두 가지 방법을 함께 활용하면 보다 경제적으로 사운드를 표현할 수 있다.

또한 샘플링된 사운드를 가지고 시뮬레이션하는 것도 가능(총성은 샘플링, 동굴 속에서의 총성 메아리는 시뮬레이선)하다.

 

2.1.1. 데이터 소니피케이션 (Data Sonification)

데이터 소니피케이션은 데이터의 시각화를 넘어서 데이터의 청각화를 구현하는 것을 말한다.

즉, 수집한 데이터를 분석하여 이를 추상적인 사운드 형태로 표현하는 것이다.

사물이 온도 변화에 따라 변화하는 사운드, 하층 대기의 시뮬레이션, 이산화탄소나 오존 수준을 나타내기 위해 사용되는 사운드 등이 이에 해당한다.

 

2.2. 배경 사운드 (Ambient Sound)

배경 사운드 또는 엠비언트 사운드는 경험의 분위기를 연출하기 위해 사용되는 사운드이다.

영화 연출 분야에서 자주 사용되던 사운드 중 하나로, 정신적 몰입감을 향상하는데 유용하다.

불길하고 위협적인 분위기를 연출하기 위해 묵직한 저음을 활용한 사운드의 박자를 점점 빨라지게 만든다거나, 공포스러운 분위기 연출을 위해 날카롭고 찢어지는 듯한 고주파 사운드를 활용하는 것이 대표적인 예시이다.

이는 의도적으로 체험자가 어떠한 공간에 접근하는 것을 막거나 끌어들이게 만들 수 있는데, 여기에는 현실적인 사운드를 활용할 수도다.

공포 영화를 예로 들자면 다음과 같다.

수전에서 물방울이 계속 떨어지는 소리가 아무도 없는 집 안에서 홀로 메아리치며 고요한 분위기 속에 울리고 있다면 이는 현실적인 사운드임과 동시에 배경 사운드라고 말할 수 있다.

만약 체험자가 물방울 소리를 따라 조심스레 주방으로 걸어가다가 어느 순간 물방울이 떨어지는 소리가 멈추고, 잠시동안 아무런 소리도 들리지 않을 정도로 고요해졌다면 체험자는 본능적으로 위협을 감지하고 긴장 상태에 놓일 것이다.

몇 초가 흐른 뒤, 갑작스레 '쾅!' 하며 강하게 내리치는 천둥소리와 번쩍이는 번개 불빛 너머로 한 손에 빠루를 든 곰돌이의 시커먼 형상이 눈앞에 잠깐 나타났다가 사라진다면, 누구나 공포를 느끼고 그 집에서 도망치려고 할 것이다.

 

2.3. 마커 (Marker)

마커는 어떠한 이벤트의 발생을 알리는 불연속적인 사운드이다.

즉, 사운드를 일종의 정보 전달 수단으로 활용하는 것이다.

마커를 통해 알릴 수 있는 이벤트로는 월드 이벤트, UI 이벤트, 소니피케이션 이벤트, 감각 치환 이벤트 등이 있다.

여기서 SFX에 해당하는 월드 이벤트 마커는 꽃을 따는 소리, 곰돌이가 울부짖는 소리, 폭탄이 터지는 소리와 같이 월드 내에서 발생하는 이벤트를 표현하는 사운드에 해당한다.

UI 이벤트 마커는 사용자 인터페이스를 조작할 때 소리를 발생시켜 체험자의 행동에 따라 UI가 어떻게 반응하였는지를 들려주는 사운드이다.

소니피케이션 이벤트 마커는 어떠한 액체의 온도가 임계값을 초과했을 때 이를 알려주기 위해 발생하는 '삐삐' 소리 등이 대표적이다.

감각 치환 이벤트 마커는 앞서 언급하였던 감각 치환 효과를 유도하기 위해서 사용되는 사운드들을 의미한다.

배경 사운드는 마커에서도 활용될 수 있다.

벌집에 모인 꿀을 따야 하는 환경을 구현하고자 한다면, 체험자 주변에 들리는 벌떼 소리가 처음에는 '웅웅'거리며 가볍게 들릴 것이다.

하지만 체험자가 꿀을 따기 위해 벌집을 건드리기 시작하면 벌떼의 소리가 이전보다 더 크고 요란하게 웅웅 거리게 들리게 만든다.

이렇게 되면 체험자가 벌떼의 심기를 건드렸다는 것을 인지할 수 있을 것이다.

 

2.4. 인덱스 사운드

인덱스 사운드는 어떠한 연속적인 값(온도 등)을 음파 파라미터(피치 등)에 직접 매핑하는 사운드이다.

활용법은 마커 사운드와 유사하지만, 인덱스 사운드는 마커 사운드와 달리 연속적이다.

또한 인덱스 사운드는 어떠한 범주에 종속되지 않고 연속적인 값의 변화를 나타내고자 한다면 어디에든 적용하여 사용할 수 있다.

엔진의 RPM 변화에 따른 사운드 변화를 연출이 대표적인 인덱스 사운드의 활용법이다.

 

2.5. 음성 메시지

음성 메시지는 텍스트가 아니라 음성으로 어떠한 메시지를 전달하는 방법으로, 인간이 음성으로 의사소통하는 방법을 그대로 재현한 것이다.

언어를 다루므로, 음성 메시지 또한 언어와 동일한 특성(언어의 종류에 따른 상호작용 가능 여부, 시간의 흐름에 따라 '흘러가는' 정보 등)이 그대로 적용된다.

체험자의 음성은 현실 세계에서 만들어진 사운드이기 때문에 가상 세계 속 환경과 무관하게 다루어진다.

이 때문에 가상 세계 속 체험자는 정신없이 요란한 폭음과 총성이 오가는 전쟁터에 있는데, 음성 메시지 속 목소리는 너무나도 고요하고 평온한 사운드일 수도 있는 것이다.

이는 순간적으로 정신적 몰입감을 해치는 요인이 될 수도 있으며, 이러한 점을 보안하기 위해 <더 디비전>과 같은 사례(의도적으로 체험자의 목소리에 무전기의 잡음과 음질 저하 효과를 적용)처럼 가상 세계 속에서의 의사소통과 최대한 유사한 느낌을 받을 수 있도록 설계하기도 한다.

---

---

 

---

 

---

수고하셨습니다!

---