청각 디스플레이

---

 

 

1. 청각 디스플레이

앞서 '디스플레이'라는 용어는 시각 이미지를 출력하는 용도로 사용되는 '시각 디스플레이'에 국한되지 않고, 체험자에게 오감에 대한 피드백을 제공해 주는 모든 종류의 장비들을 디스플레이라고 칭한다고 언급한 바 있다.

이 때문에 '청각 디스플레이'라는 용어는 스피커, 이어폰, 헤드폰 등과 같이 사운드를 제공하는, 인간의 오감 중에서 '청각'에 해당하는 피드백을 제공해 주는 장치를 칭하는 용어라고 볼 수 있다.

청각 디스플레이 또한 앞서 살펴본 바와 같이 HBD(머리 기반 디스플레이)와 고정형 디스플레이로 구분될 수 있다.

스피커가 대표적인 고정형 디스플레이라고 볼 수 있으며, 헤드폰 또는 이어폰 등이 HBD 종류라고 볼 수 있다.

머리 기반 청각 디스플레이(헤드폰, 이어폰 등) 또한 머리 기반 시각 디스플레이와 마찬가지로 체험자를 물리적 세계(현실 세계)에 대한 소리로부터 격리시킬 수 있는데, '노이즈 캔슬링' 기술처럼 시각 디스플레이보다 더욱 세밀하게 격리하는 것이 가능하다.

고음질 오디오 장비는 생각보다 고품질 비디오 장비보다 가격이 저렴하다.

몇 백 ~ 몇 천만 원을 훌쩍 넘기는 최고급 오디오 장비도 물론 존재하지만, 이 정도 수준까지 가지 않고 몇 십만 원 단위의 스피커만 사용하더라도 VR 경험에 있어서는 충분히 높은 품질의 청각 피드백을 접할 수 있다.

이러한 저렴한 가격은 확실히 청각 디스플레이가 지니고 있는 장점이자 큰 특징이라고 볼 수 있다.

 

---

 

2. 청각 디스플레이의 속성

청각 디스플레이의 선택지는 시각 디스플레이의 선택지보다 적지만, 그럼에도 청각 디스플레이의 몇 가지 속성은 VR 경험에 큰 영향을 미칠 수 있다.

청각 디스플레이의 속성들을 청각적 표현 속성과 논리적 속성으로 나눠서 보자면 아래와 같다.

- 청각적 표현 속성: 사운드 스테이지 (공간), 로컬라이제이션, 디스플레이 채널의 수, 마스킹, 증폭, 레이턴시 허용치

- 논리적 속성: 소음 공해, 사용자 이동성, 트래킹 방식에 따른 상호작용, 환경 요구사항, 기타 감각 디스플레이와의 연관성, 휴대성, 회전율, 착용감, 안전, 비용

이와 더불어서 VR 시스템 주변에서 발생하는, 또는 청각 디스플레이 자체에서 발생하는 다양한 소음들이 체험자에게 세어 들어갈 수가 있다.

'화이트 노이즈'(White Nose)가 대표적인 청각 디스플레이 자체에서 발생하는 소음 중 하나이며, 체험자가 걸어가면서 흔들리는 전선 때문에 발생하는 소음, 컴퓨터 쿨러의 모터가 회전하면서 발생하는 소음, 체험자 주변의 타인이 내는 소음 등이 VR 시스템 주변에서 발생하는 대표적인 소음들이다.

이러한 소음들이 체험자에게 최대한 적게 유입되도록 만드는 것도 VR 경험에 큰 영향을 미치게 된다. 

 

2.1. 청각적 표현 속성

일반적으로 사운드를 렌더링 하는 것은 3D 그래픽 이미지를 렌더링 하는 것보다 비용이 훨씬 더 적게 든다.

이 덕분에 VR 디스플레이의 오디오 구성요소들은 레이턴시(Latency)와 렉(Lag) 문제로부터 상당히 자유로운 편이다.

다만 이와 더불어서 인간의 귀도 눈보다 이러한 문제(레이턴시와 렉)에 대해 훨씬 더 민감한 기관이라는 것을 잊어서는 안 된다.

이러한 특징 때문에 청각 디스플레이를 구현할 때는 시간적 해상도, 동적 해상도를 적절한 수준을 유지하는 범위 안에서 안정적으로 고음질 사운드를 제공해 주는 것이 가장 중요하다.

 

2.1.1. 사운드 스테이지 (Sound Stage)

사운드 스테이지는 소리가 청취자에 대해 발산하는 것으로 보이는 기준점을 의미한다.

스피커와 헤드폰의 사운드 스테이지의 차이를 비교해 보면 아래 그림과 같은 모습이 될 것이다.

물리적 세계(현실 세계)의 특정 위치에 고정된 스피커는 체험자의 머리가 어디로 움직이고 회전하든 소리가 발생하는 위치는 바뀌지 않는다.

하지만 헤드폰이나 이어폰과 같은 장비들은 체험자의 머리에 고정되어 있기 때문에 체험자가 머리를 움직이거나 회전하면 그에 따라 소리가 발생하는 위치도 함께 바뀌게 된다.

일반적으로 가상 환경에 내재된 소리가 발생했을 경우, 체험자는 이 소리가 가상 세계 속 고정된 장소에서 발생할 것이라고 생각할 것이다.

이 때문에 체험자가 헤드폰이나 이어폰 등을 사용하고 있는 환경이라면, 체험자의 머리의 움직임 및 회전 등을 추적하여 사운드가 상대적인 위치가 아닌 절대적인 위치에서 발생하는 것처럼 연출해야 한다.

 

2.1.2. 로컬라이제이션

현실 세게에서 들리는 소리를 통해서 소리의 근원의 방향이나 위치를 추적하는 모습은 일상에서도 쉽게 접할 수 있다.

이는 소리의 특성(메아리, 볼륨의 크기, 종류 등)이나 방향 등을 통해 우리는 어떠한 소리가 어디서 어떻게 발생했는지를 유추할 수 있는 능력이 있기 때문이다.

소리의 근원지 방향과 거리에 따라서 양 쪽 귀에 소리가 도달하는 시간 차가 발생하며, 소리가 발생한 지역 주변 사물들의 재질 등에 따라서 소리가 왜곡되는 정도도 달라지게 된다.

이처럼 다양한 소리의 변화와 특성 등을 이해하고 있는 조건 하에 소리가 발생한 위치를 추적해 낼 수 있는 특성을 '로컬라이제이션'이라고 부른다.

하지만 체험자가 헤드폰이나 이어폰과 같은 머리 기반 청각 디스플레이를 착용하고 있다면 어떻게 될까?

헤드폰이나 이어폰의 양 쪽 유닛이 스테레오 사운드를 재생하고 있다면 좌/우 편차를 통해 입체감을 느낄 수는 있겠지만, 머리를 회전하거나 이동할 때마다 헤드폰/이어폰도 머리를 따라 함께 회전/이동하기 때문에 소리 근원의 정확한 위치를 파악하는 것은 매우 어렵다.

3D 사운드는 이러한 상황에서 체험자의 머리 위치와 방향을 추적하여 가상 세계 속에서 발생하는 소리가 실제 근원지에서 발생하는 것처럼 느껴지도록 오디오를 렌더링 해준다.

3D 사운드 효과가 적용된 상태에서 HMD 기기를 착용한 체험자가 시장 속을 걸어 다니고 있다면, 시장 속에서 발생하는 북적이는 소리와 말소리가 체험자의 움직임에 따라 멀어지거나 가까워지는 등의 연출이 가능해진다.

스피커는 반사된 사운드와 직접적으로 유입되는 사운드가 뒤섞이면서 완성된 사운드를 제공한다.

하지만 헤드폰이나 이어폰은 귀에 직접적으로 유입되는 사운드만 제공한다.

이는 헤드폰/이어폰이 양 쪽 귀에 어떤 사운드가 전달될 것인지를 정확하게 파악하고 제어할 수 있으며, 3D 사운드를 구현할 때 훨씬 더 높은 완성도를 제공할 수 있음을 의미한다.

Microsoft 사에서 제작한 HoloLens 제품의 경우, 소형 스피커를 귀 근처에 배치하여 체험자가 헤드폰을 이용해 귀를 완전히 가리지 않지만 사운드는 들을 수 있도록 설계하였다.

Apple 사에서 제작한 Vision Pro 제품의 경우에도 이와 비슷한 구조를 띄고 있으며, 제품 설명에 따르면 3D 사운드 구현 기능(동적 머리 추적 기술을 통한 공간 음향)도 포함되어 있다.

 

2.1.3. 청각 디스플레이 채널 수

청각 디스플레이 채널의 수는 일반적으로 두 개로 구성되어 있다.

인간의 양 쪽 귀는 미세하게 서로 다른 정보를 전달받는데, 이는 위치와 방향 등에 따라 달라지는 소리의 도달 경로 및 시간의 차이 때문이다.

이러한 차이는 인간이 소리를 통해 소리의 근원지와 특징 등을 추적할 수 있는 단서를 제공해 준다.

헤드폰의 경우에는 스피커 유닛 2개가 귀를 덮고 있기 때문에, 3D 사운드 등의 다양한 기술로 공간화를 구현하면 되지만 스피커는 앞서 살펴본 바와 같이 반사되는 소리와 직접적으로 유입되는 소리가 뒤섞이므로 디스플레이 유닛을 늘려야 공간적 신호를 전달하기에 유리하다.

5.1 채널 또는 7.1 채널이라고 불리는 영화용 오디오 시스템이 대표적인 예시인데, 이는 우퍼와 스피커를 적합한 위치에 배치하여 공간 음향을 구현할 수 있음을 의미한다.

일반적으로 정면 1개, 정측면 2개(좌/우), 후측면 2개(좌/우)에 스피커를 배치하며, 우퍼 1개를 추가적으로 설치하는 구조가 5.1 채널 시스템이라고 불린다.

이처럼 스피커를 통한 공간 음향 효과를 구현하기 위해서는 여러 대의 스피커가 요구될 뿐만 아니라 이러한 스피커를 설치할 수 있는 넓은 공간도 함께 요구되므로 상대적으로 헤드폰보다 부담이 커진다.

 

2.1.4. 마스킹

사운드 분야에도 마스킹이라는 개념은 존재한다.

상대적으로 더 큰 소리는 작은 소리를 가릴 수 있다.

또한 소리는 매질을 통해 전달되기 때문에 특정 사물을 이용해 소리의 전달을 막을 수도 있다.
(우주처럼 매질이 존재하지 않는 곳에서 소리가 전달되지 않는 이유와 동일)

이는 헤드폰이나 스피커 등 디스플레이 종류와 관련이 없으며, 사운드가 지니는 고유한 특징이다.

소리는 반사될 수 있기 때문에 소리가 도달하는 벽면을 진동 흡수에 유리한 재질로 만들면 소리가 밖으로 새어나가거나 반사되는 것을 막을 수 있다. (방음벽)

또는 소리가 발생하는 근원지에 다른 물체(베개, 이불 등)를 배치하여 소리가 체험자에게 닿지 못하도록 차단하는 것도 가능하다.

다만 소리도 파장이기 때문에 회절성이 있으며, 어떠한 물체는 통과하기도 하기 때문에 완벽하게 소리를 차단하는 것에는 큰 무리가 있다.

또한 고주파 소리는 저주파 소리보다 회절성이 떨어져서 먼 거리까지 도달하기가 힘들며 차단하기가 쉽다는 특징이 있다.

실제로 먼 거리에서 발생한 큰 소음을 들었을 때나 낮은 볼륨으로 소리를 들을 때를 보면 고음보다 묵직하게 몸을 울리는 듯한 저음이 더 명확하게 들리는 것을 경험할 수 있다.

소리를 의도적으로 차단하기 위해서는 헤드폰을 착용하는 것이 더 유리하다.

헤드폰 자체가 귀를 가리고 있으며, 방음 설계가 기본적으로 되어있기 때문이기도 하지만, '노이즈 캔슬링'과 같이 외부에서 유입되는 소음의 파장을 파악하여 이를 상쇄시키는 파장을 발생시켜 의도적으로 소음을 감소시키는 것도 가능하기 때문이다.

만약 노이즈 캔슬링 기능을 사용함과 동시에 한 명 이상의 체험자가 가상 세계를 동시에 경험하고 있는 상황일 경우, 여러 명의 체험자가 의사소통을 할 때 노이즈 캔슬링 기능에 의해 목소리마저 상쇄되어 들리지 않는 문제를 방지하고자 특정 음역대의 소리만 상쇄시키는 기술 또한 존재한다.

 

2.1.5. 증폭

소리의 증폭은 다른 청각 표상 특성 중에서 가장 익숙한 개념일 것이다.

증폭은 다시 말해 '소리의 볼륨'을 의미하며, 더 멀리 또는 더 큰 소리를 듣기 위해 기존의 오디오 신호를 더 큰 수준의 신호로 끌어올리는 것을 말한다.

이 기능을 전문적으로 담당하는 장비가 바로 앰프이며, 마이크를 이용하고 있다고 가정한다면 '소리 -> 마이크 -> 앰프 -> 스피커' 순으로 소리 신호가 입력, 증폭, 방출된다.

앰프는 스피커와 달리 기본적으로 전력을 요구하는데, 이 덕분에 시중에 판매되고 있는 스피커들 중에서 전력을 추가적으로 요구하는 스피커들은 대부분 앰프가 스피커 본체 안에 내장되어 있다고 추측해 볼 수 있다.

 

2.1.6. 레이턴시 허용치 (Latency tolerance)

청각 디스플레이는 시각 디스플레이보다 렌더링 비용이 저렴하여 레이턴시 문제와 렉 문제로부터 좀 더 자유롭다고 언급한 바 있다.

하지만 이와 더불어 인간의 귀도 레이턴시 문제와 렉 문제에 대해 눈보다 훨씬 더 민감하다고 함께 언급하였다.

이는 즉, 청각 디스플레이의 '레이턴시 허용치'가 시각 디스플레이보다 훨씬 더 낮다는 것을 의미한다.

오디오는 중간에 중단되거나 지연되지 않아야 하며, 시각적 요소와 완벽하게 동기화되어야 한다.

즉, 망치가 못을 떼리는 순간에 정확하게 사운드가 나지 않거나 말하는 사람의 입모양과 사운드의 싱크가 조금이라도 틀어지게 된다면 몰입감을 해치게 된다는 것이다.

이러한 엄격함은 원격 데스크톱이나 클라우드 게이밍과 같이 네트워크의 영향을 심하게 받는 환경에서 치명적인 요인으로 작용할 수 있다.

영상을 시청하거나 FPS와 같이 반응 속도가 빨라야 하는 게임을 네트워크 환경에서 플레이하고 있을 때 눈으로 인지한 시각 이미지의 움직임과 소리의 싱크가 맞지 않아서 몰입에 방해를 받고 답답함을 느낀 경험은 누구나 한 번쯤은 겪어보았을 것이다.

 

2.2. 논리적 속성

2.2.1. 소음공해

오디오를 출력할 때는 주변 환경을 잘 고려해야 한다.

주변에서 발생하는 다양한 소음은 VR 경험에 큰 방해가 될 수 있다.

외부에서 발생하는 소음이 VR 경험을 방해하는 것이 가장 일반적인 경우이겠지만, 그 반대의 경우도 충분히 가능하다.

스피커를 사용할 때 소음공해에 더욱 취약해질 수 있다.

VR 경험과 무관한 사람들이 함께 있는 공공장소에서 스피커를 사용해 VR 경험을 구현하였다면 타인에게 불쾌함을 유발할 수 있으며, 체험자도 외부 소음에 의해 불편함을 느낄 수 있다.

반대로 헤드폰을 사용하고 있다면, 들어야 할 소리를 듣지 못해서 발생하는 불편함이 발생할 수도 있다.

타인이 체험자를 부르는 소리, 주변에서 발생한 소리를 인지하지 못하여 발생하는 안전사고 등이 대표적이다.

 

2.2.2. 사용자 이동성

헤드폰을 사용하고 있다면 체험자의 자유로운 움직임을 보장할 수 있다.

물론, 헤드폰이 연결된 기기와 일정 거리를 유지해야 한다는 점은 변하지 않는다.

스피커는 애초부터 특정한 위치에 고정시킨 상태에서 사용하는 장비이기 때문에 VR 기기 자체에 스피커를 내장하지 않는 이상 이동하면서 사용하는 것 자체가 불가능하다.

과거에는 음질과 레이턴시 문제 때문에 불편함을 감수하고서라도 유선 장비를 주로 사용하였으나, 점차 블루투스의 성능이 좋아지면서 높은 레이턴시를 구현해야 하는 환경에서도 무선 연결 기기를 사용하는 경우가 크게 늘어나고 있다.

 

2.2.3. 트래킹 방식에 따른 상호작용

헤드폰과 스피커는 기본적으로 자석을 이용해 소리를 발생시키는 구조를 띄고 있다.

비록 사이즈는 매우 작지만, 전자기 트래킹 센서를 방해하기에는 충분하기 때문에 주의가 필요하다.

또한 스피커는 출력이 강하기 때문에 거리 측정에 주로 사용되는 사운드 펄스 신호를 마스킹(큰 소리는 작은 소리를 덮는다)할 수 있어서 음파를 사용하는 트래킹 시스템에 교란을 발생시킬 수 있다.

다만 청각 디스플레이에서 트래킹은 일반적으로 머리를 추적하여 공간 음향을 구현할 때만 주로 사용되며, 오디오 렌더링 자체에 큰 비중을 차지하지는 않는다.

 

2.2.4. 기타 감지 디스플레이와 연관성

일반적으로 헤드폰은 머리 기반 시각 디스플레이(HBD)와 연관이 있으며, 스피커는 고정형 디스플레이와 연관이 있다.

헤드폰은 HMD와 같은 HBD 장비와 유무선으로 연결되어 시청각 감각 디스플레이를 하나의 컴퓨터 장비가 한꺼번에 처리하는 것이 일반적이다.

또한 헤드폰은 1인용으로 설계된 장비에서 주로 사용되며, 스피커는 두 명 이상의 체험자가 동시에 가상 세계를 접해야 할 때 주로 사용된다.

스피커의 경우, 어디에 배치하느냐에 따라 몰입감이 크게 달라지기 때문에 공간의 제약을 크게 받는 편이다.

스피커를 서라운드 스크린 앞에 배치하면 시각 디스플레이가 가려지기 때문에 방해가 될 수 있으며, 그렇다고 뒤에 놓으면 사운드가 제대로 전달되지 않는 문제가 발생할 수 있다.

또한 5.1 채널을 언급할 때처럼 여러 채널의 스피커를 동시에 사용하고자 한다면 체험자를 중심으로 앞/뒤/좌/우에 스피커를 배치하여야 하기 때문에 헤드폰보다 더 넓은 공간을 요구한다.

 

2.2.5. 휴대성

사용자 이동성을 언급할 때 다루었던 것처럼 확실히 헤드폰이 스피커보다 휴대성이 좋은 것은 사실이다.

자주 이동해야 하는 환경에서 기기를 사용하고자 한다면, 헤드폰이나 이어폰과 같이 휴대성이 높은 장비가 훨씬 유리할 것이다.

다만 휴대성이 좋다는 것은 그만큼 외부 환경에 노출될 일이 많다는 것을 의미하며 이것은 다양한 사고를 일으킬 가능성도 커진다는 걸 의미하기도 한다.

헤드폰을 낀 상태로 길을 걷다가 교통사고가 발생한다거나, 노이즈 캔슬링 때문에 외부 소음을 듣지 못해 장애물을 피하지 못하고 부딪힌다거나, 타인의 목소리를 듣지 못해 의사소통에 불편을 겪는 등의 문제점이 대표적이다.

 

2.2.6. 회전율

헤드폰은 착용 및 탈착 과정에 많은 시간이 소요되는데, 이는 공공장소와 같이 회전율이 중요한 환경에서 상당한 영향을 미칠 수 있다.

만약 소리를 들어야 하는 사람이 대중 수준으로 굉장히 많은 환경에서 헤드폰을 사용한다면 어떻게 될까?

헤드폰 수보다 들어야 하는 사람의 수가 더 많다면?

헤드폰의 사이즈가 적절하지 않아 헤드폰을 착용할 수 없는 사람이 발생한다면?

이러한 문제가 발생하게 된다면 자연스럽게 소리를 들을 수 없는 사람들이 생길 것이며 이는 곧 회전율에 직접적인 영향을 미치는 요인으로 작용한다.

하지만 스피커는 설치가 끝나면 그냥 전원을 넣어 틀기만 하면 된다.

청각에 문제가 있지 않다면, 주변 소음이 적절하게 조절되고 있는 환경이라면 같은 공간 내에 있는 모두가 스피커에서 나는 소리를 문제없이 들을 수 있다.

이는 스피커가 헤드폰보다 대규모 군중을 대상으로 할 때 더 빠른 회전율을 제공할 수 있다는 것을 의미한다.

 

2.2.7. 착용감

헤드폰은 머리에 항상 고정된 상태를 유지하는 장비이다.

이는 즉, HMD 기기와 마찬가지로 무게와 착용감 등에 따라 장시간 사용 시 큰 피로와 부담감을 줄 수 있다는 것이다.

헤드폰의 유닛 사이즈가 작으면 귓불에 짓눌러서 장시간 사용 시 극심한 통증을 유발하기도 한다.

또한 헤드폰이 너무 크면 조금만 머리를 움직여도 흘러내려서 큰 불편함을 야기하며, 너무 무거우면 목 건강에 큰 무리를 줄 수도 있다.

반면에 스피커는 체험자의 신체에 고정된 장비가 아니기 때문에 착용감이라는 개념 자체가 성립할 수가 없어 이러한 고려사항들로부터 자유롭다.

 

2.2.8. 안전

시각 정보만큼이나 의존도가 큰 것은 아니지만 청각 정보도 인간의 인지 능력에 큰 비중을 차지하고 있다.

이 때문에 현실 세계를 살아가면서 의도적으로 청각 정보를 차단하거나(노이즈 캔슬링), 다른 소리 때문에 들어야 할 소리를 듣지 못하면(마스킹) 경우에 따라 큰 사고로 이어질 수도 있다.

헤드폰을 사용할 때 이러한 문제가 더욱 부각되며, 스피커도 안전에 있어서 예외는 아니다.

스피커나 헤드폰의 볼륨이 과하게 크면 청력에 영구적인 손상을 입힐 수도 있으며, 스피커를 연결하는 케이블을 보지 못해 걸려 넘어진다거나, 스피커가 제대로 고정되지 못해 넘어지는 등 다양한 문제가 발생할 수 있다.

특히 스피커는 헤드폰과 달리 매우 무겁고 크기 때문에 안전사고가 발생하면 중상을 입을 수도 있어 어떤 종류의 청각 디스플레이를 사용하든 간에 안전에 유의해야 할 필요가 있다.

 

---

 

---

수고하셨습니다!

---