VR과 시각 디스플레이

---

 

 

1. 시각 디스플레이

시각 디스플레이는 여러 디스플레이 중에서 가장 많은 비중을 차지하는 디스플레이이다.

시각 디스플레이는 여태껏 계속 언급되었던 것처럼 아래와 같이 세 가지 종류로 분류해 볼 수 있다.

- 고정형 디스플레이 (Stationary Display)

- 머리 기반 디스플레이 (Head-based Display)

- 손 기반 디스플레이 (Hand-based Display)

위와 같은 디스플레이들은 서로 요구하는 구성 요소도 다르고, 제공하는 기능도 다르며, 그에 따라 발생하는 (좋고/나쁜) 상호작용 이슈도 모두 다르다.

즉, 각각의 디스플레이는 서로 다른 특징과 장단점이 존재한다는 것이므로 애플리케이션의 특징과 용도에 따라 디스플레이를 적절하게 선택해 활용해야 한다.

 

1.2. 시각 디스플레이의 구성 요소

여기서 다루는 시각 디스플레이의 구성 요소들과 운영적 특성(Logistics Properties)은 모든 시각 디스플레이에 공통적으로 적용되는 사항들이다.

물론 디스플레이를 사용하는 시스템마다 구성 요소가 조금씩 달라질 수는 있겠지만, 아래의 구성 요소들 중에 일부가 빠진다는 것은 아니다.

시각 디스플레이의 공통된 목적은 체험자에게 시각 이미지라는 정보를 전달하는 것으로, 그 전달 방법과 그러한 방법에 따른 장단점 및 특징 등이 조금씩 달라질 수 있다는 것을 의미한다.

 

1.3. 시각적 표현 특성 (Visual Presentation Properties)

디스플레이 장치의 시각적 특성은 VR 경험의 전반적인 품질에 영향을 미치는 중요한 사항 중 하나이다.

시각적 특성에 대한 신중한 고려는 의도된 애플리케이션의 요구사항에 맞게 진행되어야 한다.

일반적으로 이러한 시각적 특성들은 연속적인 스펙트럼을 띄고 있으나, 체험자에게 제공하는 경험의 품질과 금전적 비용 사이의 절충안을 고려해야 한다.

의료 시술 시뮬레이션 애플리케이션을 예로 들자면, 인간의 혈관 하나하나를 섬세하게 표현하는 것은 매우 중요한 영향을 미치겠지만, 병원 건물 주변 도심을 방황하던 곰돌이들이 북실한 털을 휘날리며 먹잇감으로 발견한 인간들을 향해 달려 나가는 모습을 사실적으로 표현할 필요는 없을 것이다.

 

1.3.1. 접지 (Grounding)

시각 디스플레이는 디스플레이 스크린과 세계 또는/그리고 체험자 사이에 위치하게 된다.

HBD의 경우에는 머리의 움직임에 따라 함께 움직이는 '머리 접지' 방식이며, CAVE 스타일의 디스플레이는 벽 또는 지붕 등에 투사 장치가 고정되어 세계를 중심으로 표현되는 '세계 접지' 방식이다.

이는 시각 디스플레이가 보여주는 시각 정보를 어떤 기준점을 가지고 표현할 것인지를 결정하는 개념이다.

 

1.3.2. 발광 기술 (Emitting Tech.)

발광 기술에는 LCD, CRT, LED, OLED 등 다양한 기술이 존재하며, 각자의 장단점이 갈린다.

- CRT: 전자총을 이용해 전자빔을 발사하여 색을 표현하는 방식의 기술이다. 뛰어난 명암비 표현력, 매우 빠른 반응 속도가 장점이며, 매우 무겁고 큰 장비의 규모와 심한 발열이 단점이다. 현재는 사용되지 않고 있다.

- LCD: CRT를 완전히 대체한 기술. 빛을 내는 '백 라이트 패널'이 따로 존재하며 내고자 하는 색상 종류에 따라 편광판을 조절하는 방식으로 색을 표현하는 방식의 기술이다. 하지만 명암비 표현력이 떨어지며, 재활용성이 낮다.

- LED: LCD를 대체하며 대세로 자리 잡은 방식의 기술로, 발광 다이오드를 사용해 각 픽셀 하나가 빛을 내는 다이오드로 구성된 방식의 기술이다. 필요에 따라서 매우 작은 사이즈로 제작이 가능하며 밝기가 매우 밝고 수명이 상당히 길다. 다만 청색 LED의 경우에는 수명 문제가 있어서 '번인 현상'이라고 불리는 문제에 취약하다는 치명적인 단점이 존재한다.

- OLED: LED에서 한 단계 더 발전한 형태로, 유기화합물을 사용해 구현된 LED이다. AMOLED가 대표적인 OLED의 사례이며, 매우 얇고 가벼울뿐더러 전력 효율이 뛰어나 소형 기기에서의 활용도가 높다. 무엇보다 OLED는 다른 기술들과 다르게 휘어질 수 있어 커브드 모니터와 같이 곡률을 표현하는 것도 가능하다는 장점이 있다.

 

1.3.3. 색상 (Color)

대부분의 디스플레이 장비들은 삼원색(적색, 녹색, 청색)을 기반으로 다양한 색상을 합성하여 표현한다.

흔치 않지만 단색 디스플레이도 물론 존재한다.

단색 디스플레이는 말 그대로 하나의 색만 표현할 수 있지만, 삼원색을 사용해 여러 색상을 표현할 수 있는 디스플레이보다 더 밝고 높은 대비를 보여준다.

단색 디스플레이는 AR 애플리케이션과 함께 주로 활용되는 편이다.

이는 밝기가 높으면 그만큼 가독성도 높아지므로, 실제 세계의 모습을 보여주면서 그 위에 가상의 데이터를 렌더링해야 하는 AR의 특성상 다채로운 색상을 표현하는 것보다 밝기를 높여서 데이터를 보다 쉽게 수용할 수 있도록 만드는 것이 더 유용하기 때문이다.

 

1.3.4. 공간 해상도 (Spatial Resolution)

공간 해상도는 우리가 디스플레이 장비의 성능을 논할 때 언급하는 '해상도'와 같은 의미이다.

일반적으로 픽셀, 즉 색을 나타낼 수 있는 가장 작은 단위인 점의 수를 (가로 * 세로) 형태의 숫자로 표현하며, 인치당 도트 수를 의미하는 dpi 단위로 표현하기도 한다.

같은 화면의 크기에서 해상도 수치가 높다면 더 조밀하게 픽셀이 배치되어 있다는 것이므로, 섬세하고 선명한 표현에 유리하다.

특히 HMD 기기는 체험자의 눈에 정말 가깝게 디스플레이가 위치하기 때문에 스마트폰이나 모니터 등과 같은 일반적인 장치들보다 높은 해상도 수치가 더욱 중요하게 작용한다.

해상도 수치가 과하게 높아지면 렌더링 성능에도 부담을 줄 수 있으므로 적절한 해상도를 설정하는 것이 중요하다.

또한 여기서 디스플레이의 크기와 해상도의 수치는 엄밀히 다른 개념이라는 점에 주의해야 한다.

 

1.3.5. 명암비 (Contrast)

명암비는 이름에서 알 수 있듯이 어둠과 밝음을 구분할 수 있는 수준을 나타내는 것이다.

만약 '완전한 어둠'을 나타내야 한다고 가정하면, '완전한 검정'을 표현할 수 있어야 할 것이다.

앞서 살펴본 LCD는 백 라이트 패널에서 나오는 빛이 전면의 편광 필름에 닿아서 색을 내는 방식이기 때문에 백 라이트 패널을 끄는 것이 불가능하다.

이 때문에 편광 필름을 닫는 방식으로 LCD는 검은색을 표현하지만, 새어 나오는 빛을 완전히 차단하는 것은 불가능하므로 각각의 픽셀을 구성하는 다이오드를 끄기만 하면 되는 LED에 비해 검정의 색 재현율이 상대적으로 많이 떨어진다.

이는 결국 LCD의 태생적인 한계로 인하여 LED보다 명암비 표현 성능이 떨어질 수밖에 없음을 의미한다.

이처럼 명암비는 디스플레이 장비의 종류와 설계 등에 따라서도 성능이 달라지며, 밝고 어두움을 표현하는 가장 기본적인 능력을 다루는 것이므로 그 중요도 또한 높다.

 

1.3.6. 밝기 (Brightness)

밝기는 말 그대로 화면의 밝기를 의미한다.

높은 밝기 수준은 어느 디스플레이나 지향하는 점이며, 문득 보면 더 강력한 빛을 내기 위해 더 많은 전력을 소모하도록 하면 쉽게 이루어질 것이라 보이지만 디스플레이의 사이즈가 밝기 성능에 영향을 미치기도 하기 때문에 마냥 가볍게 넘길 문제는 아니다.

일반적으로 AR 디스플레이는 현실 세계 위에 가상의 데이터를 투영하듯이 렌더링 하므로, 순수하게 현실 세계의 모습은 보이지 않도록 차단하고, 가상 세계의 모습만 보이도록 렌더링 하는 VR 디스플레이보다 밝기 성능이 더 좋아야 한다.

이는 앞서 언급했던 것처럼 단색 디스플레이를 AR 애플리케이션과 함께 사용하는 이유와 맞물리는 점이다.

 

1.3.7. 디스플레이 채널의 수 (Number of display channels)

VR 경험을 위해 제공되는 디스플레이 채널은 대부분 2개로 구성되어 있다.

이는 비주얼 디스플레이를 양쪽 눈에 맞게 배치하여 각각의 시각 정보를 표시하도록 하는 것이다.

이는 앞에서 언급했던 '스테레오시스'를 달성하기 위함이다.

---

인간의 지각 요소: 시각

---

인간의 두 눈의 위치 차이로 인해 발생하는 미세한 차이, '이중 시차'를 통해 거리감을 이해하는 원리를 반영하여 스테레오시스를 구현하고, 이를 통해 양안이 받아들이는 시각 정보에 미세한 차이를 두어서 가상 세계 속에서도 이중 시차를 경험할 수 있도록 한다.

이는 다시 말해서 한 번에 2개의 이미지를 동시에 렌더링해야 한다는 것을 의미하므로, 컴퓨터 자원 소모가 일반적인 디스플레이보다 더 크다는 것을 의미하기도 한다.

'다중화'(Multiplexing)란, 두 개 이상의 저수준 채널들을 하나의 고수준 채널로 통합하는 과정을 의미하는 네트워크 기술 용어로, 쉽게 말해서 여러 입력을 하나의 출력으로 합쳐주는 기술이다.

- 공간 다중화 (Spatial Multiplexing)

공간 다중화는 두 개의 작은 별도 디스플레이를 하나씩 배치하거나, 디스플레이는 하나만 배치하고 분할기를 디스플레이 앞에 설치하여 양 눈에 맞게 디스플레이를 분리하는 방식을 사용하여 구현된다.

전자는 Meta Quest와 같은 HMD 기기에서 주로 볼 수 있으며, 후자는 스마트폰 VR과 같은 사례에서 쉽게 찾아볼 수 있다.

안경을 포함한 별도의 장비 없이도 입체적인 스테레오스코픽 이미지를 볼 수 있도록 하는 기술도 존재한다.

닌텐도 사에서 출시한 '닌텐도 3DS'가 대표적인 사례이며, LG 사에서 출시한 '옵티머스 3D' 스마트폰도 있다.

이러한 기술을 '오토 스테레오스코피'(Auto-Stereoscopy)라고 부른다.

- 시간 다중화 (Temporal Multiplexing)

시간 다중화는 서로 다른 이미지를 액정 셔터 안경을 통해 제공하는 방식이다.

액정 셔터 안경은 양 눈의 시야를 완전히 분리시킬 수 있도록 하여 한쪽 눈이 다른 한쪽 눈에 들어오는 시각 정보를 인지하지 못하도록 차단한다.

이런 상태에서 시간 차를 이용하여 양 쪽 눈에 번갈아가면서 이미지를 제공해 준다.

즉, 왼쪽 눈이 이미지를 보고 있을 때는 오른쪽 눈이 이미지를 볼 수 없다는 것이다.

이는 가격이 비싸고 무게 문제가 있지만, 패널 해상도를 100% 표현할 수 있다는 특징이 있다.

현재는 그 인기와 관심이 많이 사그라들어서 시장에서 찾아보기 쉽지 않지만 3D TV나 3D 영화가 유행하던 2010년대 초반에는 굉장히 쉽게 찾아볼 수 있었던 장비 중 하나였다.

- 편광 다중화 (Polarization Multiplexing)

편광 다중화는 편광 필터를 이용하여 필터링된 두 개의 개별 영상을 사용하는 방식이다.

서로 다른 편광을 사용하여 왼쪽과 오른쪽 눈에 서로 다른 이미지를 제공하며, 안경의 렌즈가 서로 다른 편광을 걸러내는 역할을 수행한다.

3D 영화를 관람할 때 사용하는 선글라스처럼 생긴 안경이 편광 다중화를 활용한 대표적인 사례이다.

이 편광 필터는 수평 편광 필터와 수직 편광 필터를 함께 사용하는 방식이 가장 일반적이다.

즉 한쪽 눈은 수평 편광 필터가 들어있는 렌즈, 다른 한쪽 눈은 수직 편광 필터가 들어있는 렌즈를 장착하는 식이다.

CAVE 시스템과 같이 고정형 VR 시스템은 체험자가 고개를 기울이는 것과 같이 수평 축과 수직 축이 구성하는 이 편광 필터의 축이 흐트러지게 되면 편광이 왜곡될 수 있어서 이상한 이미지를 바라보게 된다.

이를 해결하기 위해서는 시계 방향과 반 시계 방향 성질을 가진 원형 편광 빛을 사용하면 된다.

원형 편광은 시야각에 따라 달라지지 않기 때문에 시선의 위치가 달라져도 문제가 생기지 않는다.

- 스펙트럼 다중화 (Spectral Multiplexing)

스펙트럼 다중화는 색의 스펙트럼을 분리하는 방식이다.

서로 다른 색상을 양 쪽 눈이 받아들인 뒤, 하나의 이미지로 합치는 방식인데 3D 영화라고 하면 가장 흔히 떠올리는 파란색/빨간색 종이 안경이 이 방식을 사용한다.

그 외에 'Dolby 3D' 또는 'Infitec 시스템'도 동일한 원리를 활용하고 있다.

앞에서 언급한 바와 같이 스테레오스코픽 디스플레이를 체험자에게 제공하기 위해서는 최소한 2개 이상의 디스플레이 채널이 요구된다.

만약 체험자가 2인 이상일 경우에는 이보다 더 많은 수의 디스플레이가 필요할 것이다.

여기서 주의할 점은 2개의 디스플레이 채널을 제공한다고 해서 무조건 스테레오스코픽 이미지를 보여줄 수 있다는 것은 아니라는 점이다.

스테레오스코픽 이미지, 즉 3D 이미지는 두 개의 서로 다른 가상 세계의 뷰로 구성되어 있으며, 각각의 뷰는 서로 다른 눈에 맞춰져 있기 때문에 구현 가능한 것이다. (수직/수평 편광 렌즈, 분리된 색 스펙트럼의 활용 등)

스테레오스코픽 이미지처럼 2개 이상의 디스플레이 채널을 사용하지만 3D 이미지가 아닌 2D 이미지를 다루는 '쌍안 모노스코픽 이미지'(Binocular Monoscopic)라고 부른다.

이는 입체 이미지가 아니기 때문에 깊이감을 제공하지는 않지만, 그럼에도 초점 거리와 수렴 깊이 단서는 중요하게 작용한다.

스테레오스코픽 이미지를 제대로 만드는 것은 상당히 어렵고 까다로운 일이다.

인지 부조화 문제로 인해 멀미를 유발하거나 어지럼증을 발생시키기 쉬우며, 무엇보다 이미지를 2개씩 사용하므로, 기존의 모노스코픽 이미지보다 그래픽 연산 자원도 2배로 소모하기 때문이다.

스테레오시스를 구현하는 것은 생각보다 부담이 큰 작업이기 때문에 정말 이를 구현하는 것이 유용한지를 잘 판단하여 도입해야 한다.

이 중에서 스테레오시스가 가장 유용하게 쓰이는 분야는 근거리에서, 손을 사용하는 작업을 구현할 때이다.

입체적인 가상의 사물을 양손을 이용해 자유롭게 다룰 수 있다는 것은 체험의 몰입감 차원을 넘어서 훈련/교육의 효과를 극대화하는데도 큰 영향을 미칠 것이다.

- 다중 사용자용 다중화 (Multiuser Multiplexing)

다중 사용자용 다중화의 구현은 모든 '서라운드 VR 시스템'(Surround VR system)의 궁극적인 목표이기도 하다.

이는 동일한 물리적 공간을 공유하고 있는 여러 명의 체험자들이 협업을 위해 더 나은 상호작용을 가능하게 한다.

프로젝터 형식의 VR 디스플레이 중 두 명의 체험자가 동일한 화면을 볼 수 있도록 구현된 사례를 보면 네 개의 채널(각각 두 개씩)을 사용하여 시각 디스플레이를 구현하기도 했다.

고정된 위치의 프로젝터가 빛을 쏘는 것을 체험자가 수용하는 방식이 아니라 체험자가 착용한 장비에서 빛을 쏴서 체험자가 바라보는 시야에 이미지를 투사하는 방식을 사용한 사례도 있다.

체험자들이 가상 세계를 경험할 때 착용하는 안경과 같은 장비에 프로젝터를 내장하여 인원이 늘어날수록 디스플레이 채널 또한 늘어나는 것이다.

위 사진은 노스캐롤라이나 대학교에서 1998년도에 연구한 'The PIT' 시스템이다. 

이 시스템은 두 명의 체험자가 서로 직각(90도)으로 앉아서 정면의 화면을 바라본 상태에서 입체 공간 상에 렌더링 된 이미지를 동시에 바라보도록 구현되어 있었다.

이런 구조를 통해 두 명의 체험자는 동일한 정보로 하나의 3D 위치를 가리킬 수 있으며, 자신이 사용하는 제스처가 타인의 시각에서도 일치한 위치에서 보이도록 구현할 수 있다.

여기서 더 나아간다면, 다양한 관점을 위한 다중화가 아니라 다양한 애플리케이션을 위한 다중화도 구현할 수 있을 것이다.

즉, 하나의 VR 시스템 내에서 여러 사용자가 동시에 다양한 애플리케이션을 실행하여 하나의 가상 공간을 여러 사용자와 공유하며 사용한다는 것이다.

누군가는 게임을 플레이하고 있고, 누군가는 시뮬레이션을 실행하고 있으며, 누군가는 프로그래밍을 하고 있는데, 이 모든 가상 공간 속 활동들이 VR 디바이스를 착용하여 가상 공간에 참가한 모든 사용자들에게 보일 수 있다는 것이다.

이는 VR 시스템의 활용도를 높이고 자신만의 경험을 다른 체험자들과 공유할 수 있는 자유도를 보장해 줄 수 있지만, 다른 체험자와 충돌할 수 있는 등 안전사고 발생 위험성도 뒤따르게 된다.

 

1.3.8. 초점 거리 (Focal distance)

체험자의 눈에서 이미지까지의 광학 거리를 의미한다.

일반적으로 한 씬에 있는 모든 이미지는 가상 세계 속 거리와 상관없이 모두 체험자의 시야에서 동일한 거리에 위치해 있다.

결국은 그 이미지가 렌더링 되어 출력되는 곳은 평면 상의 디스플레이이기 때문에 디스플레이 너머의 가상 세계 속에 존재하는 사물들의 거리가 다르다고 해도 체험자의 눈에서 디스플레이까지의 거리가 달라지는 것은 아니다.

우리는 가깝거나 먼 물체에 초점을 잡을 때, 눈의 근육을 이완/긴장시켜 더 먼 물체 또는 더 가까운 물체를 보다 선명하게 바라볼 수 있도록 한다.

카메라를 다룰 때 흔히 접할 수 있는 용어인 '아웃 포커싱'의 개념이 이러한 눈의 움직임을 재현한 것이라 볼 수 있다.

일반적으로 인간은 멀리 있는 사물의 거리감을 판단하는 능력이 떨어진다.

먼 거리에 있는 여러 사물들을 바라볼 때, 눈 근육은 거의 움직이지 않는다는 것을 느낄 수 있다.

하지만 가까운 거리에 있는 사물이 움직이고 있다면, 이를 추적하기 위해 눈 근육은 실시간으로 반응하며 이완/긴장을 반복한다.

앞서 살펴보았던 시각적 뎁스 단서(간격, 그림자, 크기, 선형 원근법 등)들은 먼 거리의 깊이 지각에 더 중요한 역할을 한다.

깊이 지각 단서 사이에 불일치가 감지되면 인간은 멀미나 어지럼증 등 다양한 부작용을 느낄 수 있다.

이러한 문제를 방지하고자 오브젝트에 대한 초점 거리는 화면 거리와 일치하도록 설계해야 한다.

HMD 기기를 설계할 때 이 초점 거리의 구현은 광학 기술을 기반으로 하여 만들어진다.

현재는 인간의 눈이 지닌 초점 제어 능력을 십분 활용하기 위해 '가변 초점' 디스플레이 또한 함께 연구되고 있다.

즉, 인간의 눈의 움직임을 추적하는 것을 넘어서 눈 근육의 이완/긴장을 함께 추적하여 렌더링 되는 가상 세계 이미지의 초점이 그에 반응하도록 하는 것이다.

 

1.3.9. 광학 (Optics)

HMD 기기에서 사용되는 광학 기술은 체험자가 눈에 가까이 위치한 렌즈를 통해 가상 세계를 보다 넓고 멀리까지 볼 수 있도록 하는 기술을 의미한다.

이러한 광학 기술은 HMD 기기 대부분에서 사용하고 있는 볼록 렌즈를 기반으로 구현된다.

볼록 렌즈는 '광각 렌즈'라고도 불리며, 전면이 볼록하게 튀어나와 있기 때문에 보다 더 넓은 시야각을 제공해 줄 수 있다.

하지만 카메라에서도 다루는 개념과 동일하게, 볼록 렌즈는 반원 형태로 렌즈가 구성되어 있어 이미지의 형태를 왜곡시킨다.

볼록 렌즈를 사용하는 HMD 기기가 보여주는 가상 세계에서는 아무리 완벽한 직선을 렌더링 하더라도 볼록하게 굽어있는 곡선처럼 보인다는 것이다.

색상에서도 왜곡 문제가 발생한다.

가장자리에 가까워질수록 빛이 들어오는 각도가 심하게 휘다 보니 온전한 색상이 제대로 표현되지 못한다는 것이다.

형태를 왜곡하는 문제, 색상을 왜곡하는 문제 모두 가장자리에서 심하게 나타나며 사실상 평면 렌즈와 별 다를 바 없는 렌즈의 정중앙 부근에서는 왜곡 문제가 발생하지 않는다.

이러한 왜곡 문제를 해결하기 위한 가장 확실하고 간단한 방법은 렌즈 표면 전체에 걸쳐서 적절한 수준의 곡률이 유지되도록 만드는 것이다.

이는 다시 말해서 볼록 렌즈를 더 크고 두껍고 무겁게 만들어야 한다는 것이다.

손에 들고 다니는 카메라와 렌즈의 경우에는 가격도 크기도 무게도 중장비 수준이지만, 그렇다고 몸에 부착해 두고 사용하는 것은 아니므로 큰 문제가 되지 않는다.

하지만 HMD는 머리에 쓰는, 그것도 눈 바로 앞에 렌즈가 위치하도록 착용하는 장비이다.

이 때문에 장비가 무겁다는 것은 체험자에게 엄청난 부담감을 안겨주는 요인이 된다.
(무게와 더불어 안경 착용자의 불편함 사례처럼 장비의 크기와 형태도 부담감의 요인이 되기도 한다)

그렇다면 이 세계의 물리 법칙을 깨부수지 않는 이상 볼록 렌즈에서 발생하는 왜곡 문제를 광학적으로 '해결'하는 것은 불가능하다는 말이 된다.

여기서 우리가 간단하게 생각해 볼 수 있는 방안은 왜곡 문제가 발생한다는 것을 '인정'하는 것이다.

왜곡이 어떻게, 얼마나, 어디서 발생하는지를 정확하게 알고 있다면, 그러한 왜곡 수준에 맞춰서 렌더링 할 이미지를 보정하는 것도 가능하다는 말이 된다.

이는 HMD 기기의 설계를 바꿀 필요도 없으며, 무거운 렌즈 무게를 체험자에게 감수하라고 떠밀 필요도 없다.

현재 출시되고 있는 대부분의 HMD 기기들은 왜곡되는 정도를 가늠하여 이미지를 보정해 주는 기능을 내장하고 있어 소프트웨어 개발자들이 이 보정 작업에 별도의 비용을 투자하지 않아도 된다.

그 외에도 렌즈 자체를 개량하여 문제를 해결하는 방법도 있다.

'프레넬 렌즈'를 사용하는 방법이 그것인데, HTC 사에서 출시했던 'Vive HMD' 제품이 해당 렌즈를 사용한 대표적인 사례이다.

이 렌즈는 곡률에 따라 여러 개의 개별 세그먼트를 나누고, 이 세그먼트들을 좀 더 평평한 배열 형태로 변형하는 것이다.

이 때문에 렌즈의 표면이 들쭉날쭉한 형태로 생겼으며, HMD 기기 내부의 좁은 공간을 좀 더 효율적으로 쓸 수 있으며 무게도 가볍다는 장점이 존재한다.

이 프레넬 렌즈는 원래 등대에서 보다 더 먼 거리까지 빛을 투사할 수 있도록 개발된 렌즈로, '오귀스틴 장 프레넬'(Augustin-Jean Fresnel)이 개발하였다.

하지만 프레넬 렌즈는 표면이 고르지 않기 때문에 수차 현상이 발생할 수 있으며, 이는 눈의 피로도를 높이고 주의를 산만하게 만들 수 있어 치명적인 단점으로 뽑힌다.

실제로 이러한 단점 때문에 프레넬 렌즈는 카메라 렌즈 제작 분야에서는 사용되지 않고 있다.

여기서 주의할 점은 렌즈가 유일하게 빛의 통과에 영향을 주는 부품이 아니라는 것이다.

플렌옵틱(Plenoptics), 라이트 필드(Lightfield)라고 불리는 기술은 다른 방향에서 날아오는 광자의 흐름을 포착하여 다중 초점을 구현하는 기술이다.

단일 초점을 넘어 다중 초점 구현이 가능하기 때문에 거리감을 구현하기에 훨씬 더 유리하다.

또한 반사되는 효과, 투명한 물체의 표현 등에 탁월한 성능을 보이기 때문에 보다 현실적인 빛 반응을 표현할 수도 있다.

 

1.3.10. 불투명도 (Opacity)

여기서 말하는 불투명도는 가상 세계 자체에 대한 불투명도를 말한다.

즉, HMD 기기를 착용하고 있을 때 현실 세계가 얼마나 많이 보이는가를 말하는 것이다.

불투명도 표현법에 대한 선택지는 간단하게 두 가지로 나눌 수 있다.

'완전히 현실 세계를 보이지 않도록 숨기는 것'과 '현실 세계가 보이도록 불투명도를 조절하는 것'이다.

대부분의 VR 경험이 현실 세계의 모습을 완전히 보이지 않도록 숨긴 다음, 가상 세계의 모습만 온전히 보이도록 렌더링 하는 방법을 사용한다.

하지만 이 방식은 몰입감을 끌어올리기에는 확실하지만 안전상의 문제가 발생할 위험이 매우 크다.

권투 게임을 하다가 내지른 주먹이 TV나 유리창에 맞아서 사물이 파손되거나, 주변에 있던 사람이 맞아서 부상을 입는 등의 사례는 체험자의 시야를 완전히 차단하는 방식의 HMD 기기는 물론, 닌텐도 Wii처럼 시야가 개방되어 있는 수조형 VR 시스템 방식에서도 쉽게 찾아볼 수 있었다.

시각 정보를 차단함으로써 체험자를 완전히 가상 세계 속에 배치하게 되면, 현실 세계에 있는 타인과의 상호작용과 의사소통이 감소하기 때문에 일종의 격리가 발생한다.

이는 참가자 전원이 가상 세계에 참여하고 있지 않다면, 공개 토론이나 협업 등이 중요한 자리에서 부작용을 일으킬 수 있다.

이러한 문제점을 해결하기 위해 최근 출시되는 HMD 기기들은 '시스루'(see-through) 기능을 지원한다.

이는 단색 카메라 또는 컬러 카메라를 HMD 기기 외부에 내장하여 가상 세계를 경험하고 있는 도중에도 현실 세계의 모습을 투영하여 보여주거나, 장애물 등이 감지되면 이를 경고해 주는 등 가상 세계 속에 있는 체험자의 안전을 보장하기 위해 현실 세계를 계속 인지할 수 있도록 도와주는 기능이다.

물론, 이러한 기능을 통해서 체험자의 몰입감이 일시적으로 방해받는 것은 당연하지만 VR 경험의 최우선 순위가 체험자의 안전이라는 점을 명심하자.

 

1.3.11. 마스킹 (Masking)

고정형 VR 시스템을 사용하는 모습을 상상해 보자.

체험자의 뻗은 손처럼 현실 세계의 오브젝트가 가상의 오브젝트를 가리거나 막는 현상이 발생할 수 있다.

즉, 체험자의 손이 가상의 오브젝트보다 더 가까이 있을 때, 가상의 오브젝트는 자연스럽게 체험자의 손에 의해서 보이지 않게 가려진다. (마스킹)

하지만 이는 고정형 VR 시스템 중에서 모니터나 TV 등과 같은 일반적인 평면 디스플레이 장치를 활용한 '수조형 VR 디스플레이'의 경우에서나 쉽게 찾아볼 수 있는 현상이다.

만약 HMD 기기를 착용한 상태이거나, 빔 프로젝터처럼 가상 세계를 벽면에 투사하는 방식을 사용하는 CAVE 시스템과 같은 장비를 사용하고 있다면 말이 달라진다.

아무리 체험자가 손으로 가상의 오브젝트를 가리려고 해도 결국은 가상의 사물이 항상 체험자의 눈과 손 사이에 위치하게 되기 때문이다.

반대로 가상의 사물이 현실 세계의 일부분을 마스킹하는 것은 HMD 기기의 시스루 기능으로 비교적 간단하게 구현할 수 있다.

가상의 오브젝트를 렌더링 할 때, 불투명도를 조절하여 현실 세계의 모습을 가리도록 만들면 되기 때문이다.

단, 이는 컴퓨터가 현실 세계의 실제 오브젝트의 위치를 정확하게 알고 있을 때를 조건으로 해야 한다.

만약 그렇지 않다면 현실 세계의 오브젝트를 지속적으로 추적할 수 있어야 하며, 얼마나 정확하게 현실 세계의 공간을 컴퓨터가 추적하고 있느냐에 따라 마스킹 퀄리티가 달라질 것이다.

이 경우, 앞에서 살펴보았던 SLAM 기술이 유용하게 활용될 수 있다.

SLAM 기술은 공간에 대한 정보를 깊이 정보까지 포함하여 습득하기 때문에 가상 오브젝트와 현실 세계의 실제 오브젝트 사이의 거리감도 표현하는데 도움이 될 것이다.

이러한 가상 오브젝트와 현실 세계의 마스킹을 활용한 사례로는 Apple 사의 'Apple Vision Pro' 제품이 대표적이다.

Meta 사에서 출시한 'Meta Quest 3' 제품에서도 이러한 마스킹 기술을 잘 활용할 수 있다.

위와 같이 현실 세계 속 오브젝트의 형태를 추적하여 가상의 천 오브젝트가 소파의 형태에 맞게 흐트러지고, 이 천을 잡아다 끌면 소파의 형태에 맞게 자연스럽게 형태가 변형되는 등 상호작용까지 고려하여 구현된 사례도 존재한다.

 

 

1.3.12. FOV (Field Of View)

FOV라는 개념은 FPS 게임을 즐긴 사람이라면 익숙한 단어일 것이다.

'화각'이라는 용어로 번역되며, 인간의 눈으로 얼마나 넓은 범위(각도)까지 시각 정보를 수용할 수 있는가를 표현하는 개념이다.

일반적으로 인간의 평균적인 수평 FOV 값은 200도 정도로 알려져있다.

이 200도 중에서 120도 정도는 양안 시야, 즉 두 눈의 시야각이 겹치는 정도가 된다.

디스플레이의 FOV를 설계할 때는 이러한 인간의 FOV 수준을 먼저 고려하여야 한다.

만약 120도 ~ 200도 사이보다 너무 좁으면 답답함을 느낄 수 있고, 200도 이상으로 너무 넓어지면 이미지가 왜곡되는 것처럼 느껴져서 멀미를 느낄 수 있다.

HMD 기기를 사용하는 '머리 기반 디스플레이'(Head-based displays)는 체험자의 머리에 안경처럼 씌워진 상태로 사용되기 때문에 언제나 같은, 고정된 FOV 값을 가진다.

하지만 CAVE 시스템처럼 '고정형 디스플레이'(Stationary displays)는 체험자 주변을 이미지가 둘러싸고 있고, 체험자가 자신의 고개를 돌려서 이미지를 바라보는 방식이기 때문에 체험자들마다 FOV가 고정되지 않고 조금씩 차이가 날 수 있다.

FOV 값이 높다는 것은 그만큼 더 넓은 크기의 이미지를 요구한다는 것이기 때문에 FOV 또한 컴퓨터 자원 소모에 영향을 미친다.

그러므로 고해상도 이미지를 렌더링하는 것에 초점을 둘 것인지, 높은 FOV를 제공할 것인지 적절하게 고려하여야 한다.

또한 FOV는 앞서 언급한 것처럼 체험자가 가상 세계를 볼 수 있는 범위를 설정하는 것이므로, 아바타의 애니메이션처럼 눈에 보여야 하는 요소들이 다양한 FOV에서도 자연스럽게 보이는지를 함께 고려해야 한다.

이러한 FOV 설정을 제대로 고려하지 못해 한동안 큰 불편을 주었던 사례 중 하나로 <Escape from Tarkov>를 뽑을 수 있다.

해당 게임은 매우 사실적이고 디테일한 애니메이션과 그래픽, 고증으로 큰 관심을 모았던 게임이었으나, 너무 좁고 고정된 FOV 값(70~90도 사이)을 사용하여 멀미가 쉽게 발생하고 답답한 느낌을 준다는 지적이 오랫동안 언급되었다.

간단하게 생각해보자면, 디스플레이가 인간의 시야각 전체를 모두 소화할 수 있는 성능을 지니도록 하는 것이 가장 이상적이겠지만, 단순히 FOV 120도를 구현하는 것만으로는 만족스러움 시야각을 구현하기에는 아직 부족하다.

위 사진을 다시 살펴보면 '양안 겹침 시야'(Stereo overlap FOV) 부분을 찾아볼 수 있다.

이는 양안의 시야각이 겹침으로써 만들어지는 FOV로, 앞서 언급했던 '깊이 감각'은 양안 시차를 통해 인지되기 때문에 이 양안 겹침 시야 영역 안에서 형성될 수 있다.

즉, 양안 겹침 시야는 인간이 가장 많이 사용하고 익숙하게 다루는 FOV이며, 이 FOV의 범위를 충분히 넓혀야 체험자가 올바르게 깊이감을 느낄 수 있다는 것이다.

그림을 보면 알 수 있듯이, 양안 겹침 시야는 디스플레이와 체험자의 거리가 멀수록 커지는 특징을 지니고 있다.

즉, 디스플레이와 체험자 사이의 거리도 적절하게 설정하여야 만족스러운 FOV를 구현할 수 있다는 것이다.

 

1.3.13. FOR (Field Of Regard)

FOR은 FOV와 유사하지만 다른 개념으로, 가상 세계가 체험자를 얼마나 많이 둘러싸고 있는가를 다루는 개념이다.

즉, 체험자가 가상 세계의 모습을 인지할 수 있는 범위가 얼마나 넓은가를 의미한다.

FOR의 값이 커지면 체험자가 다양한 방향으로 시야를 돌려도 가상 세계의 모습을 지속적으로 볼 수 있기 때문에 몰입감에 큰 영향을 미친다.

HMD 기기처럼 체험자의 눈을 완전히 가리는 형태로 착용하는 '머리 기반 디스플레이'는 태생적으로 FOR 100%를 달성할 수 있다.

이는 체험자의 시선이 움직임에 따라 HMD 기기도 머리와 함께 움직이기 때문이다.

하지만 위의 두 번째 사진처럼 평범한 디스플레이를 사용하는 '수조형 VR 디스플레이'처럼 고정형 디스플레이를 사용하고 있다면 어려운 문제가 된다.

아무리 체험자 주변을 디스플레이로 둘러싼다고 해도 FOR은 100% 미만이 될 수밖에 없다.

만약 천장에 고정시킨 빔 프로젝터를 사용하여 360도를 애워싸는 CAVE 시스템을 구축했다면 빔 프로젝터가 고정되어 있는 천장을 바라본다면 어떻게 될 것인가?

그리고 체험자가 딛고 서 있는 바닥은 어떻게 할 것인가?

이는 HMD 기기에서는 그저 가속도 센서를 이용해 체험자의 시선의 움직임을 읽어 가상 세계의 모습을 렌더링만하면 해결되는 문제지만, 고정형 디스플레이 형식에서는 태생적으로 완벽한 해결이 거의 불가능하다는 점을 기억하자.

위에서 언급한 것처럼 FOR과 FOV는 별개의 개념이다.

HMD 기기는 100% 완벽한 FOR을 구현할 수 있지만, 그것이 꼭 완벽한 FOV의 구현을 의미한다는 게 아니라는 것이다.

반대로 1000m * 1000m 짜리의 어마어마하게 거대한 디스플레이를 체험자 앞에 설치하여 완벽한 FOV를 구현했다고 하더라도 그것이 완벽한 FOR의 구현을 의미한다는 것(그냥 체험자가 고개를 반대로 돌려버리면 그만이니까)도 아니다.

- FOV: 한 순간에(한 번에) 볼 수 있는 순간적인 시야 범위

- FOR: 시선을 움직이면서 서서히 형성되는 누적적인 시야 범위

떄때로 FOR의 한계가 스테레오시스를 방해하기도 한다.

디스플레이 너머에 가상의 오브젝트가 위치하고 있다면 아무런 문제가 없지만, 체험자와 디스플레이 사이에 가상의 오브젝트가 위치해있다면, 디스플레이의 프레임이 오브젝트를 '잘라버리는' 문제가 발생한다.

이를 '시각적 충돌 문제'라고 부르며, 3D 효과를 유도한 매체(3D 영화 등)에서 몰입감을 떨어트리는 치명적인 문제가 될 수 있다.

HMD 기기를 사용하여 가상 현실을 경험할 때는 체험자가 직접 가상의 오브젝트에 자유롭게 다가가거나, 시선을 바꿀 수 있기 때문에 이러한 문제가 발생할 확률이 더 높아진다.

이러한 문제는 애초부터 발생하지 않도록 예방하는 것이 최선이다.

가상 현실을 렌더링하는 컴퓨터는 체험자의 정확한 위치, 스크린의 프레임 위치, 컨트롤러의 위치 등을 정확하게 파악할 수 있기 때문에 가상의 오브젝트가 체험자와 물리적 오브젝트(디스플레이) 사이에 불필요하게 다가오지 않도록 만드는 것도 가능하다.

또는 가상 오브젝트를 디스플레이 경계 부근에 의도적으로 배치하여 자연스럽게 디스플레이 프레임을 숨기는 것도 하나의 방법이 될 수 있다.

이 '시각적 충돌 문제'는 영화에서 다루는 '봉합이론'과 유사한 점이 많다.

---

2. 봉합 이론

---

 

1.3.14. 머리 위치 정보 (Head position information)

위치 추적 기술에 대해서 살펴보았을 때, 'DOF'라는 개념에 대해 언급하였다.

위치 추적 기술의 종류와 구현법에 따라서 보장할 수 있는 DOF의 수준이 달라지고, 3-DOF 위치 추적 또는 3-DOF 회전 추적처럼 완전한 6-DOF 하위 개념들을 구분하여 사용할 수 있다는 것도 언급하였다.

고정형 디스플레이 방식은 정확한 시야를 생성하기 위해 스크린을 기준으로 파악한 체험자의 눈 위치(3-DOF 위치)를 가지고 연산을 진행한다.

고정형 디스플레이 방식에서는 눈의 방향(3-DOF 회전)은 크게 중요하지 않다.

머리의 위치를 파악하여 체험자의 위치에서 올바르게 가상 세계를 렌더링하는 것에 추점을 두기 때문에 눈의 위치를 정확하게 파악함으로써 머리의 위치에 대한 근사치를 찾아내는 것에 집중하는 것이다.

하지만 만약 고정형 디스플레이 형태에서 스테레오시스를 구현하고자 한다면 스크린을 바라보는 각도와 위치가 중요하게 작용하기 때문에 체험자의 눈의 위치를 개별적으로 추적하거나, 머리의 위치 및 방향을 모두 추적(6-DOF)할 수 있어야 한다.

또한 스테레오시스는 특정 한 명을 추적하는 방식으로 구현되기 때문에 여러 개의 스크린을 동시에 사용할 경우에 문제가 발생할 수 있다.

추적 대상자의 체험자의 머리가 회전하면서 이미지가 그에 맞게 변화한다면, 추적 대상이 아닌 주변의 타인들은 심한 눈의 피로와 어지럼증, 왜곡된 시야를 경험하게 되기 때문이다.

간단한 모바일 AR 애플리케이션처럼 손 기반 디스플레이의 경우, 고정형 디스플레이 방식과 거의 동일하게 구현된다.

모바일 AR 애플리케이션을 조작하는 체험자는 일반적으로 디스플레이에서 일정한 거리를 두고 있다고 가정하며, 3D 디스플레이를 사용하는 모바일 기기가 아닌 이상, 스테레오시스를 모바일 AR 애플리케이션을 통해 구현할 수는 없으므로 체험자의 눈의 방향(3-DOF 회전)까지는 추적할 필요가 없다.

하지만 모바일 기기에는 전면 카메라가 내장되어 있기 때문에 얼굴을 추적하여 더 정확한 시점을 표현할 수는 있다.

머리 기반 디스플레이의 경우에는 완전한 6-DOF 구현이 권장된다.

고개를 돌리고 머리를 움직여서 시야를 바꾸는 것은 현실 세계에서 우리가 주변 세계를 살펴볼 때 활용하는 가장 기본적이고 직관적인 방법이기 때문에 이를 온전하게 구현하는 것이 VR 경험의 몰입감과 완성도에 큰 영향을 미친다.

우리가 머리를 왼쪽으로 기울이면, 왼쪽에 있는 오브젝트를 발견할 수 있을 것이라고 기대한다.

이러한 상호작용을 가상 세계 속에서도 경험할 수 있게 하기 위해서는 정확한 머리의 위치 추적(3-DOF 위치)과 방향 추적(3-DOF 회전)이 필수적이다.

머리 기반 디스플레이를 사용하고 있을 때 올바르게 체험자의 머리 움직임과 회전을 추적되고 있는지 파악할 수 있는 가장 쉬운 방법은 체험자가 직접 머리를 움직이고 회전시켜보는 것이다.

시야의 위치와 각도가 바뀐다는 것은 가상 세계를 바라보는 위치와 각도가 바뀐다는 것을 의미하므로, 눈에 보이는 가상 세계의 모습이 아래와 같이 실시간으로 바뀌어야 한다.

단, 만약에 가상 오브젝트가 체험자에게 가상 세계를 보여주는 물리적인 디스플레이 상에 있다면 아무리 머리를 회전하고 움직여도 그 위치가 바뀌지 않을 것이다.

체험자 머리의 상대적인 움직임과 방향의 변화에 따른 가상 세계의 변화를 정리하면 아래와 같다. 

- 가상의 오브젝트가 스크린으로부터 가까이에 위치하고 있어 음의 시차 공간 상에 존재한다면, 머리의 방향과 반대 방향으로 움직일 것이다.

- 가상의 오브젝트가 스크린으로부터 멀리 위치하고 있어 양의 시차 공간 상에 존재한다면, 머리의 방향과 동일한 방향으로 움직일 것이다.

- 가상의 오브젝트가 스크린으로부터 매우 멀리 위치하고 있다면, 머리의 방향을 정확하게 추적하고 있는 것처럼 보일 것이다.

이러한 효과를 우리는 '달 효과'(Moon Effect)라고 부른다.

즉, 어떤 오브젝트가 체험자로부터 멀어질수록 마치 달처럼 체험자를 따라오는 것처럼 느껴진다는 것이다.

이러한 효과는 체험자와 오브젝트 간의 거리가 멀어지면 멀어질수록, 체험자가 움직여도 둘 사이의 관계가 크게 달라지지 않기 때문에 발생한다.

 

1.3.15. 지연 허용 (Latency tolerance)

여기서 말하는 '지연 허용'(Latency tolerance)이라는 용어는 '그래픽 지연 허용'(Graphics latency tolerance)이라는 용어로도 표현한다.

하지만 그래픽 지연 허용은 '감각 양식'(Sensory modalities)까지 고려한 의미의 용어는 아니기 때문에 완전히 동일한 용어라고 볼 수는 없다.

VR 시스템은 물론이고 거의 대부분의 컴퓨팅 장비들이 지연(Latency)을 겪는다.

컴퓨터 OS를 예시로 들자면, 사용자 입력(User Input)은 필연적으로 CPU의 연산 처리 속도보다 압도적으로 느리다.

이 떄문에 사용자의 키보드 입력을 받아야 하는 SW를 실행하고 있을 때, 컴퓨터는 사용자 입력에 대한 처리 속도로 인한 연산 처리 과정에서의 지연을 겪게 된다.

이러한 문제를 해결하기 위해 '프로세스 스케줄링' 기법을 활용하기도 한다.

---

6. 프로세스 스케줄링

---

디스플레이에 시각 데이터를 렌더링하는 분야에서도 이와 마찬가지로 지연을 겪게 된다.

체험자의 이동과 움직임을 반영하여 디스플레이에 출력하기 위해서는 먼저 체험자의 움직임을 추적하고, 이를 렌더링(연산)하여 그 결과물을 디스플레이에 출력하는 과정을 거쳐야 한다.

이 또한 앞서 언급한 키보드 입력 예시와 마찬가지로 컴퓨터가 연산하는 속도보다 체험자의 움직임 속도가 압도적으로 느리다.

즉, 체험자의 움직임을 추적하는 속도가 컴퓨터의 연산 속도보다 상대적으로 느리다는 것이다.

그러므로 체험자의 움직임을 추적하는 속도, 렌더링 프레임 속도, 디스플레이의 출력 속도가 모두 최적화되어야 지연 현상을 최소화할 수 있다.

만약 체험자의 움직임 추적 속도가 충분히 빠르다고 해도, 렌더링 속도와 출력 속도가 느리다면 최종 결과물은 결국 지연이 발생하는 느린 결과물이 탄생하게 된다.

지연 현상은 멀미, 두통과 같은 부작용을 유발할 수 있으며, 이는 곧 VR 경험의 몰입감을 방해하는 요인이 되므로 주의해야 한다.

체험자의 움직임과 디스플레이의 업데이트 시간 사이의 지연 시간을 우리는 'MTP'(Motion to photon)라고 부른다.

이 값이 크면 체험자의 움직임에 따른 지연 시간이 크다는 것을 의미하므로, 지연에 따른 부작용을 겪을 가능성이 올라간다.

HMD 기기를 사용하지 않는 고정형 디스플레이의 경우, 체험자의 머리 회전에 따라 렌더링 이미지를 갱신하지 않기 때문에 현재 렌더링 이미지와 직전의 렌더링 이미지는 거의 차이가 나지 않는다.

이 때문에 고정형 디스플레이는 머리 기반 디스플레이보다 좀 더 지연 현상으로부터 자유롭다.

하지만 머리 기반 디스플레이는 고정형 디스플레이 방식과 달리 측면 이미지를 미리 렌더링해서 출력해둘 수 없기 때문에 머리를 회전할 때마다 컴퓨터가 새로운 이미지를 실시간으로 갱신(렌더링)해주어야 한다.

하지만 실시간으로 현재 체험자가 바라보고 있는 시야 내의 이미지만 렌더링한다면, 컴퓨터 및 디스플레이 자원을 절약할 수 있겠지만 렌더링해야 하는 주기가 짧아지므로 체험자가 느끼는 지연 수준은 커질 수밖에 없다.

그러므로 체험자의 시야보다 좀 더 넓은 영역을 미리 연산하여 렌더링 주기를 줄이거나, 보이지 않는 영역은 저해상도로 렌더링하고, 시야가 움직이는 방향에 따라 고해상도 렌더링을 한 번 더 거치는 등 컴퓨터 자원과 즉시성 사이의 균형을 잡는 것이 중요하다.

AR 시스템의 경우, 지연 시간을 줄이는 것이 HMD 기기를 사용하는 머리 기반 디스플레이 방식보다 훨씬 더 중요하게 작용한다.

현실 세계의 뷰를 기반으로 하여 가상 세계의 그래픽을 렌더링하여 겹치는 방식인데, 현실 세계의 뷰가 가상 세계 그래픽 렌더링 속도에 동기화될 수는 없기 때문이다.

결국 가상 세계 그래픽 렌더링 속도가 현실 세계의 뷰 속도를 따라잡을 수 있을 정도로 지연 시간이 매우 낮아야 한다는 것이다.

 

1.3.16. 프레임률 (Temporal resolution; Frame rate)

'프레임'은 영상물 분야에서 흔히 볼 수 있는 개념으로, 쉽게 말해서 '이미지 한 장'을 의미한다.

'초당 프레임 수'(Frame Per Seconds)는 이 프레임을 초당 몇 장을 그리고 있는가를 나타내는 단위로, 값이 높을수록 1초에 더 많은 프레임을 그리고 있음을 의미한다.

이 FPS와 동일하게 쓰이는 단위로 Hz가 있다.

이는 초당 발생하는 주파수를 나타내는 단위로, FPS와 Hz 모두 1초를 단위 시간으로 사용하기 때문에 1:1로 대응된다. (120FPS == 120Hz)

프레임률은 일반적으로 시각 디스플레이의 타입에 따라 결정되는 것이 아니라, 그래픽 렌더링 하드웨어 및 소프트웨어의 성능, 가상 세계의 시각적 복잡성에 따라 결정된다.

프레임률은 정신적 몰입감에 큰 영향을 미친다.

영화, 애니메이션에서 주로 사용하는 프레임률이 정해져있는 것처럼 표준적으로 사용되는 프레임률이 존재하기도 한다.
(일반적으로 움직임을 나타내는 영상물을 촬영할 때는 24FPS, 즉 24Hz 수준을 주로 사용한다)

표준화된 디지털 비디오와 압축 기술이 등장한 이후에 방송(broadcast) 업계에서는 60i(60Hz interlaced)를 사용하고 있으나, 블루레이 디스크처럼 영상 기록물 분야에서는 60p(60Hz progressive)를 사용하고 있다.

격발된 총알의 궤적 추적, 벌새의 비행 장면 포착, 고양이가 항상 두 발로 착지하는 이유를 알아내기 위한 노력 등 매우 빠른 움직임을 추적하기 위한 용도로 매우 높은 FPS로 촬영이 가능한 '초고속 카메라'를 사용하기도 한다.

이러한 카메라 중에는 1조FPS 수준의 괴물같은 성능을 보여주는 물건도 존재한다.

일반적으로 사람의 뇌는 30FPS 수준을 현실적으로 자연스럽게 움직이는 애니메이션으로 취급하며, 15FPS는 조금은 부자연스럽지만 그럼에도 납득할 정도로는 움직이는 애니메이션, 10FPS 미만은 애니메이션이 아니라 개별적인 이미지의 나열로 취급한다고 한다.

하지만 HMD 기기를 다루는 경우, 30FPS는 어림도 없는 수치이다.

스마트폰에서 사용하는 60Hz 수준도 이제는 느리고 답답하다고 말하며, 모니터도 75Hz를 넘어서 120Hz 성능을 보여주고 있는 시대가 되었다.

HMD 기기는 인간의 신체 움직임에 따라 실시간으로 움직임을 추적하고 그에 따른 가상 세계의 변화를 렌더링해야 한다.

낮은 지연 시간(MTP)이 그만큼 중요하게 작용하기 때문에 신체를 추적하는 속도와 연산 속도도 중요하지만, 아무리 이 두 단계에서 빠른 속도를 보여준다고 해도 디스플레이의 출력 속도가 뒷받침되지 못한다면 아무런 의미가 없을 것이다.

아직 그렇다할 표준이 정해지거나, 자연스럽게 굳어진 것은 아니지만 일반적으로 90Hz 수준을 HMD 기기의 새로운 표준으로 여기고 있다.

현실 세계를 바라보고 있는 우리는 사물에 닿아서 반사된 광자들이 망막에 닿음으로써 시각 정보를 수용한다.

어떻게 보면 광자가 우리의 망막에 '폭격'을 가하는 형태라고 비유할 수 있을 것이다.

하지만 디스플레이를 통한 시각 정보 수용은 조금 다르다.

앞에서 언급한 Hz 단위처럼 디스플레이에서 방출된 광자의 진동에 따라 갱신되는 시각 정보를 수용한다.

이 때문에 현실 세계에서 빠르게 움직이는 오브젝트를 바라보았을 때 흐릿하게 번지는 '블러'(Blur) 효과를 경험하게 되지만, 디스플레이를 보고 있을 때는 이미지가 마치 칼로 잘라낸 것처럼, '찢어지는'(Judder) 효과를 경험하게 된다.

이러한 효과를 방지하기 위해 '수직 동기화'(V-Sync)라는 옵션을 사용하기도 한다.

---

수직 동기화 활성화 및 비활성화

---

 

---

 

---

수고하셨습니다!

---