포즈와 제스처

---

 

 

1. 포즈와 제스처

체험자를 시스템이 추적할 때, 시스템은 체험자 또는 신체 일부의 현재 위치를 감지한다.

집게손가락을 어느 방향이나 사물을 향해 가리키듯이 뻗거나, 양손에 주먹을 쥐는 등 특정한 의미를 표현하기 위하여 신체의 일부가 정적인 위치에 고정시켰을 때 이를 우리는 포즈(pose)라고 부른다.

제스처는 특정한 의미를 담은 '움직임'을 의미하기 때문에 움직임에 대한 시간이 소요된다는 점에 차이가 있다.

- 포즈: 신체의 일부가 정적인 위치에 고정되어 특정한 의미를 표현하는 방법

- 제스처: 신체의 움직임 순서, 움직이는 행동 그 자체를 통해 특정한 의미를 표현하는 방법

예를 들어 문 손잡이를 잡고 있는 손의 모습은 이 문이 열릴 수 있을 것이라는 의미를 내포한 포즈가 될 수 있다.

반면에 가상의 문 손잡이를 잡고 돌리는 듯한 손의 움직임을 보여준다면(무언가를 움켜쥔 상태에서 팔을 회전) 이는 문을 잡고 돌려서 열라는 의미를 내포한 제스처가 될 수 있다.

제스처는 오랜 세월 동안 인간의 의사소통 수단으로 중요하게 사용되어 왔다.

지금도 해외에 나가서 서툰 언어 능력을 메꾸고자 할 때 손짓과 발짓 등으로 제스처를 사용하는 모습은 흔히 경험할 수 있다.

인간과 컴퓨터 인터페이스 분야에서도 제스처는 상당히 오랜 세월 동안 다양하게 활용되어 왔으며, VR 경험 분야에서도 마찬가지이다.

 

---

 

2. 제스처

제스처는 '보이지 않는 인터페이스'라고 불린다.

제스처는 하나의 언어로써 작용하기 때문에 기존의 언어와 마찬가지로 '교육'을 통해서 그 의미가 내포된다.

---

 

1. 기호학과 영화 이미지의 역사

---

즉, 반복적인 경험과 학습, 교육과 사전 지식 등을 지니고 있어야 제스처에 의미가 생긴다는 것이다.

만약 제스처에 대한 교육과 적응이 없다면 그 제스처의 존재 의미 자체가 사라질 수도 있다.

이 때문에 체험자가 제스처를 취할 때 누적되는 피로도를 줄이기 위해 조금 더 비직관적이더라도 더 취하기 단순하고 익히기 쉬운 제스처를 발명하는 것도 중요하다.

제스처는 활을 쏘는 시늉처럼 특정 용도만을 위해 만들어질 수도 있지만, 보편적인 입력 인터페이스 활용을 대신하기 위해서도 쓰일 수 있다.

버튼 누르기, 벨류에이터 조작하기 등 기본적인 입력 유형도 어쨌거나 신체를 활용한 움직임을 통해 조작되기 때문이다.

이러한 기본적인 입력 유형을 제스처를 활용해 구현하는 것은 물리적 입력 디바이스를 사용하기에는 제한 사항이 있을 때 유용하게 쓰일 수 있다.

시선 추적 기술과 함께 예시를 들어보자면, 체험자가 특정 버튼을 3초 이상 바라보고 있는 제스처를 취한다면, 해당 버튼을 누르겠다는 것으로 이해하여 버튼이 누름 상태로 변경되는 것이다.

이 예시에서도 알 수 있듯이, 제스처를 인식할 때는 기준 시간이 필요하기 때문에 이러한 기능을 구현할 때는 제스처를 인식하도록 하는데 얼마나 오랜 시간이 걸리는 지를 체험자가 알 수 있도록 카운트다운 표시기를 함께 구현하는 것이 도움이 된다.

제스처를 활용한 입력 인터페이스 구현은 별도의 추가 기술을 추가하지 않아도 새로운 입력을 추가할 수 있기 때문에 체험자의 교육과 제스처를 인식하는 기준, 제스처를 취하는 난이도 등을 적절히 고려한다면 체험자를 보다 쉽게 VR 경험으로 끌어들일 수 있다.

다만 제스처는 시간을 기준으로 하므로, 인식하기까지의 시간이 소요되어 즉각적인 응답을 제공하기 힘들며 제스처를 이해하는 교육이 필요하다는 점은 태생적인 한계이자 단점이라고 말할 수 있다.

 

2.1. 제스처 커뮤니케이션; 언어 보조 제스처

제스처는 입력 인터페이스의 조작법과 더불어 하나의 언어로도 기능할 수 있다고 언급하였다.

인간 컴퓨터 상호작용(HCI) 분야에서는 제스처 입력을 '명령 제스처', '수화', '언어 보조 제스처'로 사용 범주를 구분한다.

여기서 VR 인터페이스 분야에서 가장 관심을 가지고 접근하는 범주는 '언어 보조 제스처'이다.

그 외에 언급된 명령 제스처는 컴퓨터를 사용하면서도 흔히 접한 '드래그 & 드롭'이 가장 대표적인 예시라고 할 수 있다.

여기서는 언어 보조 제스처에 대해서 좀 더 자세히 알아본다.

- 기호/상징: 엄지 손가락을 뻗어서(따봉) 긍정의 메시지를 보낸다.

- 메타포: 분노를 표현하기 위해 주먹을 들어 보인다.

- 리듬: 긴급함을 표현하기 위해 양손을 머리 위로 힘차게 흔든다.

- 특징:  관심 대상을 검지 손가락으로 가리킨다.

- 아이콘: 팔을 날갯짓하듯이 위아래로 흔들어 비행을 표현한다.

위의 6가지 개념은 언어 보조 제스처의 단순화된 목록들을 나열한 것이다.

이러한 제스처들은 보다시피 신체 일부나 신체 전부를 사용해 표현하기 때문에 체험자의 신체 일부나 전체를 정확하게 위치까지 추적하는 기술이 뒷받침되어야 활용이 가능하다.

굳이 '위치까지'를 언급한 이유는 제스처를 취한 위치에 따라서 그 문맥이 달라지기도 하기 때문이다.

팔을 앞을 뻗고 물을 붓는 듯한 동작을 취하면 식물에 물을 주는 제스처로 인식할 수 있겠지만, 손을 입에 댄 상태로 물을 붓는 동작을 취하면 술을 마시는 제스처로 해석될 수도 있다.

이러한 차이를 구별하기 위해서는 체험자의 신체 주변의 공간을 '신체 참조 영역'으로 취급해야 할 수 있다.

이는 체험자의 신체 주위의 공간을 참조하여 제스처를 입력/인식할 때 신체를 기준으로 한 상대적 위치에 따라 공간을 구분하고, 그 공간에서 발생한 제스처를 서로 다른 의미로 받아들일 수 있도록 하는 것이다.

 

---

 

---

수고하셨습니다!

---