3D 제스처 작동 방식

사용자 인터페이스를 어떻게 재정의합니까? 사람들이 기술과 상호 작용하는 방식을 바꾸려면 어떤 조치를 취해야합니까? 올바른 도구를 개발하는 것만이 문제가 아닙니다. 또한 사람들이 가제트를 사용하는 방식을 고려해야합니다. 가장 기술적으로 진보 된 인터페이스는 당신이 그것을 뽑을 때 옳지 않다고 느끼면 아무것도 의미하지 않습니다.

그러나 우리는 사용자 인터페이스를 다시 방문해야하는 시대에 접어 들고 있습니다. 컴퓨터는 매년 더 많은 장치와 응용 프로그램에서 나타납니다. 10 년 내에 가장 기본적인 어플라이언스조차도 일종의 컴퓨터를 수용 할 수 있습니다. 3D 비디오에 대한 강조가 증가함에 따라이 3 차원을 활용하는 새로운 방법에는 혁신적인 접근 방식이 필요합니다.

3D 제스처 시스템은이 문제를 해결하는 한 가지 방법입니다. 가장 기본적인 수준에서 3D 제스처 시스템 은 물리적 공간 내의 동작을 명령으로 해석합니다. 이러한 기술을위한 응용 프로그램은 비디오 게임에서 데이터 관리에 이르기까지 컴퓨팅 스펙트럼에 걸쳐 있습니다. 그러나 실행 가능한 3D 제스처 시스템을 만드는 것은 많은 도전을 제시합니다.

몇몇 엔지니어들은 우리의 움직임을 컴퓨터 명령으로 해석 할 수있는 시스템을 만들려고했습니다. 그러나 이러한 시스템은 어떤 종류의 응용 프로그램을 가능하게할까요? 3D 제스처 시스템을 구성하려면 어떤 구성 요소가 필요합니까?

내용

1. 3D 제스처 시스템의 차원
2. 탐지 및 투사
3. 깊은
4. 약간의 가벼운 몸짓
5. 렌즈를 넘어서
6. 저자의 노트

3D 제스처 시스템의 부분을 하드웨어와 소프트웨어의 두 가지 주요 범주로 나눌 수 있습니다. 이러한 요소는 함께 사용자의 움직임을 해석하고 명령으로 변환합니다. 비디오 게임에서 좀비를 날려 버리고, 영화의 밤에 볼 다음 블록버스터를 찾는 동안 메뉴를 탐색하거나, 이동하는 것만으로도 다음 위대한 미국 소설을 작업 할 수 있습니다.

하드웨어 측면에서는 카메라 시스템, 컴퓨터 및 디스플레이가 필요합니다. 카메라 시스템에는 깊이를 감지하기 위해 내장 된 추가 요소가있을 수 있습니다. 적외선 프로젝터와 적외선 센서를 사용하는 것이 일반적입니다. 컴퓨터는 카메라와 센서에서 수집 한 데이터를 가져 와서 숫자를 처리 한 다음 이미지를 디스플레이로 푸시하여 결과를 볼 수 있습니다. 디스플레이는 진행중인 작업을 조작하기 위해 이동해야하는 거리를 판단 할 수있는 방식으로 데이터를 표시합니다.

소프트웨어 측면에서는 실제로 소프트웨어에서 수집 한 정보를 의미있는 결과로 변환하는 응용 프로그램이 필요합니다. 모든 동작이 명령이되는 것은 아닙니다. 때로는 컴퓨터가 지시를 잘못하는 우연한 동작을 할 수 있습니다. 의도하지 않은 명령을 방지하기 위해 3D 제스처 소프트웨어에는 오류 수정 알고리즘이 있습니다.

왜 오류 수정에 대해 걱정합니까? 제스처는 소프트웨어가 명령으로 등록하기 전에 신뢰 임계 값을 충족해야 할 수 있습니다. 그렇지 않으면 시스템을 사용하면 좌절감을 느낄 수 있습니다. 손을 움직여 크기와 모양을 변경하여 중요한 3 차원 그림을 작업하고 있다고 상상해보십시오. 갑자기 재채기하고 지금까지했던 섬세한 작업이 무의식적 인 행동으로 인해 그림이 극적으로 왜곡되어 망가집니다.

오류 수정 알고리즘을 사용하려면 작업이 수행되기 전에 특정 수준의 신뢰도 내에서 사전 할당 된 제스처와 일치하는 작업이 필요합니다. 소프트웨어가 사용자의 움직임이 필요한 신뢰 수준을 충족하지 않는다는 것을 감지하면 해당 동작을 무시하고 명령으로 변환하지 않을 수 있습니다. 이것은 또한 시스템이 인식하기 전에 매우 특정한 방식으로 제스처를 수행해야 할 수도 있음을 의미합니다.

일부 명령은 다른 명령만큼 민감하지 않을 수 있습니다. 이것들은 훨씬 더 낮은 신뢰도를 가질 것입니다. 예를 들어, 손을 왼쪽이나 오른쪽으로 이동하여 이미지를 뒤집는 것은 실제로 미션 크리티컬 한 명령이 아닙니다. 낮은 신뢰도 요구 사항으로 시스템은 명령을 더 쉽게 받아들입니다.

제스처 인식은 소프트웨어 작업의 일부일뿐입니다. 또한 사용자가 만드는 제스처가 화면에서 의미있는 동작으로 변환되도록 응용 프로그램과 인터페이스해야합니다. 일부 응용 프로그램에서는 매우 간단합니다. 사진 앨범을 넘기는 것은 사진을 탐색하고보기를 확대 또는 축소하는 데 몇 가지 제스처에만 의존 할 수 있습니다. 각각의 제스처는 매우 간단 할 수 있습니다.

그러나 다른 프로그램에는보다 다양한 복잡한 제스처가 필요할 수 있습니다. "Extreme Table Tennis Pro Elite"의 최신 버전을 가지고 집에 돌아 왔고 이제까지 패들을 집어 들기 위해 가장 힘든 컴퓨터 상대를 상대로 실력을 테스트 할 준비가되었다고 가정 해 보겠습니다. 3D 제스처 구성 요소가 있는 콘솔 시스템에 게임을 넣고 자신 만의 실제 패들을 선택합니다. 다음은 어떻게 되나요?

시스템은 그 앞에있는 장면을 분석합니다. 손에 패들이 있는지 감지합니다. 게임이 시작되면 화면을보고 상대가 서브를 위해 발리를 기다립니다. 디지털 공이 당신을 향해 비명을 지르면 3D 제스처 시스템은 공이 실제 단단한 물체 인 경우 물리적 공간의 컨텍스트 내에서 실제로 어디로 갈 것인지 결정합니다.

당신은 미친 백 스핀으로 사악한 복귀를 준비하면서 움직입니다. 이제 3D 시스템은 당신의 반응을 분석하고, 공의 비행 경로에 대해 플로팅하고, 당신이 접촉했는지 또는 완전히 헛소리를했는지 결정해야합니다. 당신의 놀라운 탁구 기술이 실패하지 않았다고 가정하면, 당신은 성공적으로 공을 쳤습니다. 이제 시스템은 실제 물리적 움직임을 기반으로 디지털 볼이 어디로 갈 것인지 결정해야합니다. 소프트웨어가 비행 경로를 투사하고 공이 그 경로를 따라갑니다.

일부 게임은 물리적 소품을 포함하지 않을 수 있습니다. 게임을 진행하는 과정은 전적으로 몸으로하는 움직임에 따라 달라집니다. 시스템의 역할은 수행하는 작업이 게임 진행에 적절하게 영향을 미치는지 확인하는 것입니다. 그리고 이러한 모든 행동은 게임 자체 내에서 설명되어야합니다. 큰 직업입니다! 그렇기 때문에 일부 응용 프로그램에서는 시작하기 전에 시스템을 보정하기 위해 특정 방식으로 이동해야합니다.

일반적인 카메라 는 세계를 2 차원 이미지로 캡처합니다. 단일 렌즈는 빛을 센서로 보내고 기록 장치는 데이터를 캡처합니다. 크기를 기준으로 물체가 카메라에서 얼마나 멀거나 가까이 있는지 추론 할 수는 있지만 실제로 2 차원 카메라 시스템에서 3 차원 이미지를 만들 수는 없습니다.

이러한 제한으로 인해 제스처 기반 인터페이스에 문제가 발생합니다. 일반 카메라 앞에 서서 팔을 흔들면 카메라가 수평 및 수직 움직임을 포착 할 수 있습니다. 적절한 소프트웨어가 설치된 컴퓨터는 이러한 동작을 명령으로 해석 할 수 있습니다. 하지만 손을 카메라에 더 가까이 대면 어떨까요? 2D 시스템은 이러한 동작을 해석 할 수 없습니다. 그리고 2D 시스템은 사용자와 배경을 구분하기 어려울 수 있습니다.

그렇다면 어떻게 카메라가 3 차원으로 볼 수 있도록 가르 칠 수 있습니까? 한 가지 방법은 두 번째 카메라를 추가하는 것입니다.이를 스테레오 카메라 시스템 이라고 합니다 . 각 카메라는 동일한 물리적 공간 내에서 이미지를 캡처합니다. 두 카메라의 데이터 스트림은 단일 컴퓨터로 이동하여 이미지를 비교하고 정보를 기반으로 깊이에 대한 결론을 도출합니다. 두 대의 카메라가 서로 나란히있을 필요는 없습니다. 한 대는 방의 머리를 보도록 배치하고 두 번째 카메라는 천장에서 바닥을 내려다 보도록 배치 할 수 있습니다.

어떤면에서 이것은 인간이 깊이를 인식하는 방식을 모방합니다. 우리는 몇 가지 시각적 단서를 기반으로 무언가가 우리로부터 얼마나 멀리 떨어져 있는지 판단하는 경향이 있습니다. 그중 하나는 시차 에서 비롯됩니다 . 이것은 두 눈 이 약간 다른 각도에서 같은 장면 을 어떻게 인식 하는지를 나타냅니다 . 눈에서 시야 내의 물체까지 직선을 그리면 두 선이 수렴하는 것을 볼 수 있습니다. 우리의 두뇌는 눈의 정보를 결합하여 우리 마음 속에 이미지를 만듭니다.

잡았다!

영화 제작자는 특수 효과를 만들기 위해 2D 카메라의 한계를 활용했습니다. 예를 들어, 강제 원근법은 카메라에서 적절한 거리에 물체를 배치하여 실제보다 더 크게 또는 더 작게 보이게 만들 수 있습니다. "반지의 제왕"시리즈의 여러 장면은이 효과를 이용하여 호빗이 인간 크기의 세계에서 파인트 크기의 존재처럼 보이게했습니다.

진공 상태에서 초당 299,792,458 미터로 이동하는 것은 무엇입니까? 아니, 먼지 토끼가 아닙니다. 그것은의 빛 . 퀴즈처럼 보일지 모르지만 빛의 속도는 특히 비행 시간 (time-of-flight) 배열 인 경우 3D 제스처 시스템을 구축 할 때 유용합니다.

이 유형의 3D 제스처 시스템은 깊이 센서와 프로젝터를 카메라와 연결합니다. 프로젝터는 펄스로 빛을 방출합니다. 일반적으로 적외선은 사람의 가시 광선 스펙트럼 밖에 있습니다. 센서는 프로젝터 앞의 모든 것에서 반사되는 적외선을 감지합니다. 타이머는 빛이 프로젝터를 떠나 물체를 반사하고 센서로 되돌아가는 데 걸리는 시간을 측정합니다. 물체가 움직이면 빛이 이동하는 데 걸리는 시간이 달라지며 컴퓨터는 데이터를 움직임과 명령으로 해석합니다.

3D 제스처 시스템을 사용하여 테니스 비디오 게임을한다고 상상해보십시오. 당신은 준비 상태에 서서 당신의 컴퓨터 상대로부터 서브를 받기를 기다리고 있습니다. 3D 제스처 시스템은 주변과 관련하여 사용자의 위치를 ​​기록합니다. 적외선이 사용자를 비추고 센서로 다시 반사되어 사용자의 위치를 ​​파악하는 데 필요한 모든 데이터를 컴퓨터에 제공합니다.

상대방이 공을 서비스하고 공을 가로 채기 위해 팔을 앞으로 휘두르면서 움직임을 시작합니다. 이 시간 동안 프로젝터는 초당 수백만 번 적외선 펄스를 계속 발사합니다. 손이 카메라 에서 멀어졌다가 카메라 쪽으로 이동 하면 적외선이 센서에 도달하는 데 걸리는 시간이 변경됩니다. 이러한 변경 사항은 컴퓨터 소프트웨어에 의해 움직임으로 해석되고 추가로 비디오 게임 명령으로 해석됩니다. 귀하의 비디오 게임 표현은 서브를 반환하고 포인트를 획득하며 가상 군중은 열광합니다.

3 차원 물체를 매핑하는 또 다른 방법은 구조 광이라는 방법을 사용하는 것입니다. 이 접근 방식을 사용하면 프로젝터는 다시 가시 광선 스펙트럼 외부에서 격자 패턴으로 빛을 방출합니다. 그리드가 물리적 인 물체와 만나면 왜곡됩니다. 센서는이 왜곡을 감지하고 왜곡을 측정하는 컴퓨터로 데이터를 전송합니다. 이동함에 따라 이동에 따라 그리드가 다른 방식으로 왜곡됩니다. 이러한 차이는 컴퓨터가 사용자의 움직임을 명령으로 해석하는 데 필요한 데이터를 생성합니다.

3D 제스처 시스템은 단일 기술 접근 ​​방식에 의존 할 필요가 없습니다. 일부 시스템은 현재 위치와 수행중인 작업을 파악하기 위해 여러 기술의 조합을 사용할 수 있습니다.

제스처 처리하기

일부 제스처 시스템은 카메라 대신 하나 이상의 컨트롤러를 사용하여 동작을 감지합니다. Nintendo Wii 리모컨과 Sony Move 컨트롤러가 그 예입니다. 이러한 장치에는 방향 및 가속도를 감지하는 추가 센서가 포함되어 있습니다.

3D 제스처는 미래의 인터페이스를 제어합니까? 이는 엔지니어의 독창성, 다양한 시스템의 효율성 및 사용자의 행동에 달려 있습니다. 실행 가능한 사용자 인터페이스를 설계하는 것은 결코 쉬운 일이 아닙니다. 수백 개의 실패한 제품이 한 번에 우리가 기계와 상호 작용하는 방식을 혁신 할 것입니다. 3D 제스처 시스템이 같은 운명을 피하려면 유용하고 신뢰할 수 있어야합니다. 그것은 기술에만 의존하는 것이 아니라 사용자 심리학에 달려 있습니다.

특정 제스처가 사용자에게 의미가없는 경우 시스템 전체를 기꺼이 사용하지 않을 수 있습니다. 채널을 변경하기 위해 "Hokey Pokey"를 수행 할 필요는 없을 것입니다.하지만 그렇게해도 괜찮습니다. 우리는 당신을 판단하지 않습니다. 좋은 시스템을 만드는 것은 기술을 완성하는 것뿐만 아니라 사람들이 그것을 어떻게 사용하고 싶어할지 예측하는 것을 의미합니다. 항상 쉬운 것은 아닙니다.

이미 시장에 몇 가지 3D 제스처 시스템이 있습니다. Microsoft의 Kinect 는 일반 소비자에게 가장 친숙한 시스템 일 것입니다. 제스처와 음성 명령으로 Xbox 360 을 제어 할 수 있습니다 . 2012 년에 Microsoft는 Kinect와 유사한 기능을 Windows 8 컴퓨터에 통합 할 계획을 발표했습니다. 그리고 해킹 커뮤니티는 3D 스캐닝 기술에서 로봇 공학에 이르기까지 다양한 프로젝트를 위해 Kinect를 조작하면서 실제로 Kinect를 수용했습니다.

CES 2012에서 여러 회사가 3D 제스처 인식이 포함 된 장치를 선보였습니다. 한 회사 인 SoftKinetic은 물체가 카메라에서 불과 몇 인치 떨어져 있어도 정확한 비행 시간 시스템을 시연했습니다. 비행 시간 시스템 빠른 빛은 빛의 속도에 따라, 객체를 반영하는 방법에 따라 측정 거리. 회사가 컴퓨터 나 태블릿에 제스처 인식 기능을 포함 시키려면 렌즈 가까이에서하는 제스처를 처리 할 수있는 시스템에 의존해야합니다.

앞으로 이러한 제스처 인식 소프트웨어의 한 형태를 갖춘 태블릿 을 볼 수 있습니다. 태블릿을 책상 위에 올려 놓고 그 앞에 손을 댄다 고 상상해보십시오. 태블릿의 카메라와 센서는 손의 위치를 ​​감지하고 가상 키보드를 매핑합니다. 그런 다음 손가락 끝에 실제 키보드가있는 것처럼 바탕 화면에 입력하면 시스템이 모든 손가락 움직임을 추적합니다.

3D 제스처 시스템에 대한 실제 테스트는 3D 디스플레이와 함께 제공됩니다. 디스플레이에 깊이를 더하면 데이터를 조작하는 새로운 방법을 탐색 할 수 있습니다. 예를 들어, 3 차원으로 확장되는 쌓인 상자 형태로 배열 된 데이터를 보여주는 3D 디스플레이를 상상해보십시오. 3D 제스처 디스플레이를 사용하면 스택 맨 위에 있지 않더라도 카메라를 향해 손을 뻗어 특정 상자를 선택할 수 있습니다. 이러한 제스처 및 디스플레이 시스템은 유연하면서도 몰입감있는 가상 세계를 만들 수 있습니다.

이러한 시스템이 우리가 성장해온 검증 된 인터페이스를 대신할까요? 그렇다면 아마도 몇 년이 걸릴 것입니다. 그러나 올바른 엔지니어링과 연구를 통해 고정 된 컴퓨터 괴짜의 전형적인 이미지를 활성 데이터 마법사로 바꾸는 데 도움이 될 수 있습니다.

CES 2012를 방문한 후이 기사에 대한 아이디어를 얻었습니다. 매년 쇼에서 새로운 트렌드가 떠오르는 것 같습니다. 2012 년에는 이러한 추세가 사용자 인터페이스의 재창조였습니다. 모든 회사가 제스처 및 음성 제어 시스템을 제품에 추가하려는 것 같았습니다. 그러나 너무 흥분하지 마십시오. 이러한 혁신이 일반 가전 제품에 적용 되려면 1 ~ 2 년이 걸릴 수 있습니다.

관련 기사

더 멋진 링크

출처