Haptic System to Provide the Realistic Sensation of Virtual Impact

사실적인 가상 임팩트 감각 전달을 위한 햅틱 시스템

Abstract

As an effort to maximize the immersiveness of user experience in virtual reality, there have been constant efforts to provide a user with tactile sensation by providing haptic feedback. Most of the haptic feedback methods, however, can create only limited or unrealistic haptic sensations since they utilize affordable actuators such as a vibrotactile actuator. When it comes to martial arts training or a game, the limitation of such haptic feedback is apparent due to the significant difference between the physical impact of hitting an object and the sensation departed from a vibrotactile actuator. Noting this, we proposed a haptic impact system that can create a haptic impact when the user hits a virtual object with the fist. The haptic interface uses a quick-return mechanism that can deliver haptic impact feedback to a user's fist. The realism of the haptic impact was evaluated by conducting a human-subject experiment. The results indicate a significant effect of haptic feedback on the realism of the virtual impact.

가상현실 분야에서는 사용자 경험의 몰입도를 극대화하기 위해 햅틱 피드백을 활용하고 발전시키려는 지속적인 노력이 있었다. 그러나 대부분의 햅틱 피드백은 진동 모터 등 경제성을 고려한 액추에이터를 사용하는 문제로 인해 제한적인 촉각 경험만을 사용자에게 제공할 수 있었다. 복싱과 같은 스포츠 시뮬레이션이나 게임에서의 타격 경험의 경우, 실제 물체를 타격하는 감각과 진동 액추에이터로 렌더링되는 감각 사이의 괴리 때문에 한계가 분명하다. 본 연구에서는 이를 주목하여, 사용자가 손으로 가상의 물체를 타격할 때 가상 임팩트를 생성할 수 있는 햅틱 임팩트 시스템을 제안했다. 햅틱 인터페이스는 퀵 리턴 메커니즘을 사용하여 엔드이펙터가 사용자의 주먹에 햅틱 임팩트 피드백을 직접 전달하고 진동 촉감을 통해서 사용자의 손바닥에 가상 임팩트 감각을 전달할 수 있도록 하였다. 제안된 시스템은 인간 대상 실험을 통해 평가하였으며 실험 결과는 햅틱 임팩트 가상 임팩트의 인지 강도와 사실감에 유의한 영향을 미친다는 것을 나타낸다.

1. 서론

가상현실 애플리케이션을 평가하는 주요 척도 중 하나로 몰입감(imersiveness)을 흔히 꼽는다. 게임 분야에서 이와 유사하게 사용자에게 시청각 및 촉각 등의 즉각적인 감각 정보를 통해 게임의 정보를 전달하는 타격감(juiciness)또한 품질을 결정하는 핵심 지표 중 하나이다. 특히 액션 게임의 경우, 캐릭터가 객체와 충돌할 때 이와 동기화된 햅틱 피드백을 사용자에게 전달하는 것만으로도 타격감을 유의미하게 향상시키는 효과가 있다. 다만 현재 상용화된 대부분의 게임 시스템은 컨트롤러를 통한 소리, 시각 효과 또는 진동과 같은 제한적인 피드백을 통해서만 타격 감각을 제공하는 실정이다. 현재의 가상현실(VR) 기술도 사용자에게 촉감정보를 전달하는 데 동일한 한계를 가지고 있다. 대부분의 가상현실 시스템은 컨트롤러에 내장된 액추에이터를 통해 진동의 형태로 햅틱피드백을 제공하는데 그치며 그마저도 손동작 기반으로 상호작용을 하는 시스템에는 적용이 어렵다. 가상현실이나 게임에서 물체를 타격하는 감각은 여전히 실제 물체를 타격하는 것과는 거리가 멀어, 시스템의 몰입도를 현저히 저하시킨다.

본 논문은 스포츠 시뮬레이터나 게임에서 사용자가 가상물체를 능동적으로 타격 시, 사용자의 손에 직접적이고 사실적인 충격 감각, 즉 가상 임팩트를 전달할 수 있는 햅틱 시스템을 제안한다. 기존에 제시된 가상 임팩트를 표현하는 접근법은 전달되는 감각의 종류와 촉각렌더링의 사실감에 있어서 제한적 이였다. 반면, 본 논문에서 제안하는 햅틱 시스템은 사용자의 손과 실제 객체 사이의 물리 접촉을 통해 재현하며, 손바닥으로 전달되는 진동을 생성한다는 점에서 가상 임팩트를 사실적으로 렌더링할 수 있도록 하였다. 본문에서는 사용자가 가상물체를 타격할 때 햅틱 인터페이스의 작동 원리에 대해 설명하며, 충격 제어의 유효성을 입증하기 위해 액추에이터의 입력 전압에 의한 충격의 가속도를 측정하였고 인간 대상 실험을 통해 렌더링 된 가상 임팩트의 인지 강도와 사실감을 평가하였다.

2. 배경 및 동향 분석

지금까지 가상현실 분야에서 가상 임팩트를 촉감 정보로 표현하기 위해서 다양한 형태의 햅틱 인터페이스가 제시되었다. 주로 사용되는 방법은 컨트롤러 내부에 진동 액추에이터를 장착하여 사용자의 손 아바타와 가상물체 간의 접촉이 감지되면 액추에이터를 구동하여 진동하는 것이다. 예를 들어 햅틱 인터페이스 Tactosy(bHabtics Inc.)는 손마다 ERM(Eccentric Rotating Mass) 진동 모터 세 개를 사용하여 가상 타격감을 렌더링한다 [1]. Lopes 등은 반대로 사용자의 팔에 타격이 가해질 때의 수동 촉감을 재현하는 착용형 햅틱 인터페이스를 제안한 바 있다 [7]. 해당 햅틱 인터페이스는 타격이 가해질 때 솔레노이드를 통해 하박을 두드리는 감각을 렌더링했으며 EMS(electrical muscle stimulation) 전극을 상박에 장착하여 팔을 뒤로 밀어낼 수 있도록 했다. 이러한 수동 촉감 피드백은 사용자가 가상객체로부터 타격을 당할 때의 감각을 재현하기 때문에 능동적으로 가상객체를 타격할 때의 감각을 재현하는 데는 한계가 있었다.

가상 임팩트와 관련하여 학계뿐만 아니라 산업계에서 다양한 형태로 햅틱 임팩트를 재현할 수 있는 액추에이터들이 제시되어왔다. 이 중 가장 일반적인 액추에이터는 LRA(Linear Resonance Actuator)나 애플의 탭틱 엔진(Taptic Engine)과 같은 질량-스프링 시스템의 형태이다. 이러한 액추에이터는 자기력으로 질량을 구동하여 하우징을 타격함으로써 햅틱 충격을 만들거나 진동 촉감을 생성 할 수 있다 [5, 10]. 다만 앞서 언급된 일반적인 형태의 액추에이터는 오직 1자유도의 충격만을 렌더링 할 수 있다는 단점이 있다. 이 한계를 극복하기 위해서 기존의 일부 연구에서 다자유도 햅틱 임팩트 액추에이터를 제시하였다 [4, 6, 9]. 일부 자기력 구동 방식의 햅틱 액추에이터들은 손잡이와 같은 매개체를 통해 사용자에게 간접적인 충격을 제공하도록 제안되었다. Qiu 등은 비디오 게임 어플리케이션을 대상으로 한 소프트 액추에이터를 제안하였으며, 이를 가상 복싱 게임 어플리케이션으로 평가하였다 [8]. 그러나 이 방식은 다른 대부분의 소프트 액추에이터와 마찬가지로 상대적으로 작은 힘만을 표현할 수 있다. Tsai 등은 압축 공기로 가상의 공과 라켓이 충돌할 때 발생하는 충격을 렌더링할 수 있는 햅틱 라켓을 제안했다. 그러나 이 방법은 사용자와 가상 물체 사이의 고주파 충격을 효과적으로 표현할 수 없다.

3. 연구 목표

본 연구는 아래의 연구문제에 대한 답하는 것을 목표로 한다.

(1) 제안 된 햅틱 임팩트 인터페이스는 제어 가능한가?

(2) 서로 다른 햅틱 피드백으로 표현된 가상 임팩트의 인지 강도와 사실감에서 차이가 발생하는가?

첫 번째 연구문제에 답하기 위해, 본 논문에서는 제안된 햅틱 인터페이스에 가해지는 입력 전압에 따른 햅틱 임팩트의 강도 추이를 가속도 측정을 통해 관찰하였다. 입력 전압과 가속도 사이에 명확한 추세가 있다면, 전압입력을 변경하여 충격을 제어할 수 있다는 것을 의미한다. 두 번째 연구문제에 답하기 위해서, 사용자의 손동작이 가상공간에 매핑되는 VR 프로그램을 구축하였고, 인간 대상 실험을 통해 가상 임팩트의 인지 강도와 사실감을 평가하였다.

4. 햅틱 임팩트 시스템

4.1 햅틱 임팩트 인터페이스

본 연구에서 제안하는 햅틱 임팩트 인터페이스는 가상 환경에서 사용자가 가상객체를 타격 시, 이와 동기화되어 사용자의 주먹과 손바닥에 햅틱 피드백을 전달하도록 설계되었다. 이 햅틱 인터페이스는 설치와 편의성과 사용성 향상을 위해 사용자가 손에 들고 사용하는 핸드헬드 타입의 햅틱 인터페이스로 설계되었다. 또한, 조작의 편의성을 위해 햅틱 인터페이스의 치수(125 x 130 x 50mm) 와 무게(168g)를 컴팩트하게 결정하였다. 또한, 물체를 타격할 때 느껴지는 촉감의 사실적인 렌더링을 위해서 사용자의 손에 멀티 모달 피드백을 제공할 수 있도록 설계하였다. 주먹에 대한 충격은 엔드이펙터(end-effector)가 사용자의 주먹을 실제로 타격하는 형태로 모사된다. 그림 1은 조립된 햅틱 인터페이스의 CAD 이미지와 내부 구조를 보여준다. 엔드이펙터는 서보 모터(SG90S, Tower Pro 대만)로 구동되는 퀵리턴 메커니즘으로 구동된다. 서보 모터는 햅틱 인터페이스의 크기를 최소화하기 위해 선정되었으며 제어를 위해 기어형 DC 모터로 작동하도록 재배선하였다. 모터의 제어를 위해, 자기 회전형 인코더 (RM08ID0012B02L2 G00 , RLS, 슬로베니아)가 설치되었다. 그림 2는 햅틱 임팩트 생성을 위해 퀵 리턴 메커니즘을 통해서 엔드이펙터가 사용자의 손 방향으로 이동하는 것을 보여준다. 핸들 내부에는 사용자가 가상의 객체를 타격할 때 손바닥으로 전달되는 진동을 렌더링하기 위해 233Hz의 진동 주파수로 동작하는 한 쌍의 다이나믹 진동 모터(DVM1034, Motorbank Co., 한국)가 설치되어 있다. 햅틱 모터 드라이버 (DRV-2605L, Texas Instru ments Inc., 미국)는 각 모터의 진동 강도를 제어한다. 햅틱 인터페이스 앞쪽에는 사용자의 손 위치를 샘플링하기 위해 위치추적기, VIVE tracker 3.0 (2QAB100, HTC Corporation, 대만)이 설치되어 있다.

(그림 1) 햅틱 인터페이스의 CAD 이미지. (좌):조립된 햅틱 충격 인터페이스 (우): 햅틱 인터페이스의 내부 구조.

(Figure 1) CAD image of the haptic interface (left):Assembled haptic impact interface(right):interior view of the haptic interface.

(그림 2) 햅틱 임팩트 액추에이터의 작동. 퀵 리턴 메커니즘은 엔드이펙터를 구동하여 햅틱 임팩트를 생성한다.

(Figure 2) Actuation of the haptic impact actuator. A quick-return mechanism drives the end-effector to create an haptic impact.

4.2 햅틱 임팩트 렌더링

가상 임팩트의 햅틱 렌더링을 위한 기본 전략은 뉴턴의 제2법칙에 기반하고 있다. 여기서 충격량 J는 J = ΔP 로 계산되며 P = mv이다. 계산의 편의를 위해, 초기 접촉 속도 v_i와 최종 접촉 속도 v_f 사이의 선형 관계를 가정하는 뉴턴의 충격 법칙 v_i = -ev_i를 사용한다[2]. 그러면 충격 J는 다음과 같이 계산되며

J = v_f - v_i = -(1 + e)v_i = Δv,       (1)

여기서 e는 복원 계수이다. 이를 고려하면, 가상 임팩트는 가상객체 방향의 손의 속도를 기반으로 렌더링할 수 있다. 여기서 가상 임팩트 렌더링은 햅틱 피드백의 유형에 따라 달라진다. 햅틱 임팩트를 생성하기 위해서는 엔드이펙터를 중립 위치에서 접촉 위치까지 움직이기 위해 일정한 작동 시간이 필요하다. 다시 말해서, 액추에이터는 충격 이벤트 이전에 움직여야 한다. 시간 t에서의 손속도를 v_h(t)라고 하고 가상객체까지의 거리를 p_h(t)라고 하자. 그 후, 가상객체를 향한 손 속도의 변화가 없다고 가정하면, 객체를 타격할 때까지의 시간 t_I(t)는 다음과 같이 추정할 수 있다:

\(\begin{align}t_{I}=\frac{p_{h}(t)}{v_{h}(t)}\end{align}\).       (2)

식 1에 따라, 목표 충격 J_T는 J_T = kv_T(t)로 계산될 수 있다. 우리는 목표 충격과 햅틱 인터페이스의 엔드이펙터 속도 v_E 사이의 관계를 다음과 같이 모델링 했으며

\(\begin{align}v_{E}=\dot{K}_{a} k(1+e) v_{h}(t)=K_{b} v_{h}(t)\end{align}\)       (3)

여기서 K_a는 v_E와 J_T 사이의 관계이며, K_b 는 K_a(1 + e)이다. 엔드이펙터의 중립 위치와 충격 위치 사이의 시간 t_IE는 다음과 같이 추정되며

\(\begin{align}t_{I E}=\frac{d_{E}}{v_{E}}\end{align}\)       (4)

여기서 d_E는 엔드이펙터의 최대 변위이다. 이 경우 액추에이터를 움직이는 조건은 수식 2와 4로부터 아래와 같이 계산된다:

\(\begin{align}t_{I}=\frac{p_{h}(t)}{v_{h}(t)} \leq t_{I E}=\frac{d_{E}}{v_{E}}=\frac{d_{E}}{K_{b} v_{h}(t)}\end{align}\).       (5)

따라서, 액추에이터를 구동시키는 조건은 다음과 같으며

\(\begin{align}p_{h}(t)=\frac{d_{E}}{K_{b}}\end{align}\),       (6)

이는 가상객체로부터의 거리를 의미한다. 편의를 위해 이 위치를 귀환 불능 지점(point-of-no-return)이라고 표시한다. 엔드이펙터의 속도는 PD 컨트롤러[3]를 사용하여 제어되었다. 진동 촉각 피드백의 경우, 액추에이터의 빠른 반응 시간을 고려하여 작동부터 충격까지의 지연시간을 0m/s으로 가정한다.

4.3 햅틱 임팩트 측정

제안된 햅틱 인터페이스에 의해 전달된 충격이 햅틱렌더링 방법론에 따라 제어 가능한지 확인하기 위해 우리는 세 가지 다른 입력 전압값, 8V, 10V 및 12V에 대해 가속도계(DRV-ACC16-EVM,TexasInstruments, Dallas, TX, 미국)로 충격량을 측정하여 선형성을 검증하였다. 측정된 평균 피크 가속도 값은 5.96, 7.72 및 11.75G (1G = 9.8m/s²)로 선형 경향을 보이며 촉각 인터페이스에 의한 충격의 제어가 가능하다는 것을 의미한다.

5. 햅틱 임팩트 시스템 지각 실험 및 사용성 평가

제안된 햅틱 임팩트 시스템의 유효성 평가를 위해서 햅틱 피드백의 종류에 따라 인지된 촉각 충격 강도와 사실감을 평가하는 실험을 실시하였다. 실험에서 피실험자는 세 가지의 햅틱 피드백을 통해 가상 임팩트를 경험하였다.

5.1 실험 구성

실험 프로그램은 Unity를 사용하여 프로그래밍 되었다. 사용자의 손 위치는 손목에 착용된 VIVE 트래커로 추적되고 가상의 손 아바타의 위치에 매핑된다. 가상 환경은 HMD(VIVE Pro, HTC Corporation, 대만)로 시각적으로 표시되며 사용자는 햅틱 임팩트 인터페이스와 함께 VR 컨트롤러를 사용할 수 있다. 실험 프로그램은 직렬통신을 통해 마이크로프로세서(Arduino Uno, Arduino, 이탈리아)에 목표 속도에 대한 명령을 보낼 수 있다.

5.2 실험 절차

실험에는 시촉각을 포함한 감각에 문제가 없는 건강한 피실험자 11명 (남성 6명, 여성 5명)이 참여하였다. 실험에 앞서 조사한 설문에서 모든 참가자가 오른손잡이라고 보고하였으며, 연령 분포는 21세부터 26세였다.

실험 시작에 앞서, 피실험자는 실험 컴퓨터 앞에 앉아 실험 감독관으로부터 실험에 대한 안내를 받았다(그림 3). 실험 참여 동의서에 서명 후, 참가자는 HMD를 착용하지 않은 상태에서 실험 절차에 대해 지시를 받았다. 실험은 피실험자가 1.5m/s와 2.5m/s로 속도로 가상의 벽을 타격하고 진동피드백(V), 햅틱 임팩트(HI), 진동 피드백 + 햅틱 임팩트 (V + HI), 세가지 조건에서 가상 임팩트의 인지 강도를 평가하였다.

(그림 3) 실험 셋업.

(Figure 3) Experimental setup.

피실험자가 실험을 시작할 준비가 되었다는 의사를 알리면 HMD를 착용하고 한 손에는 햅틱 충격 인터페이스를 , 다른 손에는 VR 컨트롤러를 들도록 안내되었다. 가상 환경의 왼쪽에는 실험 지침이 표시되었고 참가자 정면에 두개의 정사각형이 배치되었다(그림 4). 참가자가 가상 벽 위치를 파악할 수 있도록 왼쪽 정사각형을 타격하면 색상이 변화하도록 하였다. 실험이 시작되면 1.5m/s 또는 2.5m/s 속도로 이동하는 가상 주먹들이 오른쪽 정사각형으로 이동했다. 그 후, 피실험자에게 오른쪽 정사각형으로 움직이는 가상 주먹의 속도와 최대한 가까운 속도로 왼쪽 정사각형을 타격하도록 지시했다, 가상 주먹아바타가 왼쪽 조건에 따라 다르게 렌더링 된 가상 임팩트가 표현되었다. 그런 다음, 실험 감독관은 피험자에게 가상 임팩트의 인지 강도(perceived intensity)와 사실감(realism)에 대해 질문하였다. 인지 강도는 0 에서 100사이의 값으로, 사실감은 5점 리커트 척도(Likert scale)로 평가되었다.

(그림 4) 실험을 위한 가상 환경(좌): 실험 지침이 포함된 좌측 장면 (우): 전방 가상 장면. 피실험자는 왼쪽 정사각형을 타격함. 일정한 간격으로 주먹이 오른쪽 정사각형으로 움직여 속도 참조 역할을 함.

(Figure 4) Virtual scene for the experiment (Left): Left scene with experimental instruction(Right): Front virtual scene. A participant blows a punch onto the left square. A constant array of fists move toward the right square, serving as velocity reference.

5.3 실험 결과

그림 5는 실험 조건에 따른 햅틱 임팩트에 대한 인지강도의 평균을 나타낸다. 속도와 햅틱 임팩트 피드백 유형이 햅틱 임팩트에 대한 인지 강도의 경향을 이원배치 반복측정 분산분석(2-way repeated measure ANOVA)을 적용하여 확인하였다. 통계 분석 결과에 따르면 속도는 햅틱 임팩트 인지 강도에 유의한 영향을 미치지 않았다.(F(2,20)=10.28, p=0.001, η² =0.51; ANOVA η²는 독립 변인이 종속변인에 미치는 영향력의 크기를 나타내는 지표). 본 페로니 교정(Bonferroni correction) 사후 검정의 결과는 V와 V+HI 조건 사이의 햅틱 임팩트 인지 강도 평균에 유의한 차이가 있음을 나타냈다. 즉, 사용자의 손에 햅틱 임팩트가 렌더링될 때, 손바닥에 진동피드백만 전달되는 경우에 비해서 햅틱 임팩트의 강도를 더 크게 인지한다는 것을 알 수 있다.

(그림 5) 실험 조건에 따른 햅틱 임팩트의 인지 강도(0~100) 평균. 오차막대는 표준 오차를 나타낸다.

(Figure 5) Mean of perveived intensity (0~100) of haptic impact by experimental conditions. Error bars indicate standard errors.

(그림 6) 실험 조건에 따른 햅틱 임팩트의 사실감(5점 리커트 척도) 평균. 오차 막대는 표준 오차를 나타낸다.

(Figure 6) Mean of realism of haptic impact in 5-pt Likert scale by experimental conditions. Error bars indicate standard errors.

6. 결론

본 연구에서는 사용자가 가상의 객체를 타격할 때 손에 가상 임팩트 렌더링할 수 있는 햅틱 임팩트 시스템을 제안했다. 이를 평가하기 위해 인간 대상 실험을 실시하였으며 실험 결과에 따르면 햅틱 임팩트가 렌더링 되었을 때의 인지 강도가 진동 전달 피드백보다 유의하게 높았다. 또한 햅틱 임팩트의 사실감 또한 진동 피드백에 비해 유의하게 높았다는 것을 관찰되었다.

실험 결과에서 눈에 띄는 점은 가상객체 타격 시 진동 피드백만 제공되는 경우보다 햅틱 임팩트가 제공될 경우의 지각 강도가 더 높다는 것이다. 이 결과는 다중 감각통합(multiple sensory integration) 모델을 통해서 일부 설명할 수 있다. Ernst 와 Banks의 연구에 따르면 서로 독립된 감각 양상(sensory modality)를 지니는 감각이 인간에게 동시에 주어질 때 해당 감각 강도가 최적화된 형태로 증가하게 된다 [11]. 이와 관련된 현상은 시각, 청각, 촉각간에서만 아니라 다른 종류의 촉각 정보를 사용자에게 전달할 때도 관찰된 바 있다 [12]. 해당 이론을 본 연구의 실험 결과에 적용할 경우 진동 촉감과 손에 전달되는 햅틱 임팩트 또한 다중 감각 통합의 형태로 처리될 수 있다고 예상할 수 있다.

본 연구는 가상 임팩트를 표현하는 데 있어 인지 강도와 사실감 측면에서 햅틱 임팩트 피드백의 중요성을 실험을 통해서 입증하였다. 향후 보다 일반적인 조건에서의 테스트를 위해 다양한 출력을 가진 진동 액추에이터를 사용하여 실험을 진행할 계획이다. 또한, 다양한 엔드이펙터 질량과 충돌 속도를 실험 조건으로 하여 실험 결과의 일반화를 추진할 예정이다.