A Study on the Development of an Electronic Component Assembly Training System Using Leap Motion

Leap Motion을 이용한 전자부품 조립 훈련 시스템 개발에 관한 연구

Abstract

In this study, an electronic parts assembly training system using Leap Motion was developed in consideration of the processes actually operated in the assembly process of electronic products. Based on Leap Motion and Oculus VR equipment, the system was developed to transfer user's hand movement data in real time and convert it into hand movement in virtual space so that electronic parts assembly simulation can be performed step by step. Through this, it was confirmed that the user can obtain an experience similar to the actual electronic parts assembly work, prevent errors that may occur during the assembly process, and improve proficiency. It is expected that this thesis will provide directions for the quality improvement and development of various education and training programs for virtual reality-based manufacturing processes.

1. 서론

최근에는 전자제품 제조 산업에서 인력 부족 문제와 고도의 기술력을 요구하는 제조 과정의 증가로 인해, 전자부품 조립 훈련에 대한 필요성이 높아지고 있다. 전통적인 훈련 방법은 비용적인 측면에서 많은 부담을 야기할 수 있으며, 시간적 제약이 있기 때문에 실제 조립 과정에서의 실수나 문제 해결 능력 향상에 한계가 있다. 이러한 문제점을 극복하기 위해 가상 혹은 증강 현실 기술을 이용한 전자부품 조립 훈련 시스템의 개발이 활발하게 이루어지고 있다.[1-4]

본 연구에서는 립모션을 이용한 전자부품 조립 훈련 시스템을 개발하여, 사용자가 실제 조립과 유사한 경험을 할 수 있도록 하였다.[5-6] 립모션은 사용자의 손 움직임을 실시간으로 인식하고 추적하는 장치로, 사용자가 가상 공간에서 부품을 직접 조립하는 과정을 통해 전자부품 조립 업무에 대한 효율성과 정확성을 향상 시킬 수 있다.

이 논문에서는 전자부품 조립 훈련 시스템의 개발 과정과 결과를 상세히 제시하며, 이 시스템이 전자부품 조립 훈련에 효과적으로 활용될 수 있는 가능성을 제시하고 있다.

2. Leap Motion의 기술 동향 및 수준

Fig. 1 립모션 기술은 컴퓨터 비전과 인공지능 기술의 발전으로 많은 진보를 이루고 있다. 최근 립모션 기술을 사용한 다양한 산업용 어플리케이션과 교육용 시스템이 개발되고 있으며, 이를 통해 더욱 효과적인 교육과 훈련이 가능해지고 있다.

Fig. 1 Leap Motion

특히, 3D 립모션 기술은 센서 기술과 적응 제어 기술의 발전으로 립모션 기술의 발전을 이루고 있다. 이를 통해 인체의 움직임을 더욱 정확하게 측정하고 분석할 수 있게 되었다. 또한, 립모션 기술을 사용한 가상현실과 증강현실 기술도 점차 발전하고 있어, 더욱 현실적이고 효과적인 교육과 훈련이 가능해지고 있다.

한편, 국내에서는 립모션 기술을 활용한 교육 및 훈련 시스템도 개발되고 있다. 최근에는 산업계에서도 립모션 기술을 적용한 제품이 출시되고 있으며, 교육 및 훈련 분야에서도 립모션 기술을 사용한 시스템이 다양하게 개발되고 있다.[7-11]

하지만, 립모션 기술을 활용한 교육 및 훈련 시스템 개발은 아직 초기 단계이며, 기술적인 한계와 발전 가능성이 여전히 존재한다. 따라서 립모션 기술을 활용한 교육 및 훈련 시스템 개발에 대한 연구와 개발이 더욱 활발히 이루어져야 한다.

3. Leap Motion의 개발범위 및 절차

콘텐츠 개발에 사용된 기기는 Leap Motion과 시각 디스플레이 중심의 기기인 Oculus VR장비를 이용하여 인터렉티브 동작을 수행하며 작업할 수 있도록 개발을 진행하였다.

Table 1 개발환경을 Table 2와 Table 3은 개발에 사용된 Leap Motion Controller 및 Oculus 장비의 HMD사양을 나타내었다.

Table 1. Development environment

Table 2. Leap Motion controller specification

Table 3. HMD specification

Fig. 2와 Fig. 3은 체험자로 하여금 실제와 유사한 환경을 경험할수 있도록 콘텐츠를 개발하기 위해 가상의 손과 반응하는 물체에 대한 물리 처리 및 공정 시나리오에 맞는 이벤트 가상환경을 구축하였다. 구축된 가상공간으로 몰입도를 높이기 위해 불필요한 UI는 최소화였으며, 공정시나리오에 적합한 작업 단계 및 시간 등의 간단한 UI만을 제공하였다. 개발 절차는 Fig. 4와 같으며, 각 단계별 수행 세부내용은 Table 4와 같다.

Fig. 2 Leap Motion Hand Model (VR user point of view)

Fig. 3 Virtual Workspace Area

Fig. 4 Production process

Table 4. Details of each process

4. 개발과정

콘텐츠는 Leap Motion 센서 영역에 손이 감지되면 3D 모형의 손이 화면에 나타나며, 손의 움직임과 동일하게 3D 모형도 같이 동작하도록 개발하였으며, 센서 영역에서 벗어나면 손이 사라지도록 하였다. Table 5에서 Table 10은 개발을 위해 작성된 모듈별 주요 기능 명세이다.

Table 5. Screen Fader

Table 6. Process Manager

Table 7. Creation Event

Table 8. Contact Event

Table 9. Grab Object

Table 10. Grab Hand

5. 1차 개발 테스트 결과

Fig. 5, 6, 7은 1차 개발된 콘텐츠의 단계별 수행 작업을 나타내며, 테스트 결과 다음과 같은 보완이 필요한 것으로 확인되었다.

Fig. 5 [Step 1] Initial State

Fig. 6 [Step 2] Execution Status

Fig. 7 [Step 3] Complete Assembly

5.1 Leap Motion 하드웨어

Leap Motion 자체의 크기 및 적외선 센서의 인식 범위, 인지 거리 등의 한계로 VR과 연동 시 많은 제약이 발생하며, 제약사항은 다음과 같다.

(1) VR 장비 전면에 Leap Motion을 장착하기 때문에 정면에서만 손을 인식할 수 있다는 단점이 있음.

(2) 거리가 멀어질 경우 손가락 마디의 인식률이 현저히 떨어져 손을 쥐고 있어도 손가락 몇 개가 펴진 상태로 보이거나 손목이 접히는 현상 발생함.

(3) 적외선 센서의 특성 때문에 손이 겹치는 경우 뒤에 있는 손을 인식하지 못해 가상의 손이 사라지는 현상이 발생함.

5.2 손과 오브젝트(객체) 연계성

(1) 집는 동작과 잡는 동작이 Leap Motion에서 구분되기 때문에 물건을 집는다와 잡는다를 구분하지 않고 개발한 결과 실제와 같은 집는 동작 구현이 필요함.

(2) 사용자들은 반드시 교육이 필요하며, 실제 VR과 Leap Motion과 같은 반응형 하드웨어를 모르는 사람이 사용할 경우, 물건을 제대로 잡지 못하는 상황이 발생하며 보완이 필요함.

(3) 손과 오브젝트(객체) 간의 물리 효과 적용을 무시하도록 하여 잡고 있던 물체를 놓을 때 물체가 떨어지면서 손에 튕겨나가는 사태가 발생하며, 보완이 필요함.

6. 최적화 결과

Fig. 8, 9, 10은 1차 개발 테스트 결과를 보완하여 최적화된 최종 콘텐츠 운영과정을 시연한 결과이며, 최적화된 항목을 정리하였다.

Fig. 8 [Step 1] Initial State

Fig. 9 [Step 2] Execution Status

Fig. 10 [Step 3]. Complete Assembly

6.1 손과 오브젝트(객체) 연계 최적화

집은 물체에 대해서 주변 물건과 상호작용을 못하도록 하며 주변 물건과 겹쳐 있을 때 다시 원위치로 복귀하도록 수정하였으며, 손과 오브젝트(객체)와의 물리적인 충돌을 무시하도록 개선하여 최적화함.

6.2 오브젝트(객체) 접촉 이벤트 최적화

손으로 집은 물체를 접촉 이벤트와 접촉하기 전에 놓아서 떨어뜨린 경우 이벤트 발생하지 않도록 수정하였다.

즉, 접촉된 상태에서 놓는 동작을 수행했을 때에만 접촉 이벤트가 발생하도록 하였으며, 단, 선행 오브젝트(객체)가 결합되어야만 하는 접촉 이벤트의 경우 이벤트 발생 직후 결합할 수 있도록하여 접촉 이벤트가 발생한 후 접촉한 물체는 제거하도록 수정 및 개선하였다.

6.3 레이아웃 최적화

모든 공정 프로세스가 완료되면 각각의 프로세스별로 끝난 시점의 시간을 표시하고 처음부터 다시하기와 종료 기능을 추가하였다.

6.4 리소스 최적화

미리 완제품 형태로 제작된 오브젝트(객체)를 하나 만들어 놓고 그 안에 들어가는 다른 오브젝트(객체)들은 개별적으로 제작하여 최적화 하였으며, 완제품에는 Trigger 영역을 하나만 잡도록 설계하여 일부 접촉한 오브젝트(객체)들이 들어 좌표를 세팅할 필요가 없도록 최적화 하였다.

7. 결론

본 연구에서는 전자제품 조립과정에서 실제 운영되고 있는 과정들을 고려하여, 립모션을 이용한 전자부품 조립 훈련 시스템을 개발하였다. 시스템은 Leap Motion과 Oculus VR장비를 기반으로, 사용자의 손 움직임 데이터를 실시간으로 전달하여 가상 공간 상의 손 움직임으로 변환하여 전자부품 조립 시뮬레이션 단계적으로 수행할 수 있도록 개발 하였다. 시스템의 특성 상 1차 개발 테스트 결과를 통하여 보완점을 도출하고 최적화하였다. 이를 통해 사용자는 실제 전자부품 조립 작업과 유사한 경험을 얻을 수 있으며, 조립 과정에서 발생할 수 있는 오류를 예방하고, 숙련도를 향상시킬 수 있음을 확인하였다. 본 논문을 통해 가상현실 기반의 제조공정의 다양한 교육훈련 프로그램의 질적향상과 개발에 대한 방향을 제시할 수 있을 것으로 기대된다.