• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.23 no.3
• /
• pp.145-151
• /
• 2023

3D-CNN is one of the deep learning techniques for learning time series data. Such three-dimensional learning can generate many parameters, so that high-performance machine learning is required or can have a large impact on the learning rate. When learning dynamic hand-gestures in spatiotemporal domain, it is necessary for the improvement of the efficiency of dynamic hand-gesture learning with 3D-CNN to find the optimal conditions of input video data by analyzing the learning accuracy according to the spatiotemporal change of input video data without structural change of the 3D-CNN model. First, the time ratio between dynamic hand-gesture actions is adjusted by setting the learning interval of image frames in the dynamic hand-gesture video data. Second, through 2D cross-correlation analysis between classes, similarity between image frames of input video data is measured and normalized to obtain an average value between frames and analyze learning accuracy. Based on this analysis, this work proposed two methods to effectively select input video data for 3D-CNN deep learning of dynamic hand-gestures. Experimental results showed that the learning interval of image data frames and the similarity of image frames between classes can affect the accuracy of the learning model.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2003.11a
• /
• pp.601-604
• /
• 2003

본 논문은 프로젝션 화면에서 사용자와 컴퓨터간의 상호작용을 위한 인터페이스인 리바이저를 제안한다. 리바이저는 프로젝션 화면에서 사용자의 손 제스처로 문서교정 부호를 인식하여 전자문서를 교정하는 인터페이스 시스템이다. 프로젝션 화면에서 이러한 제스처를 인식하려면 두 가지 문제가 있다. 하나는 다양한 빛의 변화와 복잡한 배경을 가지는 프로젝션 화면에서 전방물체를 검출하는 것이고, 다른 하나는 사용자의 연속적인 움직임에서 사용자의 의도를 알아내는 것이다. 전방물체를 검출하기 위해 프로젝터로 입력되는 영상과 카메라에 의해 캡쳐된 영상 사이의 색상정보를 사용한다. 이 색상정보는 다양한 빛의 변화와 복잡한 배경에서 전방물체를 구별할 수 있게 한다. 연속된 제스처를 인식하기 위해 적출과 인식이 포함된 새로운 제스처 적출방법을 제안한다. 실험결과 제안된 시스템에서 의미없는 움직임이 포함된 제스처 시퀀스에서 사용자 제스처의 인식률은 평균 93.22%로 만족할만한 결과를 보였다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.20 no.6
• /
• pp.115-121
• /
• 2020

With the spread of IoT technology, various IoT applications using facial recognition are emerging. This paper describes the design and implementation of a remote control system using deep learning-based face recognition and hand gesture recognition. In general, an application system using face recognition consists of a part that takes an image in real time from a camera, a part that recognizes a face from the image, and a part that utilizes the recognized result. Raspberry PI, a single board computer that can be mounted anywhere, has been used to shoot images in real time, and face recognition software has been developed using tensorflow's FaceNet model for server computers and hand gesture recognition software using OpenCV. We classified users into three groups: Known users, Danger users, and Unknown users, and designed and implemented an application that opens automatic door locks only for Known users who have passed both face recognition and hand gestures.

• The KIPS Transactions:PartB
• /
• v.11B no.4
• /
• pp.527-536
• /
• 2004

TheReviser is a digital document revision application on a projection display, which allows us to interact a digital document with the same gestures used for paper documents revision. To enable these interactions, TheReviser should detect foreground objects such as hands or pens on a projection display, and should spot and recognize gesture commands from continuous movements of a user. To detect foreground objects from a complex background in various lighting conditions, we perform geometry and color calibration between a captured image and a frame buffer image. TheReviser uses an HMM-based gesture recognition method Experimental results show that the proposed application recognizes user's gestures on average 93.22% in test gesture sequences.

• Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology
• /
• v.7 no.6
• /
• pp.839-849
• /
• 2017

Recently, the role of the kitchen has evolved from the space for previous survival to the space that shows the present life and culture. Along with these changes, the use of IoT technology is spreading. As a result, the development and diffusion of new smart devices in the kitchen is being achieved. The user experience for using these smart devices is also becoming important. For a natural interaction between a user and a computer, better interactions can be expected based on context awareness. This paper examines the Natural User Interface (NUI) that does not touch the device based on the user interface (UI) of the smart device used in the kitchen. In this method, we use the image processing technology to recognize the user's hand gesture using the camera attached to the device and apply the recognized hand shape to the interface. The gestures used in this study are proposed to gesture according to the user's context and situation, and 5 kinds of gestures are classified and used in the interface.

• Proceedings of the Korea Institute of Convergence Signal Processing
• /
• 2005.11a
• /
• pp.233-237
• /
• 2005

수화의 인식 및 표현 기술에 대한 관련 연구는 수화 인식을 통한 건청인과의 의사 전달, 가상현실에서의 손동작 인식 등을 대상으로 여러 방면으로의 접근 및 연구 결과를 도출하고 있다. 그러나 이들 연구의 대부분 데스크탑 PC기반의 수신호(Hand signal) 제어 및 수화 - 손 동작 인식에 목적을 두었고 수화 신호의 획득을 위하여 영상장비를 이용하였으며 이를 바탕으로 단어 위주의 수화 인식 및 표현에 중점을 둔 수화 인식 시스템의 구현을 통해 비장애인과의 자유로운 의사소통을 추구하고 있다. 따라서 본 논문에서는 햅틱 장치로부터 사용자의 의미있는 수화 제스처를 획득하기 위한 접근 방식을 차세대 착용형 PC 플랫폼 기반의 유비쿼터스 환경으로 확대, 적용시켜 제스처 데이터 입력 모듈로부터 새로운 정보의 획득에 있어 한계성을 극복하고 사용자의 편의를 도모할 수 있는 효율적인 데이터 획득 방안을 제시한다. 또한 퍼지 알고리즘 및 RDBMS 모듈을 이용하여 언제, 어디에서나 사용자의 의미 있는 문장형 수화 제스처를 실시간으로 인식하고 표현하는 수화 제스처 인식기를 구현하였다. 본 논문에서는 수화 제스처 입력 모듈(5th Data Glove System과 $Fastrak{\circledR}$)과 차세대 착용형 PC 플랫폼(embedded I.MX21 board)간의 이격거리를 반경 10M의 타원 형태로 구성하고 규정된 위치로 수화 제스처 데이터 입력모듈을 이동시키면서 5인의 피실험자에 대하여 연속적으로 20회의 반복 실험을 수행하였으며 사용자의 동적 제스처 인식 실험결과 92.2% 평균 인식률을 도출하였다.

• Design Convergence Study
• /
• v.16 no.5
• /
• pp.177-190
• /
• 2017

This research aims to suggest a multimodal non-touch gesture interface design to improve the usability of 3D sculpting task. The task and procedure of design sculpting of users were analyzed across multiple circumstances from the physical sculpting to computer software. The optimal body posture, design process, work environment, gesture-task relationship, the combination of natural hand gesture and arm movement of designers were defined. The preliminary non-touch 3D S/W were also observed and natural gesture interaction, visual metaphor of UI and affordance for behavior guide were also designed. The prototype of gesture based 3D sculpting system were developed for validation of intuitiveness and learnability in comparison to the current S/W. The suggested gestures were proved with higher performance as a result in terms of understandability, memorability and error rate. Result of the research showed that the gesture interface design for productivity system should reflect the natural experience of users in previous work domain and provide appropriate visual - behavioral metaphor.

• Journal of the Korea Computer Graphics Society
• /
• v.25 no.2
• /
• pp.31-41
• /
• 2019

Extended Reality (XR), such as virtual and augmented reality, has huge potential for immersive data visualization and analysis. In XR, users can interact with data and other users realistically by navigating the shared virtual space, allowing for more intuitive data analysis. However, creating a visualization in XR also poses a challenge because complicated, low-level programming is required, which hinders broad adaptation in visual analytics. This paper proposes an interactive visualization authoring tool based on hand gesture for immersive data visualization-Gadget Arms. The proposed system provides a novel user interaction to create and place visualization in the 3D virtual world. This simple, but intuitive, user interaction enables user designs the entire visualization space in the XR without using a host computer and low-level programming. Our user study also confirmed that the proposed user interaction significantly improves the usability of the visualization authoring tool.

• Proceedings of the IEEK Conference
• /
• 2008.06a
• /
• pp.719-720
• /
• 2008

마우스나 키보드를 벗어나 직관적인 손을 이용하는 테이블 탑 디스플레이는 대부분 Touch 정보를 이용한다. 직접적인 터치에 손 형상 및 제스처를 이용할 수 있다면 보다 자유롭게 시스템을 컨트롤 할 수 있을 것이다. 본 논문에서는 테이블 탑 디스플레이에서의 손형상 인식을 기술한다.

• Information and Communications Magazine
• /
• v.25 no.4
• /
• pp.11-15
• /
• 2008

제스처 인식은 로봇의 활용에 유용한 기능이지만 많은 계산 량이 요구되므로 보급형 u-로봇에는 탑재되기 어려운 단점이 있다. 따라서 u-로봇에서 일차적인 영상처리를 수행하고, 핵심 데이터만 u-로봇서버에 전송하여 다양한 응용을 수행하는 분산시스템을 구성할 필요가 있다. 본 연구에서는 스테레오 영상칩을 탑재한 ASIC과 임베디드 시스템을 활용하여 사용자의 상체 자세를 검출할 수 있는 알고리즘을 개발하고 성능을 검증하였다. 개발된 시스템은 사용자의 다양한 상체자세를 최대 30fps까지 실시간으로 검출할 수 있으며 80%전후의 검출률과 10cm전후의 손과 팔꿈치의 위치오차를 보였다.