• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권3호
• /
• pp.199-204
• /
• 2013

본 논문에서는 다양한 정보단말기에 활용될 수 있는 손동작기반의 실시간 숫자 인식기 구현 기법을 제안한다. 제안한 알고리즘은 키넥트 센서를 활용하여 3차원 공간에서 손의 움직임을 획득한다. 획득한 손의 궤적은 잡음과 제스처의 크기 변화에 의한 궤적 변화를 최소화하고 일관성 있는 추적을 유지하기 위해 주성분 분석으로 단순화 된다. 또한, 기울기와 위치정보 특징을 동시에 고려한 새로운 특징 기반 은닉 마르코프 모델을 제시한다. 그 결과 제안한 기법은 손동작의 크기와 움직임 속도에 강인한 실시간 인식기를 구현하였다. 실험을 통하여 기존의 기울기 정보만을 사용하였을 때 보다 30% 이상의 높은 인식률을 보였으며, 98%의 높은 숫자 인식률을 나타내었다.

• 한국산학기술학회논문지
• /
• 제15권9호
• /
• pp.5440-5445
• /
• 2014

사람의 생체 신호를 측정하여 로봇 제어에 이용하는 연구는 최근까지 활발히 진행되고 있다. 하지만 정확한 센서 정보를 위한 복잡한 신호 처리가 필요하고 고가의 시스템을 필요로 하는 단점이 있다. 본 논문에서는 저가의 EMG 센서와 Flex 센서로부터 측정된 신호를 이용하여 사람의 손 동작을 인식한 후 해당 움직임을 원격지의 로봇 핸드로 구현하는 것을 목표로 한다. MCU(Micro Controller Unit) 와 해당 센서들을 이용하여 실험적으로 사람의 손과 팔 부근의 3개의 센서 부착 위치를 결정하고 움직임에 따른 출력 신호와 실제 동작 사이의 구분 방법을 결정한다. 동작 인식 정확도를 높이기 위해 MCU의 아날로그 기준 전압에 따른 디지털 값 변화 실험 수행 후 기준 전압을 3.3V로 선정하였다. 손 동작을 구현하기 위해 4개의 손가락과 손목부분으로 구성된 링크 구조의 로봇 핸드를 설계한 후 제작하였다. 결과적으로 간단한 센서와 저가의 MCU를 활용하여 원격지의 로봇 핸드를 제어할 수 있음을 보였다.

• 문화기술의 융합
• /
• 제10권3호
• /
• pp.801-807
• /
• 2024

선형 로봇은 자동화 시스템에서 부품의 이송이나 위치 결정에 널리 사용되며 보통 높은 정밀도가 요구된다. 선형 로봇을 응용한 시스템의 제작회사에서는 로봇의 이상 유무를 작업자가 판단하는데, 작업자의 숙련도에 따라 이상 상태를 판단하는 정확도가 달라진다. 최근에는 인공지능 등의 기술을 사용하여 로봇 스스로 이상을 검출하는 방법에 관한 연구가 진행되고 있다. 본 논문에서는 전이 학습을 이용하여 선형 로봇의 볼 스크류 정렬 이상과 선형 레일 정렬 이상을 검출하는 시스템을 제안하고 가속도 센서와 토크 센서 정보를 이용한 별개의 실험을 통해 제안한 시스템의 이상 검출 성능을 검증 및 비교한다. 센서로부터 얻어진 신호를 스펙트로그램 이미지로 변환한 후, 영상 인식 인공지능 분류기를 사용하여 이상의 종류를 진단하였다. 제안한 방법은 선형 로봇뿐만 아니라 일반적인 산업용 로봇에도 적용할 수 있을 것으로 기대한다.

• 대한임베디드공학회논문지
• /
• 제15권1호
• /
• pp.35-42
• /
• 2020

In this paper, we propose a method to keep the robot at a distance of 30 to 45cm from the user in consideration of each individual's minimum area and inconvenience by using a 2D LiDAR sensor LDS-01 as the secondary sensor along with a QR code. First, the robot determines the brightness of the video and the presence of a QR code. If the light is bright and there is a QR code due to human's presence, the range of the 2D LiDAR sensor is set based on the position of the QR code in the captured image to find and follow the correct target. On the other hand, when the robot does not recognize the QR code due to the low light, the target is followed using a database that stores obstacles and human actions made before the experiment using only the 2D LiDAR sensor. As a result, our robot can follow the target person in four situations based on nine locations with seven types of motion.

• International Journal of Fuzzy Logic and Intelligent Systems
• /
• 제16권2호
• /
• pp.131-139
• /
• 2016

Recognition of human motions has become a main area of computer vision due to its potential human-computer interface (HCI) and surveillance. Among those existing recognition techniques for human motions, head detection and tracking is basis for all human motion recognitions. Various approaches have been tried to detect and trace the position of human head in two-dimensional (2D) images precisely. However, it is still a challenging problem because the human appearance is too changeable by pose, and images are affected by illumination change. To enhance the performance of head detection and tracking, the real-time three-dimensional (3D) data acquisition sensors such as time-of-flight and Kinect depth sensor are recently used. In this paper, we propose an effective feature extraction method, called adaptive local binary pattern (ALBP), for depth image based applications. Contrasting to well-known conventional local binary pattern (LBP), the proposed ALBP cannot only extract shape information without texture in depth images, but also is invariant distance change in range images. We apply the proposed ALBP for head detection and tracking in depth images to show its effectiveness and its usefulness.

• 한국CDE학회논문집
• /
• 제18권4호
• /
• pp.290-298
• /
• 2013

A walking navigation system (usually known as a locomotion interface) is an interactive platform which gives simulated walking sensation to users using sensed bipedal motion signals. This enables us to perform navigation tasks using only bipedal movement. Especially, it is useful for the certain VR task which emphasizes on physical human movement, or accompanies understanding of the size and complexity of building structures. In this work, we described system components of VR walking system and investigated several types of walking platform by literature survey. We adopted a MS Kinect depth sensor for the motion recognition and a treadmill which includes directional turning mechanism for the walking platform. Through the integration of these components with a VR navigation scenario, we developed a simple VR walking navigation system. Finally several technical issues were found during development process, and further research directions were suggested for the system improvement.

• 한국멀티미디어학회논문지
• /
• 제24권3호
• /
• pp.355-372
• /
• 2021

Recently, high-performance HMDs (Head-Mounted Display) are becoming wireless due to the growth of virtual reality technology. Accordingly, environmental constraints on the hardware usage are reduced, enabling multiple users to experience virtual reality within a single space simultaneously. Existing multi-user virtual reality platforms use the user's location tracking and motion sensing technology based on vision sensors and active markers. However, there is a decrease in immersion due to the problem of overlapping markers or frequent matching errors due to the reflected light. Goal of this study is to develop a multi-user virtual reality moving platform in a single space that can resolve sensing errors and user immersion decrease. In order to achieve this goal hybrid sensing technology was developed, which is the convergence of vision sensor technology for position tracking, IMU (Inertial Measurement Unit) sensor motion capture technology and gesture recognition technology based on smart gloves. In addition, integrated safety operation system was developed which does not decrease the immersion but ensures the safety of the users and supports multimodal feedback. A 6 m×6 m×2.4 m test bed was configured to verify the effectiveness of the multi-user virtual reality moving platform for four users.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제8권2호
• /
• pp.483-503
• /
• 2014

In this paper, human action recognition using pyramid histograms of oriented gradients and collaborative multi-task learning is proposed. First, we accumulate global activities and construct motion history image (MHI) for both RGB and depth channels respectively to encode the dynamics of one action in different modalities, and then different action descriptors are extracted from depth and RGB MHI to represent global textual and structural characteristics of these actions. Specially, average value in hierarchical block, GIST and pyramid histograms of oriented gradients descriptors are employed to represent human motion. To demonstrate the superiority of the proposed method, we evaluate them by KNN, SVM with linear and RBF kernels, SRC and CRC models on DHA dataset, the well-known dataset for human action recognition. Large scale experimental results show our descriptors are robust, stable and efficient, and outperform the state-of-the-art methods. In addition, we investigate the performance of our descriptors further by combining these descriptors on DHA dataset, and observe that the performances of combined descriptors are much better than just using only sole descriptor. With multimodal features, we also propose a collaborative multi-task learning method for model learning and inference based on transfer learning theory. The main contributions lie in four aspects: 1) the proposed encoding the scheme can filter the stationary part of human body and reduce noise interference; 2) different kind of features and models are assessed, and the neighbor gradients information and pyramid layers are very helpful for representing these actions; 3) The proposed model can fuse the features from different modalities regardless of the sensor types, the ranges of the value, and the dimensions of different features; 4) The latent common knowledge among different modalities can be discovered by transfer learning to boost the performance.

• 한국지능시스템학회논문지
• /
• 제15권2호
• /
• pp.173-178
• /
• 2005

본 논문은 보다 편리한 가정 생활환경 구축을 목적으로 한 가상대화시스템 구현에 관한 연구이다. 이를 실현하기 위하여 본 논문은 음성인식, 음성합성, 비디오 신호 및 센서신호처리 등의 멀티미디어 신호처리에 그 기술적 기반을 두고 있다. 대화시스템의 중요한 모듈로서의 음성합성기, HM-Net(Hidden Markov Network)에 기반한 실시간 음성인식기, 픽셀의 밝기차를 이용한 실시간 움직임 검출 및 터치센서 등을 대화시스템에 통합함으로써 이루어진다. 실제 구동 실험에서 주위 노이즈 환경의 영향으로 시뮬레이션 결과보다는 성능이 떨어지나, 소파에 앉아있는 동안 자동되는 시스템의 실험 평가에서 가전제품 능의 컨트롤이 비교적 사용하기 쉬웠다는 결과를 얻었다.

• 센서학회지
• /
• 제13권3호
• /
• pp.188-194
• /
• 2004

With a remarkable advance in CMOS (complimentary metal-oxide-semiconductor) process technology, a variety of vision sensors with signal processing circuits for complicated functions are actively being developed. Especially, as the principles of signal processing in human retina have been revealed, a series of vision chips imitating human retina have been reported. Human retina is able to detect the edge and motion of an object effectively. The edge detection among the several functions of the retina is accomplished by the cells called photoreceptor, horizontal cell and bipolar cell. We designed a CMOS vision chip by modeling cells of the retina as hardwares involved in edge and motion detection. The designed vision chip was fabricated using $0.6{\mu}m$ CMOS process and the characteristics were measured. Having reliable output characteristics, this chip can be used at the input stage for many applications, like targe tracking system, fingerprint recognition system, human-friendly robot system and etc.