• 전자공학회논문지
• /
• 제50권6호
• /
• pp.201-211
• /
• 2013

본 논문에서는 손 추적과 제스처 인식 시스템을 제안한다. 제안한 시스템은 사용자 손의 3차원 기하학적 정보를 취득하기 위해 별도의 장비를 사용한다. 특히, 기존의 물체 검출 및 추적 시스템들에서 제기 되었던 추적 과정에서의 문제점을 피하기 위해 능동적인 타원체 영역을 만들고 손 추적을 위한 영역을 타원체 영역의 안으로 제한했다. 제안된 시스템은 미리 정의된 기간 동안에 손 위치의 이동평균을 계산한다. 그리고 추적영역은 3차원 공간에 편성된 공분산에 기반한 사용자 손 움직임의 불확실성을 추정하여 통계적인 데이터에 따라 능동적으로 제어하였다. 또한 손 위치가 획득되었을 때, 손 제스처를 인식하기 위해 펼쳐진 손가락을 검출한다. 사용자 인터페이스 체제 기반의 시스템을 구현하여 복잡한 환경에서 다중의 대상들이 동시에 존재하는 경우이거나 일시적인 가려짐이 발생하는 경우에도 정확성을 보여 매우 안정적으로 동작할 수 있음을 보여주며, 약 24-30fps의 프레임 비율로 사용할 수 있는 가능성을 보여주었다.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제36권6호
• /
• pp.471-478
• /
• 2009

최근 다양한 3차원 콘텐츠 및 응용 프로그램의 개발되고, 컴퓨터 사용자 계층이 다양화됨으로 인하여 인터페이스에 대한 연구가 활발히 진행되고 있다. 본 연구는 사용자가 손을 이용하여 윈도우를 효율적으로 제어할 수 있도록 하는 것을 목적으로 한다. 기존 인터페이스에 관한 연구들은 고가의 장비를 사용하거나 복잡한 제스처 인식, 또는 부가적인 도구인 마커 등을 사용하는 문제가 있다. 이러한 단점을 개선하기 위하여 새로운 시각적 비접촉 인터페이스를 제안한다. 손을 사용하여 윈도우를 제어하기 위하여 HSV 색상공간을 이용하여 손 영역을 검출한다. 그리고 거리변환 행렬과 손 외곽선의 곡률을 이용하여 손의 중심과 손가락의 위치를 파악한다. 손의 중심과 손가락 위치를 이용하여 본 논문에서 제안하는 7가지의 제어 동작 중 사용자가 의도하는 동작을 파악하여 인터페이스로써 활용한다. 제안하는 인터페이스는 스테레오 카메라를 사용함으로써 사유자가 3차원 공간에서 거리감을 가지고 제어할 수 있도록 하였다. 그리고 간단한 손동작으로 제어하고자 하는 객체를 시각적으로 접촉할 수 있도록 함으로써 직관적인 제어가 가능하도록 하였다. 마지막으로 제안하는 인터페이스를 활용한 응용을 통해서 효율성을 확인한다.

• 한국지능시스템학회논문지
• /
• 제19권1호
• /
• pp.54-61
• /
• 2009

본 논문에서는 비전 패턴인식 알고리즘인 시공간적 계층 메모리 학습 알고리즘을 이용한 새로운 근전도 패턴인식 방법을 제시한다. 효율적인 근전도 신호의 학습과 분류를 위하여 단순화된 2 레벨의 공간적 집합, 시간적 집합, 그리고 관리 맵퍼를 이용한 수정된 시공간적 계층 메모리 학습 알고리즘을 제안한다. 인식 성능을 향상시키기 위해서 관리 맵퍼 학습뿐만 아니라 시간적 집합 학습에도 카테고리 정보를 사용한다. 실험을 통하여 열 가지 손동작이 성공적으로 인식됨을 검증한다.

• 로봇학회논문지
• /
• 제14권3호
• /
• pp.228-235
• /
• 2019

This paper presents a multiple DoFs (degrees-of-freedom) prosthetic forearm and sEMG (surface electromyogram) pattern recognition and motion intent classification of forearm amputee. The developed prosthetic forearm has 9 DoFs hand and single-DoF wrist, and the socket is designed considering wearability. In addition, the pattern recognition based on sEMG is proposed for prosthetic control. Several experiments were conducted to substantiate the performance of the prosthetic forearm. First, the developed prosthetic forearm could perform various motions required for activity of daily living of forearm amputee. It was able to control according to shape and size of the object. Additionally, the amputee was able to perform 'tying up shoe' using the prosthetic forearm. Secondly, pattern recognition and classification experiments using the sEMG signals were performed to find out whether it could classify the motions according to the user's intents. For this purpose, sEMG signals were applied to the multilayer perceptron (MLP) for training and testing. As a result, overall classification accuracy arrived at 99.6% for all participants, and all the postures showed more than 97% accuracy.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권6호
• /
• pp.1981-1995
• /
• 2021

When a person tries to conceal emotions, real emotions will manifest themselves in the form of micro-expressions. Research on facial micro-expression recognition is still extremely challenging in the field of pattern recognition. This is because it is difficult to implement the best feature extraction method to cope with micro-expressions with small changes and short duration. Most methods are based on hand-crafted features to extract subtle facial movements. In this study, we introduce a method that incorporates optical flow and deep learning. First, we take out the onset frame and the apex frame from each video sequence. Then, the motion features between these two frames are extracted using the optical flow method. Finally, the features are inputted into an improved MobileNetV2 model, where SVM is applied to classify expressions. In order to evaluate the effectiveness of the method, we conduct experiments on the public spontaneous micro-expression database CASME II. Under the condition of applying the leave-one-subject-out cross-validation method, the recognition accuracy rate reaches 53.01%, and the F-score reaches 0.5231. The results show that the proposed method can significantly improve the micro-expression recognition performance.

• 대한임베디드공학회논문지
• /
• 제16권5호
• /
• pp.163-169
• /
• 2021

In this paper, we implemented a deep learning-based automatic object tracking and handy motion control drone system and analyzed the performance of the proposed system. The drone system automatically detects and tracks targets by analyzing images obtained from the drone's camera using deep learning algorithms, consisting of the YOLO, the MobileNet, and the deepSORT. Such deep learning-based detection and tracking algorithms have both higher target detection accuracy and processing speed than the conventional color-based algorithm, the CAMShift. In addition, in order to facilitate the drone control by hand from the ground control station, we classified handy motions and generated flight control commands through motion recognition using the YOLO algorithm. It was confirmed that such a deep learning-based target tracking and drone handy motion control system stably track the target and can easily control the drone.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제5권10호
• /
• pp.331-338
• /
• 2016

본 논문에서는 모션 센서를 이용한 군대 수신호 전송 시스템을 제안한다. 제안 시스템은 분대장 디바이스와 분대원 디바이스, 서버로 구성된다. 분대장 디바이스와 분대원 디바이스는 마이크로 아두이노와 가속도 센서, 자이로스코프 센서로 구현되었으며, 서버는 라즈베리파이3을 사용하여 구현되었다. 분대장 디바이스와 분대원 디바이스는 밴드 형태로 제작되었기 때문에 가볍고 휴대성이 좋다. 또한, 제안 시스템은 시야가 확보되지 않는 상황에서 진동을 통해 수신호를 전송할 수 있다. 제안 시스템에서 구현된 디바이스는 4가지의 수신호를 인식할 수 있으며, 실험을 통해 88.82%의 인식 성공률을 보였다. 본 연구의 결과물을 통해 군 작전의 효율성과 병사의 생존율을 높일 것을 기대한다.

• 한국산학기술학회논문지
• /
• 제21권7호
• /
• pp.685-691
• /
• 2020

본 논문에서는 77GHz를 사용하는 밀리미터파 레이더 센서의 반향 신호를 이용하여 손동작의 움직임을 추적한 후 얻어진 데이터로 0부터 9까지의 숫자들을 인식하는 알고리즘을 개발하였다. 손동작을 감지하여 레이더 센서로부터 얻어진 반향 신호들은 산란 단면적의 차이 등에 의해 불규칙한 점들의 군집형태를 보인다. 이들로부터 유효한 중심점을 얻기 위해 3차원 좌푯값들을 이용해 K-Means 알고리즘을 적용하였다. 그리고 얻어진 중심점들을 연결하여 숫자 형태의 이미지를 생성하였다. 얻어진 이미지와 스무딩 기법을 적용해 사람의 손글씨 형태와 유사하게 만든 이미지를 MNIST(Modified National Institute of Standards and Technology database)로 훈련된 CNN(Convolutional Neural Network) 모델에 입력하여 인식률을 비교하였다. 실험은 두 가지 방법으로 진행되었다. 먼저 스무딩 기법을 적용한 이미지와 적용하지 않은 이미지를 사용한 인식 실험에서는 각각 평균 77.0%와 81.0%의 인식률을 얻었다. 그리고 학습데이터를 확장(augmentation)한 CNN 모델의 실험에서는 스무딩 기법을 적용한 이미지와 적용하지 않은 이미지를 사용한 인식 실험에서 각각 평균 97.5%와 평균 99.0%의 인식률을 얻었다. 본 연구는 레이더 센서를 이용한 다양한 비접촉 인식기술에 응용이 가능할 것으로 판단된다.

• 만화애니메이션 연구
• /
• 통권37호
• /
• pp.221-245
• /
• 2014

1995년 세계 최초의 극장용 3D 컴퓨터 애니메이션 영화 "토이 스토리"의 흥행성공은 3D 컴퓨터 애니메이션의 산업적 발전에 큰 도약을 할 수 있는 계기를 만들었다. 이에 영향을 받아 TV용 3D 애니메이션 작품들이 다양하게 제작되었으며 게임 분야에서도 고화질의 3D 컴퓨터 애니메이션 게임들이 보편화되었다. 이와 같이 산업적 수요가 확대됨에 따라 막대한 제작 시간 및 비용 절감을 위한 기술적 발달이 활발하게 진행되어왔다. 이에 따라 전통적인 그림 애니메이션 제작 방식에 비하여 3D 컴퓨터 애니메이션의 제작 효율성은 비교를 할 수 없을 정도로 발전되어왔다. 본 논문에서는 3D 컴퓨터 애니메이션 제작의 효율성 제고를 위하여 얼굴 표정 애니메이션 마커리스(Markless 이하: 마커리스) 모션캡처 시스템들을 실험 및 비교분석하였다. 이미지 메트릭스(Image Metrics)사 제품인 페이스웨어(Faceware) 시스템은 모션캡처 인식 및 적용 과정의 복잡성은 있지만 정교함 측면에서 장점이 있으며, 페이스쉬프트(Faceshift)사 제품인 페이스쉬프트(Faceshift) 시스템은 실시간 모션 인식 및 적용의 신속성이 장점인 반면 정교함이 상대적으로 떨어진다는 결과를 도출하였다. 본 논문의 비교 분석 결과가 애니메이션 제작을 제작 할 때, 제작 시간 및 비용, 결과물의 정교함 정도 및 활용 매체에 따라 가장 효율적인 얼굴 표정 애니메이션 제작을 위한 모션캡처 및 키 프레임 애니메이션 제작 방식의 선택에 기초 자료가 되기를 기대한다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2009년도 학술대회
• /
• pp.21-26
• /
• 2009

유비쿼터스 컴퓨팅 환경의 급속한 발전은 Multi-Sensor를 이용하여 자동으로 사용자의 행동인식을 가능한 환경을 만들어주었다. 따라서 이 논문에서는 사용자가 일상생활을 하는데 있어서 기본적으로 필요한 행동인 ADL(activities of daily living)의 수행능력을 분석하고 진단할 수 있는 Multi-Sensor기반의 ADL 자동 진단 시스템을 구축하였다. 두 개의 가속도 센서를 허벅지와 손목에 부착하여 사용자의 행동 정보를 수집하고 이를 Decision-Tree를 통하여 분석하여 사용자의 행동 정보를 수집하였다. 또한 Zigbee 센서를 이용하여 개별 물체의 Object ID를 이용하여 사용자의 위치정보와 주변의 물체의 정보를 수집하여 사용자의 상태 정보를 수집하였다. 이렇게 수집된 행동 정보와 상태 정보들을 통하여 일상생활에 필요한 약 20여 가지의 행동을 인식하였고 평균적으로 96%이상의 정확도를 나타내었으며 이를 통하여 ADL 지수를 자동으로 측정하였다.