• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.232-234
• /
• 2021

최근 휴먼-컴퓨터 인터페이스, 가상현식, 증강현실, 지능형 자동차등에서 얼굴표정 인식에 대한 연구가 활발히 진행되고 있다. 얼굴표정인식 연구는 대부분 맨얼굴을 대상으로 하고 있지만 최근 코로나-19로 인해 마스크 착용한 사람들이 많아지면서, 마스크를 착용했을 때의 표정인식에 대한 필요성이 증가하고 있다. 본 논문은 마스크를 착용했을 때에도 실시간으로 표정 분류가 가능한 시스템개발을 목표로 구동에 필요한 알고리즘을 조사했고, 그 중 Tiny-YOLOv3와 ResNet50 알고리즘을 이용하기로 했다. 얼굴과 표정 데이터셋 등에서 모은 이미지 데이터를 사용하여 실행해 보고 그 적절성 및 성능에 대해 평가해 보았다.

• The Journal of the Korea institute of electronic communication sciences
• /
• 제18권6호
• /
• pp.1321-1330
• /
• 2023

This study attempts to address the problem of 3D pose estimation for multiple human objects through a single image generated during the character development process that can be used in augmented reality. In the existing top-down method, all objects in the image are first detected, and then each is reconstructed independently. The problem is that inconsistent results may occur due to overlap or depth order mismatch between the reconstructed objects. The goal of this study is to solve these problems and develop a single network that provides consistent 3D reconstruction of all humans in a scene. Integrating a human body model based on the SMPL parametric system into a top-down framework became an important choice. Through this, two types of collision loss based on distance field and loss that considers depth order were introduced. The first loss prevents overlap between reconstructed people, and the second loss adjusts the depth ordering of people to render occlusion inference and annotated instance segmentation consistently. This method allows depth information to be provided to the network without explicit 3D annotation of the image. Experimental results show that this study's methodology performs better than existing methods on standard 3D pose benchmarks, and the proposed losses enable more consistent reconstruction from natural images.

• Journal of Digital Contents Society
• /
• 제19권3호
• /
• pp.561-567
• /
• 2018

In this paper, we apply this method to the entire process of smart disaster safety management based on the $4^{th}$ industrial revolution to minimize human, social, economic and environment damage from accidents and disasters, prevention evaluation and disaster information collection analysis and real-time detection of field situation. Prevention of $5^{th}$ generation communication system by analysis, contrast by education and training using virtual reality and augmented reality disaster safety management decision support system intelligent robot for recovery, disaster, discovery, reconnaissance relief, and scale analysis of damages were proposed.

• Proceedings of the Korea Information Processing Society Conference
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.1137-1140
• /
• 2019

가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR) 분야에 유용한 인간 컴퓨터 인터페이스 기술은 필수적이다. 특히 휴먼 손동작 인식 기술은 직관적인 상호작용을 가능하게 하여, 다양한 분야에서 편리한 컨트롤러로 사용할 수 있다. 본 연구에서는 뎁스 영상 기반의 1 인칭 시점 손동작 인식을 위하여 손동작 데이터베이스 생성 시스템을 구축하여, 손동작 인식기 학습에 필요한 1 인칭(Egocentric View Point) 데이터베이스를 촬영하여 제작한다. 그리고 모바일 Head Mounted Device(HMD) VR 을 위한 뎁스 영상 기반 1 인칭 시점 손동작 인식(Hand Pose Recognition, HPR) 딥러닝 Deep Residual Network 를 구현한다. 최종적으로, 안드로이드 모바일 디바이스에 학습된 Residual Network Regressor 를 이식하고 모바일 VR 에 실시간 손동작 인식 시스템을 구동하여, 모바일 VR 상 실시간 3D 손동작 인식을 가상 물체와의 상호작용을 통하여 확인 한다.