• 로봇학회논문지
• /
• 제12권3호
• /
• pp.313-321
• /
• 2017

One of the most frequently performed tasks in human-robot interaction (HRI), intelligent vehicles, and security systems is face related applications such as face recognition, facial expression recognition, driver state monitoring, and gaze estimation. In these applications, accurate head pose estimation is an important issue. However, conventional methods have been lacking in accuracy, robustness or processing speed in practical use. In this paper, we propose a novel method for estimating head pose with a monocular camera. The proposed algorithm is based on a deep neural network for multi-task learning using a small grayscale image. This network jointly detects multi-view faces and estimates head pose in hard environmental conditions such as illumination change and large pose change. The proposed framework quantitatively and qualitatively outperforms the state-of-the-art method with an average head pose mean error of less than $4.5^{\circ}$ in real-time.

• 로봇학회논문지
• /
• 제13권1호
• /
• pp.38-44
• /
• 2018

In this paper, we propose Intelligent Driver Assistance System (I-DAS) for driver safety. The proposed system recognizes safety and danger status by analyzing blind spots that the driver cannot see because of a large angle of head movement from the front. Most studies use image pre-processing such as face detection for collecting information about the driver's head movement. This not only increases the computational complexity of the system, but also decreases the accuracy of the recognition because the image processing system dose not use the entire image of the driver's upper body while seated on the driver's seat and when the head moves at a large angle from the front. The proposed system uses a convolutional neural network to replace the face detection system and uses the entire image of the driver's upper body. Therefore, high accuracy can be maintained even when the driver performs head movement at a large angle from the frontal gaze position without image pre-processing. Experimental result shows that the proposed system can accurately recognize the dangerous conditions in the blind zone during operation and performs with 95% accuracy of recognition for five drivers.

• 한국정보과학회논문지:소프트웨어및응용
• /
• 제28권12호
• /
• pp.947-954
• /
• 2001

본 논문에서는 인식된 얼굴의 포즈 상태 열에 오토마타 기법을 적용하여 다양한 헤드 제스처 를 인식하는 방법을 제안한다. 얼굴 영역의 추출에는 Yl7외 I성분인 최적의 얼굴색 정보와 적응적인 차영상 정보를 이용하며. 눈 영역 추출에는 소벨 연산자와 투영 기법. 그리고 눈의 기하학적 위치 정보를 이용 한다 얼굴의 상태 인식에는 계층적인 특징분석 방법을 사용하며, 인식된 얼굴 상태 열에 오토마타 기법을 적용하여 13가지 제스처; 준비, 상측, 하측, 좌측, 우측, 전진, 후퇴, 좌 윙크, 우 윙크, 좌 더블 윙크 우 더블 윙크, 긍정, 부정제스처를 인식한다. 총 8명으로부터 1,488 프레임의 영상을 취득하여 실험한 결과, 99.3%의 얼굴 영역 추출률 95.3%, 의 눈 영역 추출률, 94.1% 의 얼굴 상태 인식률. 그리고 93.3%의 헤드제 스처 인식률을 얻었다

• 한국융합학회논문지
• /
• 제11권10호
• /
• pp.207-212
• /
• 2020

본 연구는 소비자의 호기심을 자극하는 성적소구 광고 중에서 특히 주관적으로 해석하기 쉬운 소주광고 이미지를 AOI(area of interest) 3영역(얼굴, 몸매, 제품)으로 설정하여 심리 생리학적 지표 중 하나인 아이트래킹을 통해 검증하였다. 분석결과, 광고모델의 시각적 주의, 즉 관심도가 몸매보다는 얼굴에서 높게 나타났다. 남자가 여자보다 몸매에 관심도가 높을 거라는 예측과는 달리 남녀 모두 몸매보다는 얼굴에 관심도가 높은 것으로 나타났다. 또한, 제품에 대한 재인과 회상은 유의하지 않음을 도출하였다. 본 연구는 성적소구 광고에 대한 남녀 소비자들의 시선의 응시점과 응시시간 등의 시각적 주의의 패턴을 살펴보았다는 점에서 의의를 가지며 소주광고 이미지가 나아가야 할 표현방식과 나아가 적절한 마케팅 방향을 제시함으로써 소주광고 이미지에 긍정적인 영향을 가져다주길 기대한다.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 2007년도 심포지엄 논문집 정보 및 제어부문
• /
• pp.119-120
• /
• 2007

본 논문에서는 실내의 고정된 단일 칼라 카메라에서 획득된 비디오 스트림으로부터 사람의 행동을 인식하기 위한 시스템을 제안한다. 제안된 시스템은 사람의 시공간적 상태 변화와 사람의 시선 방향을 이용하여 규칙기반으로 행동을 인식한다. 사람의 의미 있는 상태변화를 이벤트로, 이벤트의 시퀀스 즉, 사람의 행동을 시나리오로 정의하였다. 따라서 입력비디오 스트림에서 사람의 상태변화로 이벤트를 검출하고, 검출된 이벤트의 시퀀스로 사람의 행동을 인식한다. 사람의 시선은 얼굴과 머리 영역의 색정보를 이용한 시선 방향 추정 방법으로 찾아지며, 사람의 상태 변화는 사람의 위치와 키 등을 이용하여 검출된다. 본 시스템은 실내 환경에서 획득한 비디오에서 실험하였으며, 실험결과 시선 방향에 의해 서로 다른 행동을 구분하여 인식할 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 춘계학술발표대회
• /
• pp.306-309
• /
• 2015

현재 태블릿 PC와 스마트기기의 급속한 보급으로 다양한 분야의 스마트러닝 시스템들이 운영되고 있다. 그러나 현재까지의 스마트러닝 시스템에서는 학습자가 강의를 정확하게 수강하였는지의 판단은 로그인과 동영상강의의 런닝타임으로 체크하여 학습자가 동영상강의를 제대로 수강하였는지는 판단하기 어렵다. 그래서 본 논문에서는 기존 스마트러닝 시스템에 스마트기기의 내장 카메라를 이용한 시선인식기능을 사용하여 학습자가 동영상강의를 수강하는 동안 시선인식이 되지 못하면 동영상이 멈추게 설계하여 강의내용을 끝까지 수강하게 한다. 그리고 각 수강생별로 시선인식이 되지않아 동영상이 멈춘 시간대와 멈춘 시간을 기록하여 강의종료 후 서버에 전송하여 전체 강의시간에 대한 집중도를 체크하며 학습자의 수강여부를 판단하고 같은 강의를 수강하는 여러 학습자들의 자료를 분석하여 교수자가 강의를 개선할 수 있는 스마트러닝 시스템을 설계하려고 한다.

• 감성과학
• /
• 제14권4호
• /
• pp.627-636
• /
• 2011

본 연구는 단순 입력 기반 유니모달 인터랙션의 한계를 극복하고 단순 입력 방식이 아닌 멀티모달 기반 사용자의 행위, 의도, 및 집중도를 활용하여 실감적이고 몰입도를 향상시키는 인터랙션 시스템을 제안하는데 그 목적이 있다. 본 연구의 선행연구에서 기존 문헌연구를 토대로 메타분석방법을 활용하여 인터랙션을 위한 3차원 동작 인식 기술의 정확도를 분석하여 최종적인 센서 기반 인터랙션 방법이 선정되었고, 직관적 제스쳐 인터랙션 요소를 추출하여 본 시스템에 반영하였다. 또한 생리반응을 이용한 집중력 판단 기술을 개발하여 사용자 의도를 판단하는 연구를 진행하였다. 본 연구에서 제안하는 시스템은 3부분으로 나눌 수 있다. 선행연구에서 선정된 인터랙션 요소들을 적용하여 가속도(Accelator) 센서와 연성(Flexible) 센서를 활용하여 손 동작을 인식하는 시스템을 구현하였고, 동공 인터랙션을 통한 안경형 시선 추적기를 구현하여 인터랙션이 가능하게 하였으며, 심혈관 반응과 피부 온열 반응을 측정하여 사용자의 의도를 반영한 시스템을 최종 구현하였다. 실감형 디지털 엔터테인먼트 플랫폼 기술 개발을 위한 기초 연구로서 활용이 가능할 것으로 판단된다.

• 한국인터넷방송통신학회논문지
• /
• 제9권5호
• /
• pp.213-224
• /
• 2009

현재 교통사고의 원인은 차량 결함보다 운전자의 과실에 의한 것이 더 높은 사고 원인으로 나타나고 있다. 이를 해결하기 위하여 운전자의 신체적 상태를 관찰, 분석하여 현재 상태를 추정 및 경고해 줄 수 있는 시스템이 필요하다. 이러한 운전자 상태 추정 시스템을 개발하기 위하여, 본 논문에서는 실시간 비전 시스템을 사용하여 운전자 두 눈동자의 중심점과 크기, 입의 양 끝 모서리 점을 추적하여 얻어진 정보들을 기본적으로 이용한다. 움직임의 추적을 위해 얼굴인식이 필요하며, 인식은 YUV 컬러 공간에서 눈과 입, 얼굴의 색상 정보를 통계학적 방법에 기초하여 설계하고, 얼굴의 기하학적 모델에 의해 이루어진다. 이 시스템을 이용함으로써 운전자의 움직임에 의한 모든 회전 방향을 구분하고, 눈과 입이 차단되는 현상을 차단 모델에 의해 검출할 수 있다. 또한 눈이 감기거나 떠진 상태를 검출하여, 눈의 3차원 시선을 복원한다. 부주의한 운전과 졸음운전을 각각 정의하고 눈동자의 크기 변화 등에 의해 구분하며, 내장형 PC를 기반으로 카메라 시스템, 영상 데이터 처리 장치 및 상태 추정 알고리즘을 구현한 실험 시스템을 구현하여 제안된 신체 상태 추정 방법의 타당성과 성능을 검토한다.

• 한국HCI학회논문지
• /
• 제12권4호
• /
• pp.5-15
• /
• 2017

컴퓨터 대체접근 기기는 지체장애인의 사회활동 참여에 대한 욕구를 충족시킬 수 있는 방법 중의 하나로 정보통신기술의 발달과 함께 그 필요성이 증대되고 있다. 이러한 기기들은 대부분 발, 머리 등을 이용하여 컴퓨터에 접근할 수 있도록 하는데, 지체장애인의 특성상 발, 머리 등을 이용하여 마우스를 컨트롤하는 것은 쉽지 않으며 속도와 정확도면에서 한계가 있다. 본 논문에서는 기존의 대체접근 기기의 한계를 보완한 '지체장애인 컴퓨터 대체접근시스템'을 제안한다. 제안하는 시스템은 아이트래킹 기술을 이용하여 사용자의 시선만으로 마우스를 이동시킬 수 있고 비교적 누르기 쉬운 외부버튼을 통해 마우스 클릭이 가능하며 음성인식을 통해 문자를 쉽고 빠르게 입력할 수 있다. 또한 마우스 우클릭, 더블클릭, 드래그 기능, 화상 키보드 기능, 인터넷 기능, 스크롤 기능 등 세부적인 기능을 제공하여 컴퓨터가 제공하는 대부분의 작업을 수행할 수 있다.

• 제어로봇시스템학회논문지
• /
• 제22권3호
• /
• pp.241-246
• /
• 2016

Nowadays many people have an interest in facial expression and the behavior of people. These are human-robot interaction (HRI) researchers utilize digital image processing, pattern recognition and machine learning for their studies. Facial feature point detector algorithms are very important for face recognition, gaze tracking, expression, and emotion recognition. In this paper, a cascade facial feature point detector is used for finding facial feature points such as the eyes, nose and mouth. However, the detector has difficulty extracting the feature points from several images, because images have different conditions such as size, color, brightness, etc. Therefore, in this paper, we propose an algorithm using a modified cascade facial feature point detector using a convolutional neural network. The structure of the convolution neural network is based on LeNet-5 of Yann LeCun. For input data of the convolutional neural network, outputs from a cascade facial feature point detector that have color and gray images were used. The images were resized to $32{\times}32$. In addition, the gray images were made into the YUV format. The gray and color images are the basis for the convolution neural network. Then, we classified about 1,200 testing images that show subjects. This research found that the proposed method is more accurate than a cascade facial feature point detector, because the algorithm provides modified results from the cascade facial feature point detector.