• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제15권6호
• /
• pp.1981-1995
• /
• 2021

When a person tries to conceal emotions, real emotions will manifest themselves in the form of micro-expressions. Research on facial micro-expression recognition is still extremely challenging in the field of pattern recognition. This is because it is difficult to implement the best feature extraction method to cope with micro-expressions with small changes and short duration. Most methods are based on hand-crafted features to extract subtle facial movements. In this study, we introduce a method that incorporates optical flow and deep learning. First, we take out the onset frame and the apex frame from each video sequence. Then, the motion features between these two frames are extracted using the optical flow method. Finally, the features are inputted into an improved MobileNetV2 model, where SVM is applied to classify expressions. In order to evaluate the effectiveness of the method, we conduct experiments on the public spontaneous micro-expression database CASME II. Under the condition of applying the leave-one-subject-out cross-validation method, the recognition accuracy rate reaches 53.01%, and the F-score reaches 0.5231. The results show that the proposed method can significantly improve the micro-expression recognition performance.

• 대한치과교정학회지
• /
• 제52권6호
• /
• pp.451-460
• /
• 2022

Moebius syndrome (MBS) is a congenital neurologic disorder that causes cranio-facial abnormalities. It involves paralysis of the VI and VII cranial nerves and causes bilateral or unilateral facial paralysis, eye movement disorder, and deformation of the upper and lower limbs. The orofacial dysfunctions include microstomia, micrognathia, hypotonic mimetic and lip muscles, dental enamel hypoplasia, tongue deformity, open bite or deep overbite, maxillary hypoplasia, high arched palate, mandibular hyperplasia or features indicating mandibular hypoplasia. This case report presents a 7-year-old male patient who was diagnosed with MBS at the age 2 years. The patient displayed typical clinical symptoms and was diagnosed with Class II malocclusion with a large overjet/overbite, tongue deformity and motion limitation, and lip closure incompetency. Treatment was initiated using a removable appliance for left scissor bite correction. After permanent tooth eruption, fixed appliance treatment was performed for correction of the arch width discrepancy and deep overbite. A self-ligation system and wide-width arch form wire were used during the treatment to expand the arch width. After 30 months of phase II treatment, the alignment of the dental arch and stable molar occlusion was achieved. Function and occlusion remained stable with a Class I canine and molar relationship, and a normal overjet/overbite was maintained after 9.4 years of retainer use. In MBS patients, it is important to achieve an accurate early diagnosis, and implement a multidisciplinary treatment approach and long-term retention and follow-up.

• 대한전자공학회논문지SP
• /
• 제39권3호
• /
• pp.23-35
• /
• 2002

시선 위치 추적이란 모니터상에 사용자가 쳐다보고 있는 지점을 파악해 내는 기술이다 이 논문에서는 컴퓨터 비젼 방법을 이용하여 사용자가 모니터 상에 어느 지점을 쳐다보고 있는지를 파악(시선 위치 추적)하는 새로운 방법을 제안한다. 시선위치를 파악하기 위해 본 논문에서는 얼굴 영역 및 얼굴 특징점(양 눈, 양 콧구멍, 입술 끝점 등)을 2차원 카메라 영상으로부터 추출하였으며, 이들의 움직임으로부터 카메라 보정 및 매개변수 추정 방법등을 이용하여 초기 3차원 위치를 추정해 내었다. 이후 모니터 상의 한 지점을 쳐다보기 위해 사용자가 얼굴을 움직이는 경우 이러한 얼굴의 3차원 움직임 량 역시 자동으로 추정하였다. 이로부터 변화된 얼굴 특징점의 3차원 위치를 계산해 낼 수 있었으며, 이를 바탕으로 모니터 상의 시선 위치를 구하였다. 실험 결과, 19인치 모니터상의 임의의 지점을 사용자가 쳐다보았을 때, 약 2.01인치의 시선 위치에러 성능을 얻었다.

• 전자공학회논문지S
• /
• 제35S권8호
• /
• pp.55-67
• /
• 1998

본 논문에서는 컬러 비디오 시퀀스 상에서 눈과 입에 해당하는 얼굴 특징점을 고속으로 추출하는 방법을 제안한다. 자유로운 움직임을 갖는 얼굴 영역을 안정적으로 추출하기 위해 얼굴 색상 분포를 이용한 색상 변환 영상에 움직임 검출 기법을 적용하여 움직이는 살색 부분만을 효율적으로 검출하는 색상 움직임 개념을 사용하였다. 움직임 정보는 살색의 가능성 정도에 따라 가중치가 주어지며 화소 단위의 움직임 여부를 결정하는 문턱값도 살색의 가능성 정도에 따라 적응적으로 결정된다. 눈의 색상분포와 형태소 연산자를 사용한 움직임 살색 영역에서 눈 후보 영역을 추출하고 눈과 눈썹의 상호 위치 관계를 이용하여 눈의 영역을 최종 결정한다. 입의 영역은 눈의 위치를 기준으로 입 후보 영역을 정하고 색상 히스토그램을 이용하여 입의 영역을 검출한다. 찾아진 눈과 입의 영역에서 정확한 특징점의 위치를 구하기 위해 PCA (Principal Component Analysis)를 사용하였다. 실험 결과 복잡한 배경, 개인적인 편차, 얼굴의 방향과 크기 등에 영향을 받지 않고 고속으로 정확한 얼굴의 특징점을 추출할 수 있었다.

• 한국통신학회논문지
• /
• 제29권4C호
• /
• pp.494-504
• /
• 2004

사용자의 시선 위치를 파악하는 연구는 많은 응용분야를 가지고 지난 몇년간 눈부시게 발전되어 왔다. 기존의 대부분 연구에서는 영상 처리 방법만에 의존하여 시선 위치 추적 연구를 수행하였기 때문에 처리 속도도 늦고 많은 사용 제약을 가지는 문제점이 있었다. 이 논문에서는 적외선 조명이 부착된 단일 카메라를 이용한 컴퓨터 비전 시스템으로 시선 위치 추적 연구를 수행하였다. 사용자의 시선 위치를 파악하기 위해서는 얼굴 특징점의 위치를 추적해야하는데, 이를 위하여 이 논문에서는 적의선 기반 카메라와 SVM(Support Vector Machine) 알고리즘을 사용하였다. 사용자가 모니터상의 임의의 지점을 쳐다볼 때 얼굴 특징점의 3차원 위치는 3차원 움직임량 추정(3D motion estimation) 및 아핀 변환(affine transformation)에 의해 계산되어 질 수 있다. 얼굴 특징점의 변화된 3차원 위치가 계산되면. 이로부터 3개 이상의 얼굴 특징점으로부터 생성되는 얼굴 평면 및 얼굴 평면의 법선 벡터가 구해지게 되며, 이러한 법선 백터가 모니터 스크린과 만나는 위치가 사용자의 시선위치가 된다. 또한. 이 논문에서는 보다 정확한 시선 위치를 파악하기 위하여 사용자의 눈동자 움직임을 추적하였으며 이를 위하여 신경망(다층 퍼셉트론)을 사용하였다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 약 4.2cm의 최소 자승 에러성능을 나타냈다.

• 대한치과교정학회지
• /
• 제43권1호
• /
• pp.42-52
• /
• 2013

The aim of this paper was to propose a new method of bimaxillary orthognathic surgery planning and model surgery based on the concept of 6 degrees of freedom (DOF). A 22-year-old man with Class III malocclusion was referred to our clinic with complaints of facial deformity and chewing difficulty. To correct a prognathic mandible, facial asymmetry, flat occlusal plane angle, labioversion of the maxillary central incisors, and concavity of the facial profile, bimaxillary orthognathic surgery was planned. After preoperative orthodontic treatment, surgical planning based on the concept of 6 DOF was performed on a surgical treatment objective drawing, and a Jeon's model surgery chart (JMSC) was prepared. Model surgery was performed with Jeon's orthognathic surgery simulator (JOSS) using the JMSC, and an interim wafer was fabricated. Le Fort I osteotomy, bilateral sagittal split ramus osteotomy, and malar augmentation were performed. The patient received lateral cephalometric and posteroanterior cephalometric analysis in postretention for 1 year. The follow-up results were determined to be satisfactory, and skeletal relapse did not occur after 1.5 years of surgery. When maxillary and mandibular models are considered as rigid bodies, and their state of motion is described in a quantitative manner based on 6 DOF, sharing of exact information on locational movement in 3-dimensional space is possible. The use of JMSC and JOSS will actualize accurate communication and performance of model surgery among clinicians based on objective measurements.

• 한국멀티미디어학회논문지
• /
• 제10권10호
• /
• pp.1310-1318
• /
• 2007

최근 매스컴이나 공영방송에서 예쁜 여자, 멋있는 남자들만이 대우를 받는다는 것이 사회 문제로 대두되어 TV프로의 주제로 다루어진 적이 있습니다. 분명 이러한 편향된 사고방식이 올바르지는 않지만 상대적으로 현대 사회를 살아가는 많은 사람들이 외적 이미지 즉, 1차 적인 시각적 이미지와 효과를 중시하고 있다는 것을 알 수 있습니다. 컴퓨터 영상 게임 역시 유행과 소비자 기호가 빠르게 변화하고 있으며 캐릭터 디자인 역시 빠른 변화를 거듭하고 있습니다. 이러한 급변하는 환경 속에서 디자이너가 창조적이고 효율적인 게임 캐릭터 디자인 개발을 하기 위해서는 이를 뒷받침해줄 수 있는 새로운 프로세스의 개발이 필요합니다. 또한 유저(User)에게 최초의 구매 욕구를 자극하는 첫 번째 수단은 바로 영상 그래픽디자인의 질입니다. 바로 강력한 시각적 효과로써 그래픽의 화면이 더욱 부드럽게, 보다 더 화려한 리얼리티의 실현을 유저(User)들은 바라고 있으며 또한 컴퓨터게임 그래픽 역시 이러한 방향으로 발전해 가고 있습니다. 본 연구에서는 이러한 과정을 3d와 2d의 게임그래픽을 적절히 배합하고 효율적으로 사용하여 디자이너가 3D 캐릭터를 개발하는데 있어서 능력의 한계를 극복하고 최대의 효과를 낼 수 있도록 하는데 그 목적을 두었습니다.

• 대한전자공학회논문지SP
• /
• 제41권2호
• /
• pp.79-88
• /
• 2004

시선 위치 추적이란 현재 사용자가 응시하고 있는 위치를 컴퓨터 시각 인식 방법에 의해 파악하는 연구이다. 이러한 시선 위치 추적 기술은 많은 응용 분야를 가지고 있는데, 그 대표적인 예로는 양 손을 사용하지 못하는 심신 장애자를 위한 컴퓨터 인터페이스 및 3차원 시뮬레이터 프로그램에서 사용자의 시선 위치에 따른 화면 제어 등이 있다. 이 논문에서는 적외선 조명이 부착된 단일 카메라를 이용한 컴퓨터 비전 시스템으로 시선 위치 추적 연구를 수행하였다. 사용자의 시선 위치를 파악하기 위해서는 얼굴 특징점의 위치를 추적해야하는데, 이를 위하여 이 논문에서는 적외선 기반 카메라와 SVM(Support Vector Machine) 알고리즘을 사용하였다. 사용자가 모니터상의 임의의 지점을 쳐다볼 때 얼굴 특징점의 3차원 위치는 3차원 움식임량 추정(3D motion estimation) 및 아핀 변환(affine transformation)에 의해 계산되어 질 수 있다. 얼굴 특징점의 변화된 3차원 위치가 계산되면, 이로부터 3개 이상의 얼굴 특징점으로부터 생성되는 얼굴 평면 및 얼굴 평면의 법선 벡터가 구해지게 되며, 이러한 법선 벡터가 모니터 스크린과 만나는 위치가 사용자의 시선위치가 된다. 또한, 이 논문에서는 보다 정확한 시선 위치를 파악하기 위하여 사용자의 눈동자 움직임을 추적하였으면 이를 위하여 신경망(다층 퍼셉트론)을 사용하였다. 실험 결과, 얼굴 및 눈동자 움직임에 의한 모니터상의 시선 위치 정확도는 약 4.8㎝의 최소 자승 에러성능을 나타냈다.

• 한국지능시스템학회논문지
• /
• 제13권4호
• /
• pp.461-468
• /
• 2003

In a sequence of images obtained by surveillance cameras, facial regions appear very small and their colors change abruptly by lighting condition. This paper proposes a new face detection scheme, robust on complex background, small size, and lighting conditions. The proposed method is consisted of three processes. In the first step, the candidates for the face regions are selected using face color distribution and motion information. In the second stage, the non-face regions are removed using face color ratio, boundary ratio, and average of column-wise intensity variation in the candidates. The face regions containing eyes and mouth are segmented and classified, and then they are scored using their topological relations in the last step. To speed up and improve a performance the above process, a block based image segmentation technique is used. The experiments have shown that the proposed algorithm detects faced regions with more than 91% of accuracy and less than 4.3% of false alarm rate.

• 대한간호학회지
• /
• 제20권3호
• /
• pp.381-398
• /
• 1990

Nursing involves deep human interpersonal relationships between nurses and patients. But in modem Korea, the nurse - patient relationship tends to be ritualistic and mechanestic. Patients usually express the hope that nurses be more tender and kind. Patients expect nurses to express their warmth especially through nonverbal behaviour. This study was conducted to identify patients' preferences for nurse's nonverbal expressions of warmth. Through the confirmation of these preferences, nurses may learn how to enhance their interpersonal relationships with patients. Subjects for the study were 73 patients who had been admitted to a university teaching hospital for at least three days and agreed to be interviewed by the investigator. The interactions were studied nonverbal expressions of warmth during nursing rounds and administration of oral medication. The interview schedule was expecially designed by the investigator to measure the nurse's posture, the distance between the nurse and the patient, the nurse's eye contact, facial expression, hand motion and head nodding. Data analysis included frequencies, percentages and X²-test. The results of this study may be summerized as follows : 1. Patient's preferences for nurse's nonverbal expressions of warmth during nursing rounds. Preferred nurse's posture was sitting(50.7%) or standing(49.3%) opposite the patient. Preferred distance between the nurse and the patient was close to the bed(93.2%), less than 1m. Preferred eye contact was directed to the patient's eyes or their affected part (41.1%). Preferred facial expression was a smile(97.3%). Preferred hand motions were light gestures(41.1%). Patients preferred head nodding which approved their own opinions(69.9%). 2. Patient's preferences for nurse's nonverval expressions of warmth during administration of oral medication. Preferred nurse's posture was standing and waiting to confirm that the medication had been taken(58.9%). Preferred distance from the patient was at arm's length, 0.5-1m(64.4%). Patients preferred direct eye contact(58.9%) and a smile(94.5%). Patients preferred that the nurse put the medicine directly the patient's hand(64.4%). Whether the nurse nodded her head or not was not considered important. 3. The relation of general characteristics and patient's preferences for nurse's nonverbal expressions of warmth during nursing rounds and administration of oral medication. During nursing rounds, the age of subjects(p＝0.010) and the standard of education(p＝0.026) related to the distance between the nurse and the patient. The sick hospital ward related to the eye contact(p＝0.017) and facial expression(p＝0.010). During administration of oral medication, the age of subjects(p＝0.044) and days of hospital treatment (p＝0.043) and the sick hospital ward(p＝0.0004) related to the facial expression. From this study, nurses can learn what kind nonverbal expressions of warmth are preferred by patients during rounds and administration and thus will enhance nurse- patient interpersonal relationships.