• 조명전기설비학회논문지
• /
• 제17권5호
• /
• pp.68-79
• /
• 2003

본 논문에서는 여러 사람이 참여하는 영상 회의에서 입술 움직임 정보를 이용하여 화자를 검출하는 시스템을 구현하였다. 구현된 시스템은 얼굴색 정보와 형태 정보를 이용하여 각 사람의 얼굴 및 입술 영역을 검출한 후, 입술 영역에서 이전 프레임과의 변화량을 계산하여 화자를 검출한다. 검출된 화자를 클로즈업하기 위하여 두 대의 CCD카메라를 사용하였으며, RS-232C시리얼 포트를 이용하여 PTZ 카메라를 제어한다. 실험 결과 3인 이상의 입력 동영상에서 얼굴의 기울어짐에 무관하게 화자를 검출할 수 있었으며 최초 기준 영상에서 화자를 클로즈업하는데 약 4∼5초 정도의 시간이 소요되었다. 또한 320${\times}$240 크기의 얼굴 영역 화면과 전체적인 배경 화면을 동시에 제공하므로 영상회의 및 인터넷 방송 등과 같은 영상 전송 시스템에서 보다 효율적인 의사 전달이 가능하게 하였다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.257-269
• /
• 2023

최근 딥러닝 모델을 통해 사진이나 영상을 활용하여 영상 합성을 수행하는 것에 대한 요구가 높아지고 있다. 기존 영상 합성 모델의 경우 주어진 영상으로부터 모션 정보만을 전이하여 사진에 대한 애니메이션 효과를 생성하였다. 하지만 이러한 합성 모델의 경우 음성에 따른 립싱크가 불가능하다는 문제와 함께 합성 결과물의 화질이 떨어진다는 문제점이 있다. 문제를 해결하기 위해 본 논문에서는 이미지 애니메이션 기법을 기반으로 한 새로운 프레임워크에 대해 설명한다. 본 프레임워크에서는 합성하려는 사진과 영상, 그리고 오디오를 제공하면 사진의 인물 특징을 유지한 채 주어진 영상의 행동을 따라 움직이는 것뿐만 아니라 음성에 맞게 발화하는 모습도 함께 합성하여 모션 전이와 함께 립싱크를 수행한 합성 결과물을 생성한다. 또한 초해상화 기법을 영상 합성물에도 활용하여 더욱 고화질, 고해상도의 합성 결과물을 제공하도록 구성하였다.

• 한국정보통신학회논문지
• /
• 제8권5호
• /
• pp.1042-1049
• /
• 2004

본 논문에서는 LipSynchco 소프트웨어 개발 키트(SDK)를 사용하여 아바타 기반 교육용 멀티미디어 컨텐츠 저작시스템을 설계하고 구현하였다. 모션생성 엔진과 음성 동조화 엔진을 연동함으로써 아바타의 움직임을 자동으로 생성하여 이를 교육용 멀티미디어 컨텐츠 저작 틀과 결합하여 보다 나은 교육용 컨텐츠를 생성할 수 있도록 하였다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2001년도 하계종합학술대회 논문집(4)
• /
• pp.269-272
• /
• 2001

In speech recognition technology, the utterance of every talker have special resonant frequency according to shape of talker's lip and to the motion of tongue. And utterances are different according to each talker. Accordingly, we need the superior moth-od of speech feature parameter extraction which reflect talker's characteristic well. This paper suggests the modified-MfCC combined existing MFCC with gammatone filter. We experimented with speech data from telephone and then we obtained results of enhanced speech recognition rate which is higher than that of the other methods.

• 대한치과교정학회지
• /
• 제52권6호
• /
• pp.451-460
• /
• 2022

Moebius syndrome (MBS) is a congenital neurologic disorder that causes cranio-facial abnormalities. It involves paralysis of the VI and VII cranial nerves and causes bilateral or unilateral facial paralysis, eye movement disorder, and deformation of the upper and lower limbs. The orofacial dysfunctions include microstomia, micrognathia, hypotonic mimetic and lip muscles, dental enamel hypoplasia, tongue deformity, open bite or deep overbite, maxillary hypoplasia, high arched palate, mandibular hyperplasia or features indicating mandibular hypoplasia. This case report presents a 7-year-old male patient who was diagnosed with MBS at the age 2 years. The patient displayed typical clinical symptoms and was diagnosed with Class II malocclusion with a large overjet/overbite, tongue deformity and motion limitation, and lip closure incompetency. Treatment was initiated using a removable appliance for left scissor bite correction. After permanent tooth eruption, fixed appliance treatment was performed for correction of the arch width discrepancy and deep overbite. A self-ligation system and wide-width arch form wire were used during the treatment to expand the arch width. After 30 months of phase II treatment, the alignment of the dental arch and stable molar occlusion was achieved. Function and occlusion remained stable with a Class I canine and molar relationship, and a normal overjet/overbite was maintained after 9.4 years of retainer use. In MBS patients, it is important to achieve an accurate early diagnosis, and implement a multidisciplinary treatment approach and long-term retention and follow-up.

• 한국산학기술학회논문지
• /
• 제18권5호
• /
• pp.657-666
• /
• 2017

본 연구에서는, 50인치 이상 대형 텔레비전의 높낮이의 마찰을 줄이기 위한 요인 분석이 실시되었다. 첫째는 피스톤 로드의 정확한 위치 제어를 위한 관형 전단면 제어에 대한 것이다. 여기서 관형 오리피스 전단면과 미로형 오리피스 전단면이 비교되었다. 두 번째 연구는 가스 씰 립 기술에 의한 마찰력 줄이기가 시행되었다. 세 번째는 실린더의 체적의 보상을 위한 주변장치가 피스톤 로드의 체적을 압축함으로서 세부사양을 결정하고 체적 보상 실험을 수행하는 것이다. 이로 인한 연구 결과들은 다음과 같다. 첫째는 CAE 및 실험적 고려를 통한 관형과 미로형 사이의 오리피스 전단면에 있어서, 미로형 오리피스의 전단면이 마찰을 줄이는데 뛰어났다. 둘째는 가스 씰 립 기술에서, 중공 로드의 실험 결과에서 외경 20 mm, 내경 8 mm의 직경을 가지는 것이 30 킬로그램을 가정한 50인치 이상의 텔레비전에 가장 적합한 것으로 확인되었다. 셋째는 사양결정과 체적 보상 실험을 위한 체적 보상의 안전성 문제와 성능의 총체적 고려사항 결과 중공로드 외경 8 mm, 내경 4 mm와 리벳 시스템이 결정되었다. 마지막으로, 300 mm의 이동거리에서는 관형, 미로형 오리피스에 있어 직경 0.4~0.6의 오리피스에서는 미로형 오리피스가 발견되지 않았다.

• 한국융합학회논문지
• /
• 제10권11호
• /
• pp.111-116
• /
• 2019

최근 컴퓨터 능력의 급속한 발전으로 인간과 컴퓨터간의 상호 작용을 편리하게 연결할 수 있는 많은 기술들이 연구되고 있는 상황으로, 전통적인 입력장치를 사용한 GUI에서 3D 모션, 햅틱, 멀티 터치와 같은 신체를 이용한 NUI로 패러다임이 변화되고 있는 추세이다. 인간의 동작을 센서를 이용하여 컴퓨터에 전달하는 많은 연구가 이루어지고 있으며, 3D 객체를 획득할 수 있는 광학 센서의 개발과 더불어 산업 및 의료 분야, 사용자 인터페이스 분야 등으로 응용 범위가 확장되고 있다. 본 논문에서는 립모션을 기반으로 사용자의 손동작에 따라 기본 입력장치인 마우스를 대신하여 제스처를 통한 타 프로그램 실행 및 윈도우즈 제어가 가능하며, 안드로이드 앱과 융합하여 메인 클라이언트와 연결을 통하여, 음성인식과 버튼을 사용해 각종 미디어와 음성 명령 기능을 통한 제어가 가능한 모델을 제안한다. 제안 모델을 통하여 영상, 음악과 같은 인터넷 미디어를 클라이언트 컴퓨터 뿐만 아니라 앱을 통한 원거리 제어가 가능하여, 편리하게 미디어를 시청할 수 있을 것으로 기대된다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국지능시스템학회 2008년도 춘계학술대회 학술발표회 논문집
• /
• pp.268-270
• /
• 2008

얼굴 인식은 영상 처리 분야 중 대표적인 분야의 하나로, 지금까지 다양한 응용시스템이 개발됐다. 얼굴 인식은 눈, 코, 입 같은 얼굴의 특징들을 값으로 변환하고 각 특징 값들의 상관관계를 분석하는 방식으로 이루어지는데, 이 중에서 입은 형태 변화가 심하기 때문에 얼굴 인식에서는 특징 값으로 잘 이용되지 않는다. 반면, 표정 인식이나 화자 인식과 같은 특정 응용 시스템에서는 중요한 특징의 하나로 사용되고 있다. 입 모양을 인식한다는 것은 입술의 형태와 그 변화를 인식한다는 것을 의미하며, 이에 대한 연구가 많이 이루어지기는 했지만 음성 인식의 보조 수단으로 사용된 것이 대부분이다. 본 논문에서는 현재까지 제안된 입 움직임 인식 기술에 대해서 정리하고, 새로이 적용 가능한 응용 시스템에 대해 고찰해보고자 한다.

• 한국음향학회지
• /
• 제28권8호
• /
• pp.832-842
• /
• 2009

Automatic speech recognition (ASR) has been successfully applied to many real human computer interaction (HCI) applications; however, its performance tends to be significantly decreased under noisy environments. The invention of audio visual speech recognition (AVSR) using an acoustic signal and lip motion has recently attracted more attention due to its noise-robustness characteristic. In this paper, we describe our novel integration scheme for AVSR based on a late integration approach. Firstly, we introduce the robust reliability measurement for audio and visual modalities using model based information and signal based information. The model based sources measure the confusability of vocabulary while the signal is used to estimate the noise level. Secondly, the output probabilities of audio and visual speech recognizers are normalized respectively before applying the final integration step using normalized output space and estimated weights. We evaluate the performance of our proposed method via Korean isolated word recognition system. The experimental results demonstrate the effectiveness and feasibility of our proposed system compared to the conventional systems.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권4호
• /
• pp.9-15
• /
• 2020

가상 현실(VR)에서 사용자와 동일한 아바타를 시각화하는 것은 몰입도를 증가시킨다. 가상 현실 기술이 발달함에 따라 여러 사용자들의 가상 소셜 네트워킹과 말하는 아바타를 포함하는 다양한 어플리케이션이 늘어난다. 보급형 가상현실 기기에서 사용자의 얼굴 전체와 몸 동작 캡처를 위한 디바이스 정보가 부족하기 때문에 대부분의 가상현실 애플리케이션은 대화하는 얼굴과 몸을 나타내지 않는다. 우리는 오디오와 동기화되어 대화하는 가상 얼굴을 위해, 가상현실 어플리케이션을 대상으로 하는, 새로운 방법을 제안한다. 우리의 시스템은 단일 사용자 애플리케이션에서 사용자 자신과 동기화된 아바타를 실험한다. 단일 사용자 환경에서는 자신의 아바타를 미러링 하고 다중 사용자 환경에서 동기화된 대화 파트너를 시각화 하여 동기화된 대화 아바타의 구현한다. 우리는 사실적으로 대화하는 아바타가 동기화되지 않은 말하는 아바타나 보이지 않는 아바타보다 더 영향력이 있다는 것을 사용자 스터디로 검증한다.