• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.39-46
• /
• 2009

기존에 PC 환경에서는 많은 입술 영역 검출 방법들이 제안되었는데, 자원이 제한되어있는 모바일 장치에서는 이런 방법들을 그대로 적용하면 실시간 동작이 어렵다. 이러한 문제를 해결하기 위하여, 본 논문은 모바일 장치에서 립리딩을 위한 실시간 입술 영역 검출 방법을 제안한다. 본 논문에서는 적응적 얼굴 색상 정보를 이용하여 얼굴 영역을 검출한 다음에 눈 검출을 하고 눈과 입술의 기하학적 관계를 이용하여 입술 영역을 검출한다. 제안된 알고리즘을 Intel PXA 270 임베디드 프로세서와 386MB 메모리를 가진 스마트 폰에 구현하여 실험한 결과 9.5 프레임/초의 속도로 동작하였고 574장의 영상에 대하여 검출 실험한 결과 98.8%의 검출 성공률을 얻을 수 있었다.

• 한국지능시스템학회논문지
• /
• 제19권4호
• /
• pp.478-484
• /
• 2009

음성 인식 기술은 편리한 삶을 추구하는 요즘 추세에 HMI를 위해 매력적인 기술이다. 음성 인식기술에 대한 많은 연구가 진행되고 있으나 여전히 잡음 환경에서의 성능은 취약하다. 이를 해결하기 위해 요즘은 청각 정보 뿐 아니라 시각 정보를 이용하는 시각 음성인식에 대한 연구가 활발히 진행되고 있다. 본 논문에서는 모바일 환경에서의 시각 음성인식을 위한 입술의 탐지 방법을 제안한다. 시각 음성인식을 위해서는 정확한 입술의 탐지가 필요하다. 우리는 입력 영상에서 입술에 비해 보다 찾기 쉬운 눈을 이용하여 눈의 위치를 먼저 탐지한 후 이 정보를 이용하여 대략적인 입술 영상을 구한다. 구해진 입술 영상에 K-means 집단화 알고리듬을 이용하여 영역을 분할하고 분할된 영역들 중 가장 큰 영역을 선택하여 입술의 양 끝점과 중심을 얻는다. 마지막으로, 실험을 통하여 제안된 기법의 성능을 확인하였다.

• 디지털콘텐츠학회 논문지
• /
• 제18권2호
• /
• pp.267-274
• /
• 2017

최근 패션, 뷰티 업계를 중심으로 스마트 미러를 도입한 매장을 선보이는 등 IoT기술을 적용하고자 다양한 노력이 시도되고 있다. 스마트 미러는 거울을 통해 모습을 비춰볼 수 있으면서 거울 뒤에 부착된 화면을 통해 원하는 내용을 디스플레이 할 수 있어 패션, 뷰티, 헬스 케어 등 다양한 산업 분야에 적용이 가능하다. 본 논문에서는 이러한 스마트 미러의 특성을 이용하여 구술 능력이 퇴화되어 발음이 부정확한 청각 장애인이 타인의 도움 없이 스스로 발음 교정 학습을 할 수 있도록 하는 학습 시스템을 제안하고자 한다. 제안된 시스템에서는 임베디드 시스템에서 적용 가능한 효과적인 립 리딩 기법을 제안하여 기존에 검증된 발음 교정용 데이터와 연동하여 학습 효율을 높였다.

• Journal of Microbiology and Biotechnology
• /
• 제17권4호
• /
• pp.604-610
• /
• 2007

A psychrotrophic strain 7195 showing extracellular lipolytic activity towards tributyrin was isolated from deep-sea sediment of Prydz Bay and identified as a Psychrobacter species. By screening a genomic DNA library of Psychrobacter sp. 7195, an open reading frame of 954 bp coding for a lipase gene, lipA1, was identified, cloned, and sequenced. The deduced LipA1 consisted of 317 amino acids with a molecular mass of 35,210 kDa. It had one consensus motif, G-N-S-M-G (GXSXG), containing the putative active-site serine, which was conserved in other cold-adapted lipolytic enzymes. The recombinant LipA1 was purified by column chromatography with DEAE Sepharose CL-4B, and Sephadex G-75, and preparative polyacrylamide gel electrophoresis, in sequence. The purified enzyme showed highest activity at $30^{\circ}C$, and was unstable at temperatures higher than $30^{\circ}C$, indicating that it was a typical cold-adapted enzyme. The optimal pH for activity was 9.0, and the enzyme was stable between pH 7.0-10.0 after 24h incubation at $4^{\circ}C$. The addition of $Ca^{2+}\;and\;Mg^{2+}$ enhanced the enzyme activity of LipA1, whereas the $Cd^{2+},\;Zn^{2+},\;CO^{2+},\;Fe^{3+},\;Hg^{2+},\;Fe^{2+},\;Rb^{2+}$, and EDTA strongly inhibited the activity. The LipA1 was activated by various detergents, such as Triton X-100, Tween 80, Tween 40, Span 60, Span 40, CHAPS, and SDS, and showed better resistance towards them. Substrate specificity analysis showed that there was a preference for trimyristin and p-nitrophenyl myristate $(C_{14}\;acyl\; groups)$.

• BMB Reports
• /
• 제39권3호
• /
• pp.297-303
• /
• 2006

As lipolytic enzymes, GDSL lipases play an important role in plant growth and development. In order to identify their functions and roles, the full-length cDNA of a GDSL lipase gene, designated BnLIP2, was isolated from Brassica napus L. BnLIP2 was 1,300 bp long, with 1,122 bp open reading frame (ORF) encoding 373 amino acid residues. Sequence analysis indicated that BnLIP2 belonged to GDSL family. Southern blot analysis indicated that BnLIP2 belonged to a small gene family in rapeseed genome. RT-PCR analysis revealed that BnLIP2 was a tissue-specific expressing gene during reproductive growth and strongly expressed during seed germination. BnLIP2 expression could not be detected until three days after germination, and it subsequently became stronger. The transcript of this gene was deficient in root of seedlings growing at different stages. When juvenile seedlings were treated by methyl jasmonate (MeJ), salicylic acid (SA) and naphthalene acetic acid (NAA), BnLIP2 expression could not be induced in root. Our study implicates that BnLIP2 probably plays an important role in rapeseed germination, morphogenesis, flowering, but independent of root growth and development.

• 한국콘텐츠학회:학술대회논문집
• /
• 한국콘텐츠학회 2006년도 추계 종합학술대회 논문집
• /
• pp.682-686
• /
• 2006

모바일 3D 엔진을 탑재한 단말기의 등장과 모바일 콘텐츠 시장의 성장에 따라 3D 모바일 콘텐츠 서비스에 대한 관심이 고조되고 있다. 모바일 3D 아바타는 개인화된 모바일 기기 사용자의 개성을 표출할 수 있는 가장 효과적인 상품이다. 그러나 3D 아바타 표현 방법은 PC기반의 가상환경에서 캐릭터의 얼굴 표정 및 입술 모양 변화에 따른 자연스럽고 사실적인 표현에 대한 연구들이 주로 이루어 졌다. 본 논문에서는 모바일 환경에서 수신된 SMS 메시지를 3D 모바일 아바타에 적용하여 입술 모양 및 음성과 동기화 시키는 방법을 제안한다. 제안된 방법은 수신된 메시지 문장을 음절단위로 분해하여 모바일 3D 아바타의 입술 모양과 해당 음성을 동기화 시킴으로써, 모바일 아바타의 자연스럽고 효과적인 SMS 메시지 읽기 서비스를 구현할 수 있도록 해준다.

• 한국통신학회논문지
• /
• 제35권7C호
• /
• pp.598-603
• /
• 2010

이 논문에서는 해양 선박 안의 잡음 환경에서 현저하게 떨어지는 음성 인식률을 높이기 위해 기존 음성인식 시스템에 화자의 입술의 움직임 변화를 입력정보로 이용하려는 입술 읽기에 대해서 연구하였다. 제안한 방법은 획득한 입력 영상에 Gabor 여파기를 이용하여 전처리과정의 성능을 향상 시켜 인식률을 높였다. 실험은 기본 시스템의 조명의 변화가 발생하는 선박 안의 환경에서 시간에 따라 입술 영상을 획득하여 수행하였으며, 인식 성능비교를 위해서 획득한 입력 영상을 이산여현파변환을 수행한 뒤 얻은 입술 관심영역에 대해 Gabor 여파기를 이용하여 얻어진 영상에 입술 접기를 수행하여 인식하는 방법과 입술 접기를 수행한 영상에 대해 인식을 수행하는 방법으로 실험하였다. 제안한 방법을 적용한 선박환경에서 실험 결과는 관심영역 영상에 Gabor 필터링을 이용하였을 때 기본 시스템에 견주어 매개변수가 거의 줄어들지 않았으며 그 인식률은 44%이었다. 한편, 입술 접기를 수행한 영상을 Gabor 여파하여 조명의 영향에 의한 성분을 제거한 바, 인식률이 11%쯤 높아진 55.8%를 나타내었다.

• 전기학회논문지
• /
• 제63권6호
• /
• pp.813-819
• /
• 2014

The purpose of this study was to extract accurate parameters of facial movement features using 3-D motion capture system in speech recognition technology through lip-reading. Instead of using the features obtained through traditional camera image, the 3-D motion system was used to obtain quantitative data for actual facial movements, and to analyze 11 variables that exhibit particular patterns such as nose, lip, jaw and cheek movements in monosyllable vocalizations. Fourteen subjects, all in 20s of age, were asked to vocalize 11 types of Korean vowel monosyllables for three times with 36 reflective markers on their faces. The obtained facial movement data were then calculated into 11 parameters and presented as patterns for each monosyllable vocalization. The parameter patterns were performed through learning and recognizing process for each monosyllable with speech recognition algorithms with Hidden Markov Model (HMM) and Viterbi algorithm. The accuracy rate of 11 monosyllables recognition was 97.2%, which suggests the possibility of voice recognition of Korean language through quantitative facial movement analysis.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 2001년도 추계학술발표대회 논문집 제20권 2호
• /
• pp.45-48
• /
• 2001

립리딩은 잡음 환경 하에서 음성 인식 성능을 향상을 위해 영상정보를 이용한 바이모달(bimodal)음성인식으로 연구되었다[1][2]. 그 일환으로 이미 영상정보를 이용한 립리딩은 구현되었다. 그러나 현재까지의 시스템들은 환경의 변화에 강인하지 못하다. 본 논문에서는 이미지 기반 립리딩 방법을 적용하여 입술 영역을 보다 안정적으로 찾아 성능을 향상 시켰다. 그러나 이 방법은 많은 데이터량을 처리해야 하므로 전처리 과정이 필요하다. 전처리로 입력영상을 그레이 레벨로 변환하는 방법과, 입술을 반으로 접는 방법, 그리고 주성분 분석(PCA: Principal Component Analysis)을 사용하였다. 또한 인식성능 향상을 위해 음성에서 잡음 제거나 분석$\cdot$합성에 효과적인 성능을 보이는 RASTA(Relative Spectral)필터를 적용하여 시간 영역에서의 변화가 적은 성분이나 급변하는 성분, 그 밖의 잡음 등을 제거하였다. 그 결과 $72.7\%$의 높은 인식 성능을 보였다.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2000년도 제15차 학술회의논문집
• /
• pp.274-274
• /
• 2000

In the future, the convenient speech command system will become an widely-using interface in automation systems. But the previous research in speech recognition didn't give satisfactory recognition results for the practical realization in the noise environment. The purpose of this research is the development of a practical system, which reliably recognizes the speech command of the registered users, by complementing an existing research which used the image information with the speech signal. For the lip-reading feature extraction from a image, we used the DWT(Discrete Wavelet Transform), which reduces the size and gives useful characteristics of the original image. And to enhance the robustness to the environmental changes of speakers, we acquired the speech signal by stereo method. We designed an economic stand-alone system, which adopted a Bt829 and an AD1819B with a TMS320C31 DSP based add-on board.