• 제목/요약/키워드: Image to Speech

검색결과 190건 처리시간 0.027초

3차원 모델을 이용한 입모양 인식 알고리즘에 관한 연구 (A study on the lip shape recognition algorithm using 3-D Model)

  • 남기환;배철수
    • 한국정보통신학회논문지
    • /
    • 제6권5호
    • /
    • pp.783-788
    • /
    • 2002
  • 최근 통신 시스템의 연구와 발전 방향은 목소리의 음성 정보와 말하는 얼굴 영상의 화상 정보를 함께 적용하므로서 음성 정보만을 제공하는 경우보다 높은 인식율을 제공한다. 따라서 본 연구는 청각장애자들의 언어 대체수단 중 하나인 구화(speechreading)에서 가장 시각적 변별력이 논은 입모양 인식을 일반 퍼스널 컴퓨터상에서 구현하고자 한다. 본 논문은 기존의 방법과 달리 말하는 영상 시퀀스에서 입모양 인식을 행하기 위해 3차원 모델을 사용하여 입의 벌어진 정도, 턱의 움직임, 입술의 돌출과 같은 3차원 특징 정보를 제공하였다. 이와 같은 특징 정보를 얻기 위해 3차원 형살 모델을 입력 동영상에 정합시키고 정합된 3차원 형상모델에서 각 특징점의 변화량을 인식파라미터로 사용하였다. 그리고, 인식단위로 동영상을 분리하는 방법은 3차원 특징점 변화량에서 얻어지는 강도의 기울기에 의하여 이루어지고, 인식은 각각의 3차인 특징벡터를 이산 HMM 인식기의 인식 파라메타로 사용하였다.

PG-GAN을 이용한 패션이미지 데이터 자동 생성 (Automaitc Generation of Fashion Image Dataset by Using Progressive Growing GAN)

  • 김양희;이찬희;황태선;김경민;임희석
    • 사물인터넷융복합논문지
    • /
    • 제4권2호
    • /
    • pp.1-6
    • /
    • 2018
  • 이미지와 같은 고차원 데이터로부터 새로운 샘플 데이터를 생성하는 기술은 음성 합성, 이미지 변환 및 이미지 복원 등에 다양하게 활용되고 있다. 본 논문은 고해상도의 이미지들을 생성하는 것과 생성한 이미지들의 variation을 높이기 위한 방안으로 Progressive Growing of Generative Adversarial Networks(PG-GANs)을 구현 모델로 채택하였고, 이를 패션 이미지 데이터에 적용하였다. PG-GANs은 생성자(Generator)와 판별자(discriminator)를 동시에 점진적으로 학습하도록 하는데, 저해상도의 이미지에서부터 계속해서 새로운 레이어들을 추가하여 결과적으로 고해상도의 이미지를 생성할 수 있게끔 하는 방식이다. 또한 생성 데이터의 다양성을 높이기 위하여 미니배치 표준편차 방법을 제안하였고 GAN 모델을 평가하기 위한 기존의 MS-SSIM이 아닌 Sliced Wasserstein Distance(SWD) 평가 방법을 제안하였다.

히치콕 <사이코>에 내재된 영화 사운드의 미학적 고찰 (Aesthetic Study of Film Sound Inherent in Hitchcock's )

  • 박병규
    • 한국콘텐츠학회논문지
    • /
    • 제14권6호
    • /
    • pp.26-33
    • /
    • 2014
  • 본고는 히치콕 영화 <사이코>에서 사운드의 의미작용에 대해 음성, 배경소리, 음악으로 나누어, 사운드 구성요소 모두를 영화미학적인 관점에서 다루고 있다. 음성은 보이스오버를 통해 정신적 이미지를 청각화하며, 주인 없는 음성은 육화하기 위해 삶과 죽음의 식별 불가능성을 갖기도 한다. 본고는 메츠가 주목한시각적 기법 외에 배경소리 또한 거시적 맥락 속에서 구두점-서사적 경계를 표시할 수 있음을 보였으며, 뇌리 속 비명소리를 상쇄시키며 샤워신을 매듭짓고 있는 물소리를 그 예로 들고 있다. 음악에서는 욕망과 억압이 상징되어 충돌의 불협화음을 만들고 있고, 때로 병존하는 두 화음들은 노먼-어머니의 이중성을 나타낸다. 또한, 음악은 정지된 시간 속에서 무음의 형태로 미이라화 되어 소멸하기도 한다. 이렇듯, <사이코>에 쓰인 사운드들의 공통된 영화적 의미작용은 이미지의 재생산이라 할 수 있다.

Transfer-Learning 기법을 이용한 영역검출 기법에 관한 연구 (A Study on Area Detection Using Transfer-Learning Technique)

  • 신광성;신성윤
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.178-179
    • /
    • 2018
  • 최근 자율주행 및 음성인식 등 인공지능 분야에서 기계학습을 이용한 방법이 활발히 연구되고 있다. 디지털 영상에서 특정 사물이나 영역을 인식하기 위해 고전적인 경계검출 및 패턴인식 등의 고전적인 영상처리 방법으로는 많은 한계를 가지고 있으나 deep-learning 등 기계학습 방법을 이용하면 사람의 인지수준에 근접한 결과를 얻을 수 있다. 하지만 기본적으로 deep-learning 등 기계학습은 방대한 양의 학습데이터가 확보되어야 한다. 따라서 환경 분석을 위한 항공사진처럼 데이터의 양이 매우 적은 경우 영역 구분을 위해 기계학습을 적용하기 어렵다. 본 연구에서는 입력영상의 dataset 크기가 적고 입력 영상의 형태가 training dataset의 category에 포함되지 않는 경우 사용할 수 있는 transfer-learning 기법을 적용하며 이를 이용하여 영상 내에서 특정 영역 검출을 수행한다.

  • PDF

영상처리 기반의 운전자 중심 정보처리 기술 개발 (A Driving Information Centric Information Processing Technology Development Based on Image Processing)

  • 양승훈;홍광수;김병규
    • 융합보안논문지
    • /
    • 제12권6호
    • /
    • pp.31-37
    • /
    • 2012
  • 오늘날 자동차 기술의 핵심은 IT 기반 융합 시스템기술로 변화하고 있다. 다양한 IT 기술을 접목하여 운전 중 다양한 상황에 대응하고 또한 운전자의 편의성을 지원하는 기술적 추세를 보이고 있다. 본 논문에서는 운전자의 안전성과 편의성을 증대하기 위해 영상 정보를 기반으로 도로 정보를 검출해 운전자에게 알려주고, 버튼을 직접 손으로 눌러야 하는 물리적 인터페이스를 대체할 비접촉식 인터페이스 기술을 융합한 Augmented Driving System (ADS) 기술을 제안한다. 본 기술은 카메라로부터 입력 받은 영상 정보를 제안된 알고리즘을 통해 앞차와의 거리, 차선, 교통 표지판을 검출하고 차량 내부를 주시하는 카메라와 운전자의 음성을 인식할 마이크를 기반으로 기본 음성인식과 동작인식이 융합된 인터페이스 기술을 제공한다. 이러한 요소 기술들은 운전자가 인지하지 못하더라도 운전자에게 현재의 주행상황을 인지하여 자동으로 알려줌으로써 교통사고 확률을 크게 낮출 수 있을 것이며, 또한 다양한 운전 중 기능 조작을 편리하게 지원함으로써 운전자의 전방 주시에 도움을 줄 수 있다. 본 논문에서 개발된 기술을 통해 테스트를 실시해 본 결과 표지판인식, 차선검출, 앞차와의 거리 검출 등의 인식률이 약 90% 이상이 되었다.

이미지와 듣기자료를 중심으로 어휘력 향상을 위한 효율적 학습 적용 방안 (Effective Method to Improve the Competence of the Vocabulary by the Image and Listening)

  • 정일영
    • 비교문화연구
    • /
    • 제38권
    • /
    • pp.461-500
    • /
    • 2015
  • This study aims to investigate the effective method to improve the competence of the Vocabulary by the image and listening towards the ELF. In the first part, we observed the problems and point improvement on learning vocabulary based on learner survey. In the second part, we analyzed two remarkable studies: - consistent and adapt method, communicational context - method based on the lexical, morphological semantical, notional and thematic field Then we proposed effective methods that are applicable to the vocabulary's learning in the class : - learning vocabulary by combining the words - learning vocabulary based on the meaning field - learning vocabulary as concrete characters - learning vocabulary by the descriptive character - learning vocabulary with the type "who am I?" - learning vocabulary by listening For teachers, one of the difficulties to the conduct of vocabulary course is that learners take passive position. Specifically, it is the teachers who play an important role because it runs in the direction of the course. However, learners do not show the active attitude for vocabulary lessons despite the course to take to improve their vocabulary skills. Therefore, teachers must prepare course materials that can both improve the competence of the vocabulary of learners and cause their interest or desire on the current vocabulary. This is why teachers should exploit various materials depending on the skill level of the learner vocabulary.

Text Extraction from Complex Natural Images

  • Kumar, Manoj;Lee, Guee-Sang
    • International Journal of Contents
    • /
    • 제6권2호
    • /
    • pp.1-5
    • /
    • 2010
  • The rapid growth in communication technology has led to the development of effective ways of sharing ideas and information in the form of speech and images. Understanding this information has become an important research issue and drawn the attention of many researchers. Text in a digital image contains much important information regarding the scene. Detecting and extracting this text is a difficult task and has many challenging issues. The main challenges in extracting text from natural scene images are the variation in the font size, alignment of text, font colors, illumination changes, and reflections in the images. In this paper, we propose a connected component based method to automatically detect the text region in natural images. Since text regions in mages contain mostly repetitions of vertical strokes, we try to find a pattern of closely packed vertical edges. Once the group of edges is found, the neighboring vertical edges are connected to each other. Connected regions whose geometric features lie outside of the valid specifications are considered as outliers and eliminated. The proposed method is more effective than the existing methods for slanted or curved characters. The experimental results are given for the validation of our approach.

내부 FC층을 갖는 새로운 CNN 구조의 설계 (Design of new CNN structure with internal FC layer)

  • 박희문;박성찬;황광복;최영규;박진현
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 춘계학술대회
    • /
    • pp.466-467
    • /
    • 2018
  • 최근 이미지 인식, 영상 인식, 음성 인식, 자연어 처리 등 다양한 분야에 인공지능이 적용되면서 딥러닝(Deep learning) 기술에 관한 관심이 높아지고 있다. 딥러닝 중에서도 가장 대표적인 알고리즘으로 이미지 인식 및 분류에 강점이 있고 각 분야에 많이 쓰이고 있는 CNN(Convolutional Neural Network)에 대한 많은 연구가 진행되고 있다. 본 논문에서는 일반적인 CNN 구조를 변형한 새로운 네트워크 구조를 제안하고자 한다. 일반적인 CNN 구조는 convolution layer, pooling layer, fully-connected layer로 구성된다. 그러므로 본 연구에서는 일반적인 CNN 구조 내부에 FC를 첨가한 새로운 네트워크를 구성하고자 한다. 이러한 변형은 컨볼루션된 이미지에 신경회로망이 갖는 장점인 일반화 기능을 포함시켜 정확도를 올리고자 한다.

  • PDF

An Adaptive Utterance Verification Framework Using Minimum Verification Error Training

  • Shin, Sung-Hwan;Jung, Ho-Young;Juang, Biing-Hwang
    • ETRI Journal
    • /
    • 제33권3호
    • /
    • pp.423-433
    • /
    • 2011
  • This paper introduces an adaptive and integrated utterance verification (UV) framework using minimum verification error (MVE) training as a new set of solutions suitable for real applications. UV is traditionally considered an add-on procedure to automatic speech recognition (ASR) and thus treated separately from the ASR system model design. This traditional two-stage approach often fails to cope with a wide range of variations, such as a new speaker or a new environment which is not matched with the original speaker population or the original acoustic environment that the ASR system is trained on. In this paper, we propose an integrated solution to enhance the overall UV system performance in such real applications. The integration is accomplished by adapting and merging the target model for UV with the acoustic model for ASR based on the common MVE principle at each iteration in the recognition stage. The proposed iterative procedure for UV model adaptation also involves revision of the data segmentation and the decoded hypotheses. Under this new framework, remarkable enhancement in not only recognition performance, but also verification performance has been obtained.

디지털 맘모그램을 위한 라플라시안 피라미드에서 대비 척도를 이용한 대비 향상 방법 (A Contrast Enhancement Method using the Contrast Measure in the Laplacian Pyramid for Digital Mammogram)

  • 전금상;이원창;김상희
    • 융합신호처리학회논문지
    • /
    • 제15권2호
    • /
    • pp.24-29
    • /
    • 2014
  • X-선 유방촬영술은 유방암의 조기발견을 위해 가장 일반적으로 이용되고 있다. 유방암의 조기 발견과 진단의 효율성을 증가시키기 위하여 많은 영상향상 방법들이 연구개발 되었다. 본 논문은 디지털 맘모그램을 위하여 라플라시안 피라미드에서 대비척도를 이용한 다중 스케일 대비 향상 방법을 제안한다. 제안한 방법은 입력 영상을 가우시안 피라미드와 라플라시안 피라미드로 분해하고, 분해된 다해상도 영상의 피라미드 계수들은 저주파수 성분들과 고주파수 성분들의 비율로 대역 제한된 국부 대비척도를 정의한다. 대비 향상을 위하여 정의된 대비척도를 이용하여 분해된 피라미드 계수들을 수정하고, 수정된 계수들로 피라미드 복원 과정을 거처 최종 향상된 영상을 얻는다. 제안된 방법의 성능은 실험을 통하여 기존 방법들과 향상결과를 비교하고, 대비 측정 알고리즘을 이용한 정량적인 평가결과에서 우수한 성능을 확인하였다.