• 제목/요약/키워드: Image to Speech

검색결과 188건 처리시간 0.026초

이미지 분석과 딥 러닝을 통한 영유아 위험물 탐지 (Detection of Dangerous Things to Infants through Image Analysis and Deep Learning)

  • 김휘준;박길섭;서영학;김경섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.845-848
    • /
    • 2017
  • 본 논문은 이미지 탐지 모델인 Faster R-CNN을 통해 영유아가 존재하는 어린이 집, 공원, 놀이터, 거실 등의 2D 이미지를 읽어 영유아에게 위험이 되는 요소를 인식해 위험상황을 감지하는 시스템을 구현하였다. 실생활에서 쉽게 구할 수 있는 데이터를 바탕으로 탐지 모델을 구현 했으며 현재 머신 러닝 분야가 음성인식과 행위데이터를 기반으로 상용화 되어 있는 반면 본 모델은 이미지를 데이터로 한 탐지 모델이 다양한 서비스 분야에서 활용 될 수 있음을 보여준다.

변형된 창함수의 성능향상에 관한 연구 (A Study on Performance Improvement of Modified Window Function)

  • 이경효;김남호
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2008년도 춘계종합학술대회 A
    • /
    • pp.925-928
    • /
    • 2008
  • 현대 사회의 정보처리 기술은 디지털 기술을 기반으로 하여 빠르게 성장하고 있다. 이러한 디지털 처리기술은 신호를-음성 및 영상처리- 전달하고 해석하는 과정에서 다양한 방법을 사용하여 신호를 획득, 저장하고 있다. 효과적인 신호처리를 위해 다양한 필터가 사용되고 있으며 대표적인 디지털 필터로써는 FIR 필터와 IIR 필터가 있다. 디지털 FIR 필터는 IIR 필터에 비해 안정적이며, 선형위상 응답특성을 갖고 있다. 하지만, 디지털 FIR 필터의 불연속 구간에서의 깁스현상이 발생하는 문제점을 가지며 이것을 극복하는 것이 주요한 관건이라 하겠다. 따라서 본 논문에서는 창함수를 이용한 FIR 필터를 제시하였으며, 기존에 사용한 창함수와 비교를 통하여 성능의 우수함을 나타내었다.

  • PDF

딥러닝 모형의 복잡도에 관한 연구 (A study on complexity of deep learning model)

  • 김동하;백규승;김용대
    • Journal of the Korean Data and Information Science Society
    • /
    • 제28권6호
    • /
    • pp.1217-1227
    • /
    • 2017
  • 딥러닝은 영상 인식, 음성 인식 등 기존의 머신 러닝 기법들로 해결이 어려웠던 분야에서 매우 우수한 성능을 보였고, 그로 인해 딥러닝의 폭발적인 연구의 증가가 있었다. 좋은 성능을 보이는 모형 및 모수 추정 방법에 대한 연구들이 주를 이루고 있는 현 흐름 속에서 딥러닝의 이론적인 연구 또한 조심스럽게 진행되고 있다. 본 논문에서는 딥러닝의 성공을 딥러닝 함수가 복잡한 함수를 효율적으로 잘 표현할 수 있음에 해답을 찾고, 이에 관련된 이론적인 연구들을 조사하여 분석하고자 한다.

신호 복원을 위한 웨이브렛기반 알고리즘 (Wavelet-based Algorithm for Signal Reconstruction)

  • 배상범;김남호
    • 한국정보통신학회논문지
    • /
    • 제11권1호
    • /
    • pp.150-156
    • /
    • 2007
  • 신호를 처리하는 과정에서 여러 가지 원인에 의해 잡음이 발생하고 있으며, 이에 따라 전송 데이터에서 오류가 발생하거나, 영상 및 음성 데이터의 인지도를 저하시킨다. 따라서 이러한 잡음들을 제거하여 신호를 복원하기 위한 다양한 방법들이 연구되고 있다. 현재, 시간-주파수 국부성을 갖고, 다중해상도 해석이 가능한 웨이브렛 변환이 많은 공학 분야에서 응용되고 있으며, 잡음 제거를 위해 문턱값과 상관관계를 이용한 방법 등이 제시되었다. 그러나 기존의 방법들은 여전히 많은 잡음들을 에지로서 판단하며, AWGN과 임펄스 잡음을 동시에 제거하기 위한 방법을 제공하지 않는다. 따라서 본 논문에서는 잡음에 의해 훼손된 신호를 복원하기 위하여, 새로운 웨이브렛기반 알고리즘을 제시하였으며, 기존의 방법들과 비교하였다.

한국어 모음 입술독해를 위한 시공간적 특징에 관한 연구 (A Study on Spatio-temporal Features for Korean Vowel Lipreading)

  • 오현화;김인철;김동수;진성일
    • 한국음향학회지
    • /
    • 제21권1호
    • /
    • pp.19-26
    • /
    • 2002
  • 본 논문에서는 한국어 입술독해를 위한 기반 연구로서 음성학에 기반하여 음성의 시각적 기본 단위인 viseme을 정의하고 입술의 움직임을 적절히 표현할 수 있는 특징들을 추출하여 그 성능을 분석하였다. 먼저, 다수의 화자로부터 한국어 모음에 해당하는 입술의 동영상 데이터베이스를 획득하고 각모음별 시각적 특성을 분석하여 7개의 한국어 모음 viseme을 정의하였으며 입술 윤곽선상의 특징점과 시공간적 특징 벡터들을 추출하여 은닉 마르코프 모델에 적용함으로써 효과적인 입술독해를 위한 각 특징 벡터별 성능을 비교하였다. 7개의 한국어 각 viseme에 대한 인식 실험 결과에서 입술의 안팎 윤곽선의 정보가 모두 반영된 특징 벡터가 입술독해에 효과적으로 적용될 수 있으며 윤곽선 상의 특징점들의 시간적 움직임 크기와 방향이 입술독해를 위하여 매우 중요한 요소임을 확인할 수 있었다.

현대 일러스트레이션에서 修辭學的 표현 연구 (A Study of Rhetorical Expression in Modern Illustration)

  • 문철
    • 디자인학연구
    • /
    • 제15권2호
    • /
    • pp.91-100
    • /
    • 2002
  • 수사학(rethoric)은 원래 고대 그리스나 로마 시대 웅변의 방법, 설화술 등의 설득을 위한 학문활동이라고 볼 수 있으나, 오늘날에는 문체의 본질 혹은 문장 표현상의 용어법 연구를 말한다. 현대 수사학은 수사학 학자들이 예측한 대로 단순히 언어와 관련된 학문의 범위를 넘어서 다양한 문화, 매체, 커뮤니케이션 등의 설득적 담론과 시와 같은 비설득적 담론은 물론, 시각언어의 영역으로까지 확대되고 있다. 시각디자인 영역에서도 무엇을 어떻게 말할 것인가에 대한 연구가 활발히 진행되어 왔는데, 하나의 시각표현물이 보는 이들을 설득해 작가의 의도를 이해하도록 하고 궁극적으로 행동을 유도하는 커뮤니케이션 활동이라는 점에서 어떻게 말할 것인가에 관한 문제는 결코 소홀히 할 수 없는 것이다. 어떻게 하면 좀더 설득적으로 메시지를 형상화하느냐의 문제를 해결하기 위하여, 설득적 방법을 논하는 학문인 수사학을 시각언어에 활용하는 것은 당연하다. 오늘날 일러스트레이션 등의 분야에 있어서 적절한 비유나 강조, 변화 등을 추구하는 수사적 표현의 사용은 신선한 느낌을 주어 쉽게 보는 이들과 친밀해질 수 있는 바탕을 마련한다. 이런 표현들은 항상 호기심을 가지고 새로움을 추구하는 현대인의 심리를 충족시키고 일러스트레이션의 내용에 생기를 불어넣으며, 그로 인해 기대하는 효과를 얻을 수 있도록 한다. 즉, 시각적 이미지와 그것에 상응하는 언어적 해석을 통해서 그 본질적인 의미를 새롭게 발견할 수 있는 것이다. 본 연구는 전통적 언어에서의 수사학과 시각언어에서의 수사적 표현법의 분류가 일치하지는 않으나, 동일하게 커뮤니케이션 작용을 목적으로 한다는 차원에서 수사학적 의미작용이 현대 일러스트레이션에 있어서 어떠한 메커니즘을 가지고 있고, 또 그 시각적 효과는 어떠한지를 조사하여 그 활용가능성을 알아보았다.

  • PDF

축적 컴퓨팅을 위한 멤리스터 소자의 최적화 (Optimization of Memristor Devices for Reservoir Computing)

  • 박경우;심현진;오호빈;이종환
    • 반도체디스플레이기술학회지
    • /
    • 제23권1호
    • /
    • pp.1-6
    • /
    • 2024
  • Recently, artificial neural networks have been playing a crucial role and advancing across various fields. Artificial neural networks are typically categorized into feedforward neural networks and recurrent neural networks. However, feedforward neural networks are primarily used for processing static spatial patterns such as image recognition and object detection. They are not suitable for handling temporal signals. Recurrent neural networks, on the other hand, face the challenges of complex training procedures and requiring significant computational power. In this paper, we propose memristors suitable for an advanced form of recurrent neural networks called reservoir computing systems, utilizing a mask processor. Using the characteristic equations of Ti/TiOx/TaOy/Pt, Pt/TiOx/Pt, and Ag/ZnO-NW/Pt memristors, we generated current-voltage curves to verify their memristive behavior through the confirmation of hysteresis. Subsequently, we trained and inferred reservoir computing systems using these memristors with the NIST TI-46 database. Among these systems, the accuracy of the reservoir computing system based on Ti/TiOx/TaOy/Pt memristors reached 99%, confirming the Ti/TiOx/TaOy/Pt memristor structure's suitability for inferring speech recognition tasks.

  • PDF

영화 속 클래식 음악의 기능분석:영화 <체실비치에서>를 중심으로 (Functional Analysis of Classical Music in Film: Focused on )

  • 강은수;안수환
    • 한국콘텐츠학회논문지
    • /
    • 제22권3호
    • /
    • pp.152-164
    • /
    • 2022
  • 이 논문은 도미니크 쿠크(Dominic Cooke)감독의 영화 <체실비치에서>(On Chesil Beach, 2017)의 줄거리와 클래식 음악과 영화의 의미연합 관계를 탐구하는 것으로, 내러티브에 의한 정보가 클래식 음악이 지닌 정보와 어떻게 연합하는지를 분석하고 있다, 이를 위하여 베쉬위너(David Bashwiner)가 분석한 영화 <킹스 스피치>(King's Speech, 2010)의 마지막 장면과 베토벤 심포니의 음량 및 기악법 변화와의 관계, 그리고 안수환이 분석한 <그린 북>(Green Book, 2018)의 호텔 대화 장면과 드뷔시의 아라베스크에서 나타나는 변화에 의한 의미 연합 연구를 방법론으로 활용하였다. 또한 악곡이 지닌 음악 외적인 정보를 통하여 어떻게 청각적 의미를 생성하는 지를 슈만의 '트로이메라이'를 활용한 분석을 선행연구로 삼아 방법론으로 활용하였다. 영화 <체실비치에서>에는 모차르트의 K.593과 하이든의 Op.77 No.1, 그리고 슈베르트의 D. 810이 활용되었다. 본 연구는 <체실비치에서>에 나타난 모차르트, 하이든, 슈베르트의 곡이 어떤 기능을 하고 있는지를 분석하였다. 이 영화는 등장인물들의 관계와 내면적 의도를 표현하기 위하여 악기 간의 관계, 음악적 정보와 음악외적 정보 등을 활용하였다. 이러한 클래식 음악의 정보들과 영화의 줄거리적 핵심 정보는 감상의 이해를 향상시키는 기능이 있음을 본 연구를 통하여 알 수 있다.

오디오 데이터 내 개인 신상 정보 검출과 마스킹을 위한 인공지능 API의 활용 및 음성 분할 방법의 연구 (A System of Audio Data Analysis and Masking Personal Information Using Audio Partitioning and Artificial Intelligence API)

  • 김태영;홍지원;김도희;김형종
    • 정보보호학회논문지
    • /
    • 제30권5호
    • /
    • pp.895-907
    • /
    • 2020
  • 최근 기존 텍스트 기반 콘텐츠 외 멀티미디어 콘텐츠의 영향력이 급증함에 따라 콘텐츠 내 정보들을 처리할 수 있도록 도와주는 서비스가 콘텐츠 이용에 큰 편리함을 주고 있다. 이러한 서비스의 대표적인 기능으로는 중요 정보에 대한 검색과 마스킹이 있다. 텍스트 데이터와 이미지 데이터의 검색 및 마스킹 기술을 제공해주는 솔루션들은 활발히 보급되고 있어 쉽게 접할 수 있다. 그러나 오디오 콘텐츠의 경우, 검색 및 마스킹의 필요성은 인식되지만 기술의 난이도로 인해 범용적으로 적용되는 솔루션을 찾는 것이 쉽지 않다. 본 논문은 음성 분할을 이용하여 오디오 데이터 내 정보 검색과 마스킹 기능을 제공하는 웹 애플리케이션을 제안한다. 추가적으로, 국내외 인공지능 기반 음성 인식 API에 대한 분석을 통해 적절한 API의 선택을 진행하였으며, 정규식을 이용한 개인 신상 정보의 검출 방법을 제시하였다. 마지막으로 구현결과의 정확도를 측정하여 성능을 검증하였다. 본 논문의 기여점은 오디오 데이터 내 특정 패턴의 검출 및 마스킹 기능을 설계하고 실험을 통해 검증한 것에 있다.

한국형 멀티모달 몽타주 앱을 위한 생성형 AI 연구 (Research on Generative AI for Korean Multi-Modal Montage App)

  • 임정현;차경애;고재필;홍원기
    • 서비스연구
    • /
    • 제14권1호
    • /
    • pp.13-26
    • /
    • 2024
  • 멀티모달 (multi-modal) 생성이란 텍스트, 이미지, 오디오 등 다양한 정보를 기반으로 결과를 도출하는 작업을 말한다. AI 기술의 비약적인 발전으로 인해 여러 가지 유형의 데이터를 종합적으로 처리해 결과를 도출하는 멀티모달 기반 시스템 또한 다양해지는 추세이다. 본 논문은 음성과 텍스트 인식을 활용하여 인물을 묘사하면, 몽타주 이미지를 생성하는 AI 시스템의 개발 내용을 소개한다. 기존의 몽타주 생성 기술은 서양인들의 외형을 기준으로 이루어진 반면, 본 논문에서 개발한 몽타주 생성 시스템은 한국인의 안면 특징을 바탕으로 모델을 학습한다. 따라서, 한국어에 특화된 음성과 텍스트의 멀티모달을 기반으로 보다 정확하고 효과적인 한국형 몽타주 이미지를 만들어낼 수 있다. 개발된 몽타주 생성 앱은 몽타주 초안으로 충분히 활용 가능하기 때문에 기존의 몽타주 제작 인력의 수작업을 획기적으로 줄여줄 수 있다. 이를 위해 한국지능정보사회진흥원의 AI-Hub에서 제공하는 페르소나 기반 가상 인물 몽타주 데이터를 활용하였다. AI-Hub는 AI 기술 및 서비스 개발에 필요한 인공지능 학습용 데이터를 구축하여 원스톱 제공을 목적으로 한 AI 통합 플랫폼이다. 이미지 생성 시스템은 고해상도 이미지를 생성하는데 사용하는 딥러닝 모델인 VQGAN과 한국어 기반 영상생성 모델인 KoDALLE 모델을 사용하여 구현하였다. 학습된 AI 모델은 음성과 텍스트를 이용해 묘사한 내용과 매우 유사한 얼굴의 몽타주 이미지가 생성됨을 확인할 수 있다. 개발된 몽타주 생성 앱의 실용성 검증을 위해 10명의 테스터가 사용한 결과 70% 이상이 만족한다는 응답을 보였다. 몽타주 생성 앱은 범죄자 검거 등 얼굴의 특징을 묘사하여 이미지화하는 여러 분야에서 다양하게 사용될 수 있을 것이다.