• 한국산학기술학회논문지
• /
• 제12권9호
• /
• pp.4119-4124
• /
• 2011

유성음원과 무성음원을 사용하는 멀티펄스 음성부호화 방식에 있어서, 음성신호의 진폭이 증가하거나 감소하는 경우에 음성 파형에 일그러짐이 나타난다. 이것은 대표구간의 멀티펄스를 피치구간마다 복원하는 과정에서 재생 음성신호가 정규화되는 것이 원인으로 작용한다. 이것을 해결하기위하여 본 논문에서는 피치구간마다 멀티펄스의 진폭을 보정하는 방법(AC-MPC)을 제시하였으며, 기존의 MPC와 멀티펄스 진폭을 보정한 AC-MPC의 SNRseg를 평가한 결과, AC-MPC의 남자음성에서 0.7dB, 여자음성에서 0.7dB 개선된 것을 확인할 수 있었다. 결국, MPC에 비해 AC-MPC의 SNRseg가 개선되어 음성파형의 일그러짐을 제어할 수 있었으며, 본 방법은 셀룰러폰이나 스마트폰과 같이 Low Bit Rate의 음원을 사용하여 음성신호를 부호화하는 방식에 활용할 수 있을 것으로 기대된다.

• 말소리와 음성과학
• /
• 제13권3호
• /
• pp.71-78
• /
• 2021

인공신경망에 기반한 대부분의 음성 합성 모델은 고음질의 자연스러운 발화를 생성하기 위해 보코더 모델을 사용한다. 보코더 모델은 멜 스펙트로그램 예측 모델과 결합하여 멜 스펙트로그램을 음성으로 변환한다. 그러나 보코더 모델을 사용할 경우에는 많은 양의 컴퓨터 메모리와 훈련 시간이 필요하며, GPU가 제공되지 않는 실제 서비스 환경에서 음성 합성이 오래 걸린다는 단점이 있다. 기존의 선형 스펙트로그램 예측 모델에서는 보코더 모델을 사용하지 않으므로 이 문제가 발생하지 않지만, 대신에 고품질의 음성을 생성하지 못한다. 본 논문은 뉴럴넷 기반 보코더를 사용하지 않으면서도 양질의 음성을 생성하는 Tacotron 2 & Transformer 기반의 선형 스펙트로그램 예측 모델을 제시한다. 본 모델의 성능과 속도 측정 실험을 진행한 결과, 보코더 기반 모델에 비해 성능과 속도 면에서 조금 더 우세한 점을 보였으며, 따라서 고품질의 음성을 빠른 속도로 생성하는 음성 합성 모델 연구의 발판 역할을 할 것으로 기대한다.

• 제어로봇시스템학회논문지
• /
• 제11권12호
• /
• pp.1020-1026
• /
• 2005

In the era of ubiquitous computing, human-friendly man-machine interface is getting more attention due to its possibility to offer convenient services. For this, in this paper, we introduce a 'Half-Mirror Interface System (HMIS)' as a novel type of human-friendly man-machine interfaces. Basically, HMIS consists of half-mirror, USB-Webcam, microphone, 2ch-speaker, and high-speed processing unit. In our HMIS, two principal operation modes are selected by the existence of the user in front of it. The first one, 'mirror-mode', is activated when the user's face is detected via USB-Webcam. In this mode, HMIS provides three basic functions such as 1) make-up assistance by magnifying an interested facial component and TTS (Text-To-Speech) guide for appropriate make-up, 2) Daily weather information provider via WWW service, 3) Health monitoring/diagnosis service using Chinese medicine knowledge. The second one, 'display-mode' is designed to show decorative pictures, family photos, art paintings and so on. This mode is activated when the user's face is not detected for a time being. In display-mode, we also added a 'healing-window' function and 'healing-music player' function for user's psychological comfort and/or relaxation. All these functions are accessible by commercially available voice synthesis/recognition package.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 1999년도 하계종합학술대회 논문집
• /
• pp.559-562
• /
• 1999

In this paper, we developed on internet based assembly information display system for the blind. The system is consist of hardware and software. The hardware is consist of a voice synthesis device and a tactile display for character information, and the software is consist of internet web browser for the blind and braille program. The tactile-device system consists of a control unit, pin array, pin generator, serial port, and a power supply. The pin exerted by a electromagnetic method, solenoid. The internet web browser separates the character and image from internet web page, and character information in the web page is converted to braille and fed to sound system. Also the image in the web page can be printed developed tactile display. As the results of experiment, the blind could access the internet web site by using this system and understand various internet information.

• 한국음향학회지
• /
• 제15권2호
• /
• pp.61-71
• /
• 1996

본 논문에서는 음성합성을 위한 대화체(회화체) 음성의 triphone 단위 데이터베이스 구축에 대하여 보고한다. 특히 본 연구는 방송 매체를 이용하여 대화체 음성을 수집하고 3차에 걸친 대화체 표기(transcription)작업을 거쳐 triphone 단위의 분할 및 음성기호층 단계의 레이블링을 목표로 진행되었다. 수집된 총 10시간 방송분량중 6시간 분량을 데이터베이스 구축에 사용하였으며, 나머지 4시간은 예비 분으로 수집되었다. 낭독체 음성 데이터베이스 구축과는 여러 면에서 다른, 대화체 음성 데이터베이스 구축을 위한 음성 데이터 수집에서부터 triphone 단위 레이블링까지의 과정을 본 논문에서 기술하고, 보다 체계적이고 일관성있는 대화체 음성 데이터베이스 구축을 위해 필요한 계획 및 요구 사항에 대해서 논하고자 한다.

• 로봇학회논문지
• /
• 제13권1호
• /
• pp.16-25
• /
• 2018

The talking head (TH) indicates an utterance face animation generated based on text and voice input. In this paper, we propose the generation method of TH with facial expression and intonation by speech input only. The problem of generating TH from speech can be regarded as a regression problem from the acoustic feature sequence to the facial code sequence which is a low dimensional vector representation that can efficiently encode and decode a face image. This regression was modeled by bidirectional RNN and trained by using SAVEE database of the front utterance face animation database as training data. The proposed method is able to generate TH with facial expression and intonation TH by using acoustic features such as MFCC, dynamic elements of MFCC, energy, and F0. According to the experiments, the configuration of the BLSTM layer of the first and second layers of bidirectional RNN was able to predict the face code best. For the evaluation, a questionnaire survey was conducted for 62 persons who watched TH animations, generated by the proposed method and the previous method. As a result, 77% of the respondents answered that the proposed method generated TH, which matches well with the speech.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권3호
• /
• pp.49-59
• /
• 2020

본 논문에서는 규칙 기반의 동시조음 모델을 통해 한국어에 특화된 스피치 애니메이션을 생성하는 모델을 제안한다. 음성에 대응되는 입 모양 애니메이션을 생성하는 기술은 영어를 중심으로 많은 연구가 진행되어 왔으며, 자연스럽고 사실적인 모션이 필요한 영화, 애니메이션, 게임 등의 문화산업 전반에 널리 활용된다. 그러나 많은 국내 콘텐츠의 경우, 스피치 애니메이션을 생략하거나 음성과 상관없이 단순 반복 재생한 뒤 성우가 더빙하는 형태로 시각적으로 매우 부자연스러운 결과를 보여준다. 또한, 한국어에 특화된 모델이 아닌 언어 비의존적 연구는 아직 국내 콘텐츠 제작에 활용될 정도의 퀄리티를 보장하지 못한다. 따라서 본 논문은 음성과 텍스트를 입력받아 한국어의 언어학적 특성을 반영한 자연스러운 스피치 애니메이션 생성 기술을 제안하고자 한다. 한국어에서 입 모양은 대부분 모음에 의해 결정된다는 특성을 반영하여 입술과 혀를 분리한 동시조음 모델을 정의해 기존의 입술 모양에 왜곡이 발생하거나 일부 음소의 특성이 누락되는 문제를 해결하였으며, 더 나아가 운율적 요소에 따른 차이를 반영하여 보다 역동적인 스피치 애니메이션 생성이 가능하다. 제안된 모델은 유저 스터디를 통해 자연스러운 스피치 애니메이션을 생성함을 검증하였으며, 향후 국내 문화산업 발전에 크게 기여할 것으로 기대된다.

• 대한후두음성언어의학회지
• /
• 제14권1호
• /
• pp.16-25
• /
• 2003

후두암은 유병율이 높지만 조기에 발견하면 90% 이상의 치유율과 발성기능의 보존이 가능하며 현재 음성분석을 이용한 진단법이 시도되고 있으나 정립된 선별검사법은 없는 실정이다. 성문전도검사(electroglottography, EGG)는 성대의 진동양상을 알 수 있는 비침습적 검사로서 발성과 음성합성의 연구에 많이 사용되고 있다. 본 연구는 EGG에서 관찰되는 파라미터들을 다층 퍼셉트론(multilayer perceptron)구조의 신경회로망(artificial neural network)으로 감별하는 기법을 이용하여 후두암 감별법에 대한 연구로서 부산대학교병원을 내원한 후두암 환자 10명과 양성후두질환 26명을 대상으로 새로 고안한 Electroglottograph(v1.0)를 이용하여 검사하고 이의 임상적 유용성을 평가하였다. EGG 파라미터인 closed quotient(CQ), speed quotient(SQ), speed index(SI), fundamental frequency(F0), Jitter, Shimmer 등은 MATLAB 6.5 (Mathwork, Inc.)로 작성한 분석 프로그램을 이용하여 추출하였다. 각 환자에서 추출된 EGG 파라미터들을 다층 퍼셉트론 구조의 신경회로망으로 감별하였다. CQ는 각 질환군 간에 유의한 차이가 없었지만 SQ, SI, Jitter, Shimmer 등은 성대질환의 특성에 따라 유의한 차이를 보였다. 신경회로망에서 감별한 결과 CQ를 제외한 SQ, SI, Jitter, Shimmer 등에서 71.3-90%의 후두암의 감별율을 보였다. 또한 SQ, SI, Jitter, Shimmer를 3개씩 조합한 실험에서는 SQ-Jitter-Shimmer와 SQ-SI-Shimmer의 후두암의 감별율이 93%로 가장 높았고, SQ-SI-Jitter 90.9%, SI-Jitter-Shimmer 88.6%로 전체적으로 85% 이상의 높은 감별율을 나타내었다. 이러한 결과는 EGG검사와 신경회로망을 이용한 양성과 악성 후두질환의 감별이 가능함을 시사한다. 향후 성대 질환의 병태생리를 대변할 수 있는 파라미터가 추가로 개발되고 분류 알고리듬이 개선된다면 EGG를 이용한 성대질환의 감별 진단이 보다 정확해질 것으로 사료되었다.

• 예술인문사회 융합 멀티미디어 논문지
• /
• 제8권6호
• /
• pp.927-937
• /
• 2018

본 논문은 공학적 응용의 기초가 되는 신호 처리의 관점에서 한국어의 평양 지역어의 자음과 서울 지역어의 자음에 대한 비교 연구를 수행하였다. 지금까지 대다수의 음성학적 연구는 언어의 진화에서 중요한 역할을 하는 모음을 중심으로 이루어져 왔다. 그러나 어떤 언어든 거의 모든 경우 자음의 수가 모음의 수보다 많다. 따라서 자음에 대한 음성학적 연구 또한 언어 연구에서 중요한 것이다. 본 논문은 음운론적 또는 실험음성학적 방법들로 진행된 평양 지역어의 모음 연구에 더하여 공학적인 방법으로 자음 연구를 수행하였다. 평양 지역어와 서울 지역어에서 음가상 많은 차이를 보이는 치경 자음을 데이터로 하였고 음성신호의 주요한 파라미터들 - 포먼트 주파수, 피치, 스펙트로그램 등 - 을 측정하였다. 한국어 /시/와 /씨/에 대한 두 지역어의 음가를 비교하였다. 이러한 연구는 앞으로 음성 인식과 음성 합성을 위한 기초 자료로 활용될 수 있을 것이다.

• 한국콘텐츠학회논문지
• /
• 제20권8호
• /
• pp.114-127
• /
• 2020

최근의 팬데믹 사태 이후, 온라인 공연 시장은 확대되고 있다. 그러나 국내 온라인 공연은 도입시기가 짧아 관련 선행연구나 성공사례가 부족하고 대부분 단발성 프로젝트에 그치거나 수익이 저조하여 본격적인 활성화 방안 연구가 필요하다. 이때 십 년 전부터 진행된 예술의 전당 Sac on Screen 사업은 자체 영상화 경험이 있고 상영작품 및 상영처 역시 다양하여 참조할 만하다. 또한 매년 만족도 조사를 실시하고 있어 근래 3년간의 자료 중, 고객의 목소리를 바탕으로 해당 사업을 평가하였다. 이후, 분석된 조사내용을 갖고 전문가 그룹을 통해 무료와 유료 버전의 비즈니스 모델 캔버스를 도출하였다. 종합 결과, 첫째로 온라인 공연에 대한 연구 확대, 둘째로 콘텐츠의 품질관리 책임의식 필요, 셋째로 콘텐츠 선택지의 다양성 강화, 넷째로 온라인 공연의 생동감 제고, 다섯째로 민간 차원의 투자 유치와 부가가치 상품 개발이 주요 시사점으로 도출되었다.