• 한국음향학회지
• /
• 제39권3호
• /
• pp.143-149
• /
• 2020

본 논문에서는 딥러닝(deep learning)을 이용하여 환경음 분류 시 전처리 단계에서 사용하는 특징 추출 방법이 콘볼루션 신경망의 분류 성능에 미치는 영향에 대해서 다루었다. 이를 위해 환경음 분류 연구에서 많이 사용되는 UrbanSound8K 데이터셋에서 멜 스펙트로그램(mel spectrogram), 로그 멜 스펙트로그램(log mel spectrogram), Mel Frequency Cepstral Coefficient(MFCC), 그리고 delta MFCC를 추출하고 각각을 3가지 분포로 스케일링하였다. 이 데이터를 이용하여 4 종의 콘볼루션 신경망과 이미지넷에서 좋은 성능을 보였던 VGG16과 MobileNetV2 신경망을 학습시킨 다음 오디오 특징과 스케일링 방법에 따른 인식률을 구하였다. 그 결과 인식률은 스케일링하지 않은 로그 멜 스펙트럼을 사용했을 때 가장 우수한 것으로 나타났다. 도출된 결과를 모든 오디오 인식 문제로 일반화하기는 힘들지만, Urbansound8K의 환경음이 포함된 오디오를 분류할 때는 유용하게 적용될 수 있을 것이다.

• 방송공학회논문지
• /
• 제11권2호
• /
• pp.200-206
• /
• 2006

본 논문은 음성 부호화기에서 입력 오디오 신호가 보다 효과적으로 처리되도록 하기 위해 입력오디오신호를 전 처리하는 방법을 소개한다. 이를 위해 본 논문은 잡음억제 및 적응이득제어 방법을 도입한다. 여기서 입력 오디오 신호는 잡음 부가된 신호로 간주되며 그 오디오 신호의 부호화오차신호는 부가된 잡음신호로 간주된다. 입력 오디오 신호는 기존의 잡음억제방식에 따라 잡음신호 즉, 부호화 오차신호가 억제된 뒤 적응이득제어기를 거쳐 최종적으로 음성 부호화기에 인가된다. 결과적으로 이러한 동작을 통하여 입력 오디오 신호의 주파수 스펙트럼 분포가 음성 부호화기 특성에 맞게 재배치된다 이 방법의 하나의 단점은 부호화 오차를 계산하기 위해 사전에 추가적인 부호화 동작이 필요하다는 것이다. 반면, 이 방법은 일반적인 구조를 가지고 있으며 따라서 기존의 여러 음성부호화기에 쉽게 적용될 수 있다는 장점을 가진다. 주관적인 선호도 조사결과 제안된 방법이 복잡한 음악신호로 기인한 성가신 잡음을 사전에 억제해 주며 결과적으로 음질개선을 가져다준다는 것을 확인할 수 있었다.

• 대한임베디드공학회논문지
• /
• 제18권4호
• /
• pp.159-164
• /
• 2023

Solar energy harvesting IoT devices prioritize maximizing the utilization of collected energy due to the periodic recharging nature of solar energy, rather than minimizing energy consumption. Meanwhile, research on edge AI, which performs machine learning near the data source instead of the cloud, is actively conducted for reasons such as data confidentiality and privacy, response time, and cost. One such research area involves performing various audio AI applications using audio data collected from multiple IoT devices in an IoT edge computing environment. However, in most studies, IoT devices only perform sensing data transmission to the edge server, and all processes, including data preprocessing, are performed on the edge server. In this case, it not only leads to overload issues on the edge server but also causes network congestion by transmitting unnecessary data for learning. On the other way, if data preprocessing is delegated to each IoT device to address this issue, it leads to another problem of increased blackout time due to energy shortages in the devices. In this paper, we aim to alleviate the problem of increased blackout time in devices while mitigating issues in server-centric edge AI environments by determining where the data preprocessed based on the energy state of each IoT device. In the proposed method, IoT devices only perform the preprocessing process, which includes sound discrimination and noise removal, and transmit to the server if there is more energy available than the energy threshold required for the basic operation of the device.

• Journal of Information Processing Systems
• /
• 제2권1호
• /
• pp.13-17
• /
• 2006

In this paper, we propose an audio extraction method to decrease the influence of the original signal by modifying the watermarking detection system proposed by P. Bassia et al. In the extraction of the watermark, we employ a simple mean filter to remove the influence of the original signal as a preprocessing of extraction and the repetitive insertion of the watermark. As the result of the experiment, for which we used about 20 kinds of actual audio data, we obtain a watermark detection rate of about 95% and a good performance even after the various signal processing attacks.

• 방송공학회논문지
• /
• 제6권2호
• /
• pp.195-202
• /
• 2001

디지털 워터마킹 기법은 디지털 멀티미디어 컨텐츠의 저작권 보호를 위한 새로운 해결책으로 제시되고 있으며, 국내외에서 이와 관련된 연구가 활발히 진행되고 있다. 본 논문에서는 최근 들어 많은 관심을 끌고있는 디지털 오디오의 저작권 보호를 위한 새로운 워터마킹 방법을 소개한다. 제안된 워터마킹 기법은 MPEG의 심리음향모델을 사용하여 지각적으로 감지되지 않을 뿐 아 니라, 워터마크 검출 시에도 전처리 과정을 거쳐 원본 오디오 신호 없이도 워터마크의 검출이 가능하다. 개발된 오디오 워터마킹기술은 원본 오디오에 비해 오디오의 품질이 떨어지지 않을 뿐 아니라, 워터마크를 제거하고자 가해지는 다양한 공격에도 워터마크가 제거되지 않는 특징을 가지고 있다. 또한, 기존의 확산대역 방식을 이용하는 워터마킹 방법이 시간축 변형 공격에 상당히 취약한 단점을 가지는 것에 비해, 제안된 방법은 변형된 형태의 원본 신호를 워터마크로 사용하여 시간축 공격에도 안정적으로 워터마크를 검출할 수 있었다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2005년도 춘계종합학술대회
• /
• pp.1133-1136
• /
• 2005

The MPEG/audio standard results from three years of co-work by an international committe of high-fidelity audio compression experts in the Moving Picture Experts Group (MPEG/audio). The MPEG standard is rigid only where necessary to ensure interoperability. In this paper, a new approach of training and classification of acoustic signal is addressed. This is some what a fields of application aspects rather than technonical problems such as MPEG/codec, MIDI. In preprocessing, acoustic signal is transformmed using DWT so as to extract a feature parameters of sound such as loudness, pitch, bandwidth and harmonicity. these accoustic parameters are exploited to the input vector of neural perceptron. Experimental results showed that proposed approach can be used for tunning the dissonance chord.

• Journal of Information Processing Systems
• /
• 제17권4호
• /
• pp.754-771
• /
• 2021

In the task of continuous dimension emotion recognition, the parts that highlight the emotional expression are not the same in each mode, and the influences of different modes on the emotional state is also different. Therefore, this paper studies the fusion of the two most important modes in emotional recognition (voice and visual expression), and proposes a two-mode dual-modal emotion recognition method combined with the attention mechanism of the improved AlexNet network. After a simple preprocessing of the audio signal and the video signal, respectively, the first step is to use the prior knowledge to realize the extraction of audio characteristics. Then, facial expression features are extracted by the improved AlexNet network. Finally, the multimodal attention mechanism is used to fuse facial expression features and audio features, and the improved loss function is used to optimize the modal missing problem, so as to improve the robustness of the model and the performance of emotion recognition. The experimental results show that the concordance coefficient of the proposed model in the two dimensions of arousal and valence (concordance correlation coefficient) were 0.729 and 0.718, respectively, which are superior to several comparative algorithms.

• 방송공학회논문지
• /
• 제22권5호
• /
• pp.632-642
• /
• 2017

본 논문에서는 미디어 오디오의 음향 특성 및 문맥 정보를 활용한 DNN 기반 음성 검출 시스템을 제안한다. 미디어 오디오 내에 포함되어 있는 음성과 비음성을 구분하기 위한 음성 검출 기법은 효과적인 음성 처리를 위해 필수적인 전처리 기술이지만 미디어 오디오 신호에는 다양한 형태의 음원이 복합적으로 포함되어 있으므로 기존의 신호처리 기법으로는 높은 성능을 얻기에는 어려움이 있었다. 제안하는 기술은 미디어 오디오의 고조파와 퍼커시브 성분을 분리하고, 오디오 콘텐츠에 포함된 문맥 정보를 반영하여 DNN 입력 벡터를 구성함으로써 음성 검출 성능을 개선할 수 있다. 제안하는 시스템의 성능을 검증하기 위하여 20시간 이상 분량의 드라마를 활용하여 음성 검출용 데이터 세트를 제작하였으며 범용으로 공개된 8시간 분량의 헐리우드 영화 데이터 세트를 추가로 확보하여 실험에 활용하였다. 실험에서는 두 데이터 세트에 대한 교차 검증을 통하여 제안하는 시스템이 기존 방법에 비해 우수한 성능을 보임을 확인하였다.

• 한국컴퓨터정보학회논문지
• /
• 제12권6호
• /
• pp.97-104
• /
• 2007

본 논문에서는 오디오를 내용기반으로 분석, 분류, 검색하기 위하여 사용되어 온 특징 추출 기법의 문제점을 제시하며, 새로운 검색 방법을 위해 하나의 전처리 과정을 제안한다. 기존 오디오 데이터 분석은 샘플링을 어떻게 하느냐에 따라 특징 값이 달라지기 때문에 같은 음악이라도 다른 음악으로 인식될 수 있는 문제를 갖고 있다. 따라서 본 논문에서는 다양한 포맷의 오디오 데이터를 내용 기반으로 검색하기 위해 PCM 데이터의 파형 정보 추출 방법을 제안한다. 이 방법을 이용하여 다양한 포맷으로 샘플링 된 오디오 데이터들이 같은 데이터임을 발견 할 수 있으며, 이는 내용기반 음악검색에 적용 할 수 있을 것이다. 이 방법의 유효성을 증명하기 위해 STFT를 이용한 특징 추출과 PCM 데이터의 파형 정보를 이용한 추출 실험을 하였으며, 그 결과 PCM데이터의 파형 정보 추출 방법이 효과적임을 보였다.

• 한국음향학회지
• /
• 제41권3호
• /
• pp.312-318
• /
• 2022

본 논문은 딥러닝기법 중 하나인 합성곱 신경망과 순환 신경망 중 하나인 장단기 메모리를 이용하여 사격시 발생하는 소음(이하 사격음)만으로 화기의 종류, 사격음 발생지점에 관한 정보(거리와 방향)을 추정하는 모델을 다루었다. 이를 위해 미국 법무부 산하 연구소의 지원하에 생성된 Gunshot Audio Forensic Dataset을 이용하였으며, 음향신호를 멜 스펙트로그램(Mel-Spectrogram)으로 변환한 후, 4종의 합성곱 신경망과 1종의 장단기 메모리 레이어로 구성된 딥러닝 모델에 학습 및 검증 데이터로 제공하였다. 제안 모델의 성능을 확인하기 위해 합성곱 신경망으로만 구성된 대조 모델과 비교·분석하였으며, 제안 모델의 정확도가 90 % 이상으로 대조모델보다 우수한 성능을 보였다.