• 한국멀티미디어학회논문지
• /
• 제24권12호
• /
• pp.1606-1613
• /
• 2021

Recently various attempts to control hardware through integration of sensors and artificial intelligence have been made. This paper proposes a smart hazardous sound detection at home. Previous sound recognition methods have problems due to the processing of background sounds and the low recognition accuracy of high-frequency sounds. To get around these problems, a new MFCC(Mel-Frequency Cepstral Coefficient) algorithm using Wiener filter, modified filterbank is proposed. Experiments for comparing the performance of the proposed method and the original MFCC were conducted. For the classification of feature vectors extracted using the proposed MFCC, DNN(Deep Neural Network) was used. Experimental results showed the superiority of the modified MFCC in comparison to the conventional MFCC in terms of 1% higher training accuracy and 6.6% higher recognition rate.

• International Journal of Computer Science & Network Security
• /
• 제23권8호
• /
• pp.40-48
• /
• 2023

Speech Emotions recognition has become the active research theme in speech processing and in applications based on human-machine interaction. In this work, our system is a two-stage approach, namely feature extraction and classification engine. Firstly, two sets of feature are investigated which are: the first one is extracting only 13 Mel-frequency Cepstral Coefficient (MFCC) from emotional speech samples and the second one is applying features fusions between the three features: Zero Crossing Rate (ZCR), Teager Energy Operator (TEO), and Harmonic to Noise Rate (HNR) and MFCC features. Secondly, we use two types of classification techniques which are: the Support Vector Machines (SVM) and the k-Nearest Neighbor (k-NN) to show the performance between them. Besides that, we investigate the importance of the recent advances in machine learning including the deep kernel learning. A large set of experiments are conducted on Surrey Audio-Visual Expressed Emotion (SAVEE) dataset for seven emotions. The results of our experiments showed given good accuracy compared with the previous studies.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.1055-1056
• /
• 2023

이 논문은 음성 데이터를 이용하여 치매 징후를 진단하는 프로그램을 개발하는 과정과 결과에 대해 소개한다. MFCC (Mel-frequency cepstral coefficients) 기술을 사용하여 음성 패턴을 추출하고 기계 학습 모델을 적용하여 치매 징후를 탐지하는 방법을 설명한다. 실험 결과는 치매 조기 진단 및 관리에 유용한 음성 기반 도구의 중요성을 강조한다.

• Journal of Information Processing Systems
• /
• 제20권1호
• /
• pp.13-23
• /
• 2024

Music brings pleasure and relaxation to people. Therefore, it is necessary to classify musical genres based on scenes. Identifying favorite musical genres from massive music data is a time-consuming and laborious task. Recent studies have suggested that machine learning algorithms are effective in distinguishing between various musical genres. However, meeting the actual requirements in terms of accuracy or timeliness is challenging. In this study, a hybrid machine learning model that combines a deep residual auto-encoder (DRAE) and support vector machine (SVM) for musical genre recognition was proposed. Eight manually extracted features from the Mel-frequency cepstral coefficients (MFCC) were employed in the preprocessing stage as the hybrid music data source. During the training stage, DRAE was employed to extract feature maps, which were then used as input for the SVM classifier. The experimental results indicated that this method achieved a 91.54% F1-score and 91.58% top-1 accuracy, outperforming existing approaches. This novel approach leverages deep architecture and conventional machine learning algorithms and provides a new horizon for musical genre classification tasks.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2024년도 춘계학술발표대회
• /
• pp.739-740
• /
• 2024

본 연구에서는 음성과 텍스트라는 두 가지 모달리티의 데이터를 효과적으로 결합함으로써, 감정 분류의 정확도를 향상시키는 새로운 멀티모달 모델 학습 방법을 제안한다. 이를 위해 음성 데이터로부터 HuBERT 및 MFCC(Mel-Frequency Cepstral Coefficients)기법을 통해 추출한 특징 벡터와 텍스트 데이터로부터 RoBERTa를 통해 추출한 특징 벡터를 결합하여 감정을 분류한다. 실험 결과, 제안한 멀티모달 모델은 F1-Score 92.30으로 유니모달 접근 방식에 비해 우수한 성능 향상을 보였다.

• 말소리와 음성과학
• /
• 제15권4호
• /
• pp.81-90
• /
• 2023

청지각적 평가 및 음향학적 분석은 음성평가를 위해 임상 현장에서 일반적으로 사용해오고 있다. 본 연구는 음성장애 환자의 청지각적 및 음향학적 측정 시 말 과제 효과를 조사하고자 한다. 음성장애로 진단받은 총 22명의 환자로부터 모음연장발성(/a/, /e/, /i/, /o/, /u/, /ɯ/, /ʌ/)과 연속구어('가을'표준문단의 9개 하위문장)를 녹음하였다. 음성장애 평가 및 치료 경험이 있는 2명의 음성언어치료사가 맹검 및 무작위 음성 샘플을 사용하여 GRBAS('G', 'R', 'B', 'A', 'S')척도 및 CAPE-V('OS', 'R', 'B', 'S', 'P', 'L')를 사용하여 청지각적 평가를 실시하였다. 또한, ADSV(analysis of dysphonia in speech and voice model)를 이용하여 켑스트럼 및 스펙트럼 측정치를 구하였다. 모음 유형에 따라 GRBAS 척도에서 'B'를 제외하고 청지각적 평가에 영향을 미치지 않았으나, CAPE-V에서는 'OS', 'R', 'B'에 영향을 미쳤다(p<.05). CPP 및 L/H ratio 는 모음 유형과 문장 위치의 영향을 받았다. 표준문단의 CPP값은 모든 모음에서 'G', 하위 9문장과 유의미한 부적 상관 관계가 나타났고, 특히, /e/모음(r=-.739)에서 가장 높은 상관관계를 보였다. 두 번째 문장의 CPP는 모든 모음과 높은 상관관계를 보였다. CAPE-V는 말 자극에 따라 GRBAS보다 청지각적 평가에 더 많은 영향을 받을 수 있으며, 'B' 척도, CPP, L/H ratio는 모음 유형과 자음을 포함한 문장 위치에 따라 영향을 받았다. 따라서, 음성 장애 환자의 음성 평가에서 모음을 사용할 때는 /a/뿐만 아니라 ' 기식성'음질과 음향적으로 상관성이 높은 /i/모음을 함께 사용하는 것이 유용할 수 있다. 또한 /e/모음은 한국 표준문단 '가을' 및 하위 문장들과 음향적으로 상관성이 높았으므로 문단 대신 사용할 수 있을 것이다. 또한, 음성장애 신호들이 대부분 비주기적이라는 점을 감안할 때, CPP와 함께 표준문단 중 가장 음향적으로 상관성이 높은 두 번째 문장을 사용할 수 있을 것이다. 이러한 결과는 말과제가 청지각적 평가 및 음향학적 측정에 미치는 영향에 대한 임상적 증거를 제공하며, 이는 음성장애 환자의 음성 평가에 대한 가이드라인을 제공하는 데 도움을 줄 수 있을 것이다.

• 말소리와 음성과학
• /
• 제16권2호
• /
• pp.49-58
• /
• 2024

본 연구에서는 정상음성사용자를 대상으로 음성검사를 위한 고가의 음성 녹음 장비인 Computerized Speech Lab(CSL) 대신 스마트폰에 적용 가능한 단일지향성 유선 핀마이크(WIRED), 스마트폰의 자체 내장 무지향성 마이크(SMART), 블루투스 무선 이어폰인 갤럭시 버즈2 프로(WIRELESS)로 녹음된 음성샘플의 음향학적 측정치를 비교하고자 하였다. 연구대상은 최근 3개월 이내 호흡기 질환으로 이비인후과에 내원한 적이 없는 정상성인 40명(남 12명, 여 28명)이었으며, 소음이 통제된 방음 부스에서 모음 /아/ 연장 발성(4초) 과제와 '산책' 문장, '가을' 문단 읽기 과제를 네 가지의 기기로 동시에 녹음하였다. 4종의 샘플들에 대하여 CSL 녹음을 기준으로 동기화 작업을 진행하였으며, MDVP와 ADSV, VOXplot 프로그램을 이용하여 분석하였다. 연구 결과, F0, shimmer, noise-to-harmonic ratio를 제외한 다른 변수들에서 유의미한 차이가 있었다. 특히 SR_V, SR_S, CSID_V, CSID_S, AVQI의 경우 CSL에 비해 WIRED의 CSID_V, CSID_S, AVQI 중증도가 낮았던 반면, SMART에서는 높게 나타났다. SR_V, SR_S의 경우 반대의 경향이 나타났으며, WIRELESS는 과제에 따라 다른 경향이 있었다. CSL과 다른 마이크 유형들은 동일한 변수 간에는 모두 양의 상관관계를 보였으며, F0와 CPP_V가 모든 유형에서 공히 강한 양의 상관관계를 보였다. ICC 또한 F0와 CPPV가 모두 0.9 이상으로 가장 높았다. 본 연구에서 사용된 마이크를 음향학적 분석을 위한 녹음 도구로 사용할 때, F0와 CPP_V의 경우 신뢰도 높은 분석 변수로 마이크 유형과 무관하게 포함할 수 있고, SR, CSID, AVQI의 경우 마이크 유형에 따라 분석 및 해석에 주의를 기울일 필요가 있을 것으로 판단된다.

• 융합신호처리학회논문지
• /
• 제3권1호
• /
• pp.8-14
• /
• 2002

본 논문에서는 Gaussian mixture model을 이용한 실시간 문맥독립화자식별시스템을 구현하여 인식실험을 수행하였으며, 인식시스템의 성능을 향상시키기 위하여 화자검증시스템에서 좋은 결과를 보인 유사도 정규화(Likelihood normalization)방법을 적용하여 인식실험을 하였다. 시스템은 크게 전처리단과 화자모델생성단, 화자식별단으로 나누어진다. 전처리단에서는 화자의 발성변화를 고려하여 CMN(Cepstral mean normalization)과 Silence removal 방법을 적용하였다. 화자모델생성단에서는, 화자발성의 음향학적 특징을 잘 표현할 수 있는 GMM(Gaussian mixture model)을 이용하여 화자모델을 작성하였으며, GMM의 파라미터를 최적화하기 위하여 MLE(Maximum likelihood estimation)방법을 사용하였다. 화자식별단에서는 학습된 데이터와 테스트용 데이터로부터 ML(Maximum likelihood)을 이용하여 유사도를 계산하였으며, 이 과정에서 유사도 정규화를 적용한 경우에는 프레임단위로 유사도를 계산하게 된다. 계산된 유사도는 스코어(S$_{C}$)로 표현하였고, 가장 높은 스코어를 가지는 화자가 인식화자로 결정된다. 화자인식에서 발성의 종류로는 문맥독립 문장을 사용하였다. 인식실험을 위해서는 ETRI445 DB와 KLE452 DB를 사용하였으며, 특징파라미터로서는 켑스트럼계수 및 회귀계수값만을 사용하였다. 인식실험에서는 등록화자의 수를 달리하여 일반적인 화자식별방법과 프레임단위유사도정규화방법으로 각각 인식실험을 하였다. 인식실험결과, 프레임단위유사도정규화방법이 인식화자수가 많아지는 경우에 일반적인 방법보다 향상된 인식률을 얻을 수 있었다.

• 한국컴퓨터정보학회논문지
• /
• 제26권11호
• /
• pp.21-31
• /
• 2021

최근 코로나(Covid-19)의 영향으로 스마트 헬스케어 관련 산업과 비대면 방식의 원격 진단을 통한 질환 분류 예측 연구의 필요성이 증가하고 있다. 일반적으로 호흡기 질환의 진단은 비용이 많이 들고 숙련된 의료 전문가를 필요로 하여 현실적으로 조기 진단 및 모니터링에 한계가 있다. 따라서, 간단하고 편리한 청진기로부터 수집된 호흡음을 딥러닝 기반 모델을 활용하여 높은 정확도로 분류하고 조기 진단이 필요하다. 본 연구에서는 청진을 통해 수집된 폐음 데이터를 이용하여 이상 호흡음 분류모델을 제안한다. 데이터 전처리로는 대역통과필터(BandPassFilter)방법론을 적용하고 로그 멜 스펙트로그램(Log-Mel Spectrogram)과 Mel Frequency Cepstral Coefficient(MFCC)을 이용하여 폐음의 특징적인 정보를 추출하였다. 추출된 폐음의 특징에 대해서 효과적으로 분류할 수 있는 병렬 합성곱 신경망 네트워크(Parallel CNN network)모델을 제안하고 다양한 머신러닝 분류기(Classifiers)와 결합한 스태킹 앙상블(Stacking Ensemble) 방법론을 이용하여 이상 호흡음을 높은 정확도로 분류하였다. 본 논문에서 제안한 방법은 96.9%의 정확도로 이상 호흡음을 분류하였으며, 기본모델의 결과 대비 정확도가 약 6.1% 향상되었다.

• 한국정보전자통신기술학회논문지
• /
• 제16권5호
• /
• pp.239-246
• /
• 2023

본 논문에서는 오디오 부호화기를 위한 스펙트럼 변화 파라미터와 Mel Frequency Cepstral Coefficients(MFCC) 파라미터를 이용하여 음성과 음악 신호를 분류하는 개루프 방식의 알고리즘을 제안한다. 반응성을 높이기 위해 단구간 특징 파라미터로 MFCC를 사용하고 정확도를 높이기 위해 장구간 특징 파라미터로 스펙트럼 변화를 사용하였다. 전체적인 음성/음악 신호 분류 결정은 단구간 분류와 장구간 분류를 결합하여 이루어진다. 패턴인식을 위해 Gaussian Mixed Model(GMM)을 사용하였고, Expectation Maximization(EM) 알고리즘을 사용하여 최적의 GMM 파라미터를 추출하였다. 제안된 장단구간 결합 음성/음악 신호 분류 방법은 다양한 오디오 음원에서 평균적으로 1.5% 분류 오류율을 보였고 단구간 단독 분류 방법 보다 0.9%, 장구간 단독 분류 방법보다 0.6%의 분류 오류율의 성능 개선을 이룰 수 있었다. 제안된 장단구간 결합 음성/음악 신호 분류 방법은 USAC 오디오 분류 방법보다 타악기 음악 신호에서 9.1% 분류 오류율, 음성신호에서 5.8% 분류 오류율의 성능 개선을 이룰 수 있었다.