• 제목/요약/키워드: 하이브리드 학습 알고리즘

검색결과 52건 처리시간 0.03초

CTC를 적용한 CRNN 기반 한국어 음소인식 모델 연구 (CRNN-Based Korean Phoneme Recognition Model with CTC Algorithm)

  • 홍윤석;기경서;권가진
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권3호
    • /
    • pp.115-122
    • /
    • 2019
  • 지금까지의 한국어 음소 인식에는 은닉 마르코프-가우시안 믹스쳐 모델(HMM-GMM)이나 인공신경망-HMM을 결합한 하이브리드 시스템이 주로 사용되어 왔다. 하지만 이 방법은 성능 개선 여지가 적으며, 전문가에 의해 제작된 강제정렬(force-alignment) 코퍼스 없이는 학습이 불가능하다는 단점이 있다. 이 모델의 문제로 인해 타 언어를 대상으로 한 음소 인식 연구에서는 이 단점을 보완하기 위해 순환 신경망(RNN) 계열 구조와 Connectionist Temporal Classification(CTC) 알고리즘을 결합한 신경망 기반 음소 인식 모델이 연구된 바 있다. 그러나 RNN 계열 모델을 학습시키기 위해 많은 음성 말뭉치가 필요하고 구조가 복잡해질 경우 학습이 까다로워, 정제된 말뭉치가 부족하고 기반 연구가 비교적 부족한 한국어의 경우 사용에 제약이 있었다. 이에 본 연구는 강제정렬이 불필요한 CTC 알고리즘을 도입하되, RNN에 비해 더 학습 속도가 빠르고 더 적은 말뭉치로도 학습이 가능한 합성곱 신경망(CNN)을 기반으로 한국어 음소 인식 모델을 구축하여 보고자 시도하였다. 총 2가지의 비교 실험을 통해 본 연구에서는 한국어에 존재하는 49가지의 음소를 판별하는 음소 인식기 모델을 제작하였으며, 실험 결과 최종적으로 선정된 음소 인식 모델은 CNN과 3층의 Bidirectional LSTM을 결합한 구조로, 이 모델의 최종 PER(Phoneme Error Rate)은 3.26으로 나타났다. 이는 한국어 음소 인식 분야에서 보고된 기존 선행 연구들의 PER인 10~12와 비교하면 상당한 성능 향상이라고 할 수 있다.

온 라인 CFCM 기반 적응 뉴로-퍼지 시스템에 의한 온도제어 (Temperature Control by On-line CFCM-based Adaptive Neuro-Fuzzy System)

  • 윤기후;곽근창
    • 대한전자공학회논문지TE
    • /
    • 제39권4호
    • /
    • pp.414-422
    • /
    • 2002
  • 본 논문에서는 적응 제어 문제를 다루기 위해 CFCM 클러스터링과 퍼지 균등화 기법을 이용하여 새로운 적응 뉴로-퍼지 제어기를 설계하고자 한다. 먼저 오프라인에서 CFCM은 입력데이터의 성질과 출력 패턴의 성질까지도 고려한 퍼지 클러스터링 기법으로 적응 뉴로-퍼지 제어기의 구조동정을 수행한다. 파라미터 동정은 역전과 알고리즘과 RLSE(Recursive Least Square Estimate)을 이용한 하이브리드 학습을 수행한다. 온라인 학습에서는 시변특성으로 인해 전제부 및 결론부 파라미터를 실시간으로 계산된다. 시뮬레이션으로 온 라인 적응 뉴로-퍼지 제어 시스템의 성능을 입증하기 위해 목욕물 온도제어 시스템에 대해 다루고 전형적인 퍼지 제어기에 비해 오프 라인과 온 라인 설계 모두 좋은 성능을 보이고자 한다.

ICP 정합과 신경망을 이용한 해마의 3차원 형상 분석 (3D Shape Analysis for the Hippocampus Using ICP Registration and Neural Networks)

  • 김정식;최수미;김용국;김명희
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제10권4호
    • /
    • pp.27-36
    • /
    • 2004
  • 본 논문에서는 뇌의 하부구조인 해마를 정확하게 분석하기 위한 형상 정규화 방법과 정상인과 간질 환자의 해마를 분류하기 위한 방법을 제시한다. 해마에 대한 형상 분석 과정은 크게 형상 표현을 구축하는 과정, 형상의 유사도를 측정하는 과정, 정상인 집단과 환자 집단을 분류하는 과정으로 이루어진다. 본 연구에서는 해마의 형상 표현으로 메쉬, 골격, 복셀로 이루어진 하이브리드 옥트리 자료구조를 구축하였다. 또한 Iterative Closest Point (ICP) 알고리즘을 사용하여 해마 골격을 기반으로 한 정규화를 수행하였다. 그리고 정규화된 해마 형상을 전역적, 국부적으로 분석하여 최종적으로 입력된 해마가 정상인 또는 간질 환자에 속하는지를 학습된 데이터를 이용하여 분류하였다. 본 논문에서 제시한 ICP 기반의 정규화 방법은 3차원 해마 형상을 정확하게 분석하게 해주고, 골격의 정점 수를 조절함으로써 정규화 시간을 감소시킬 수 있다. 뿐만 아니라 3차원 해마 모델의 형상을 신경망을 통하여 학습시킴으로써 해마의 형상이 변형된 환자 집단과 정상인 집단을 분류하는데 이용할 수 있다.

  • PDF

베이지안 신경망을 이용한 분류분석 (A Classification Analysis using Bayesian Neural Network)

  • 황진수;최성용;전홍석
    • Journal of the Korean Data and Information Science Society
    • /
    • 제12권2호
    • /
    • pp.11-25
    • /
    • 2001
  • 자료들 사이에 존재하는 관계, 패턴, 규칙등을 찾아내서 모형화 하는 통계적인 분류기법은 여러가지가 있다. 그러나 우리가 얻게 되는 지식은 어떤 일련의 분류규칙에 의해서가 아닌 관찰과 학습을 통한 훈련으로부터 얻게 된다. 본 베이지안 학습은 모든 형태의 불확실성을 표현하는 확률로써 우리의 믿음의 정도를 표현하는 것으로 해석될 수 있으며, 확실한 결과가 알려짐에 따라 확률이론 법칙을 사용하여 이러한 확률들을 갱신한다. 또한 신경망 모형은 이미 알고 있는 속성들에 근거하여 아직 알지 못하는 집단이나 특질들을 예측하게 해준다. 본 논문에서는 이러한 두 가지 방법을 결합한 베이지안 신경망과 기존의 CHAID, CART, QUBST 분류 알고리즘에 있어서 각각 오분류율을 비교연구하였다.

  • PDF

하이브리드 학습알고리즘의 다층신경망을 이용한 시급수의 비선형예측 (Nonlinear Prediction of Time Series Using Multilayer Neural Networks of Hybrid Learning Algorithm)

  • 조용현;김지영
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1998년도 추계종합학술대회 논문집
    • /
    • pp.1281-1284
    • /
    • 1998
  • This paper proposes an efficient time series prediction of the nonlinear dynamical discrete-time systems using multilayer neural networks of a hybrid learning algorithm. The proposed learning algorithm is a hybrid backpropagation algorithm based on the steepest descent for high-speed optimization and the dynamic tunneling for global optimization. The proposed algorithm has been applied to the y00 samples of 700 sequences to predict the next 100 samples. The simulation results shows that the proposed algorithm has better performances of the convergence and the prediction, in comparision with that using backpropagation algorithm based on the gradient descent for multilayer neural network.

  • PDF

2지역 전력계통의 부하주파수 제어를 위한 적응 뉴로 퍼지추론 보상기 설계 (Design of an Adaptive Neuro-Fuzzy Inference Precompensator for Load Frequency Control of Two-Area Power Systems)

  • 정형환;정문규;한길만
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제24권2호
    • /
    • pp.72-81
    • /
    • 2000
  • In this paper, we design an adaptive neuro-fuzzy inference system(ANFIS) precompensator for load frequency control of 2-area power systems. While proportional integral derivative (PID) controllers are used in power systems, they may have some problems because of high nonlinearities of the power systems. So, a neuro-fuzzy-based precompensation scheme is incorporated with a convectional PID controller to obtain robustness to the nonlinearities. The proposed precompensation technique can be easily implemented by adding a precompensator to an existing PID controller. The applied neruo-fuzzy inference system precompensator uses a hybrid learning algorithm. This algorithm is to use both a gradient descent method to optimize the premise parameters and a least squares method to solve for the consequent parameters. Simulation results show that the proposed control technique is superior to a conventional Ziegler-Nichols PID controller in dynamic responses about load disturbances.

  • PDF

CART 알고리즘과 하이브리드 학습을 통한 뉴로-퍼지 시스템과 응용 (Neuro-Fuzzy System and Its Application Using CART Algorithm and Hybrid Parameter Learning)

  • 오봉근;곽근창;유정웅
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1998년도 하계학술대회 논문집 B
    • /
    • pp.578-580
    • /
    • 1998
  • The paper presents an approach to the structure identification based on the CART (Classification And Regression Tree) algorithm and to the parameter identification by hybrid learning method in neuro-fuzzy system. By using the CART algorithm, the proposed method can roughly estimate the numbers of membership function and fuzzy rule using the centers of decision regions. Then the parameter identification is carried out by the hybrid learning scheme using BP (Back-propagation) and RLSE (Recursive Least Square Estimation) from the numerical data. Finally, we will show it's usefulness for fuzzy modeling to truck backer upper control.

  • PDF

데이터 마이닝을 위한 경쟁학습모텔과 BP알고리즘을 결합한 하이브리드형 신경망 (A Neural Network Combining a Competition Learning Model and BP ALgorithm for Data Mining)

  • 강문식;이상용
    • Journal of Information Technology Applications and Management
    • /
    • 제9권2호
    • /
    • pp.1-16
    • /
    • 2002
  • Recently, neural network methods have been studied to find out more valuable information in data bases. But the supervised learning methods of neural networks have an overfitting problem, which leads to errors of target patterns. And the unsupervised learning methods can distort important information in the process of regularizing data. Thus they can't efficiently classify data, To solve the problems, this paper introduces a hybrid neural networks HACAB(Hybrid Algorithm combining a Competition learning model And BP Algorithm) combining a competition learning model and 8P algorithm. HACAB is designed for cases which there is no target patterns. HACAB makes target patterns by adopting a competition learning model and classifies input patterns using the target patterns by BP algorithm. HACAB is evaluated with random input patterns and Iris data In cases of no target patterns, HACAB can classify data more effectively than BP algorithm does.

  • PDF

PD 제어기와 신경회로망을 이용한 유도전동기의 속도제어 ((The Speed Control of Induction Motor using PD Controller and Neural Networks))

  • 양오
    • 전자공학회논문지SC
    • /
    • 제39권2호
    • /
    • pp.157-165
    • /
    • 2002
  • 본 논문에서는 PD 제어기와 신경회로망을 이용하여 3상 유도전동기의 속도제어 시스템을 구현하고자 한다. PD 제어기는 초기의 제어를 담당하며 신경회로망의 초기 학습을 담당한다. 또한, 신경회로망은 비선형 매핑능력과 학습능력이 탁월하기 때문에 제어기로 많이 사용되며 특히 전향경로 신경망은 구조가 매우 간단하기 때문에 본 논문에서는 이를 이용하여 유도전동기의 속도제어 시스템에 구현하였다. 신경회로망의 입력으로는 모터의 기준속도, 엔코더를 이용하여 측정한 모터의 실제 속도와 제어입력 전류를 이용하였고, 온라인 상태로 학습되도록 하였다. 본 논문에서 제안된 알고리즘의 타당성을 보이기 위해 기존에 널리 사용되었던 PI 제어기와 비교평가를 하였으며 시뮬레이션과 실험결과로부터 초기운전 상태에서는 PD 제어기가 주로 제어를 담당하지만 시간이 지남에 따라 신경회로망이 학습되어 신경회로망이 주 제어기가 됨을 확인하였다. 아울러, 제안된 하이브리드 제어기가 PI 제어기보다 우수하고 특히 부하변동과 같은 외란에 강인함을 알 수 있었으며, 정상상태 오차가 현저히 감소하여 정밀한 속도제어가 가능함을 확인하였다.

AI기반 물공급 시스템내 동파위험 조기경보를 위한 AI모델 개발 연구 (Development of an AI-based Early Warning System for Water Meter Freeze-Burst Detection Using AI Models)

  • 이소령;장현준;이진욱;김성훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2023년도 학술발표회
    • /
    • pp.511-511
    • /
    • 2023
  • 기후변화로 동절기 기온 저하에 따른 수도계량기의 동파는 지속적으로 심화되고 있으며, 이는 계량기 교체 비용, 누수, 누수량 동결에 의한 2차 피해, 단수 등 사회적 문제를 야기한다. 이와같은 문제를 해결하고자 구조적 대책으로 개별 가정에서 동파 방지형 계량기를 설치할 수 있으나 이를 위한 비용발생이 상당하고, 비구조적 대책으로는 기상청의 동파 지도 알림 서비스를 활용하여 사전적으로 대응하고자 하나, 기상청자료는 대기 온도를 중심으로 제공하고 있기 때문에 해당서비스만으로는 계량기의 동파를 예측하는데 필요한 추가적인 다양한 변수를 활용하는데 한계가 있다. 최근 정부와 공공부문에서 22개 지역, 110개소 이상의 수도계량기함내 IoT 온도센서를 시범 설치하여 계량기 함내의 상태 등을 확인할 수 있는 사업을 수행했다. 전국적인 계량기 상태의 예측과 진단을 위해서는 추가적인 센서 설치가 필요할 것이나, IoT센서 설치 비용 등의 문제로 추가 설치가 더딘 실정이다. 본 연구에서는 겨울 동파 예방을 위해 실제 온도센서를 기반으로 가상센서를 구축하고, 이를 혼합한 하이브리드 방식으로 동파위험 기준에 따라 전국 동파위험 지도를 구축하였다. 가상센서 개발을 위해 독립변수로 위경도, 고도, 음·양지, 보온재 여부 및 기상정보(기온, 강수량, 풍속, 습도)를 활용하고, 종속변수로 실제 센서의 온도를 사용하여 기계학습 모델을 개발하였다. 지역 특성에 따라 정확한 모델을 구축하기 위해 위치정보 및 보온재여부 등의 변수를 활용하여 K-means 방법으로 군집화 하였으며, 각 군집별로 3가지의 기계학습 회귀모델을 적용하였다. 최적의 군집 수를 검토한 결과 4개가 적정한 것으로 판단되었다. 군집의 특성은 지역별 구분과 유사한 패턴을 보이며, 모든 군집에서 Gradient Boosting 회귀모델을 적용하는 것이 적합한 것으로 나타났다. 본 연구에서 개발한 모델을 바탕으로 조건에 따라 동파 예측 알람서비스에 실무적으로 활용할 수 있도록 양호·주의·위험·매우위험 총 4개의 기준을 설정하였다. 실제 본 연구에서 개발된 알고리즘을 국가상수도정보 시스템에 반영하여 테스트 수행중에 있으며, 향후 지속 검증을 할 예정에 있다. 이를 통해 동파 예방 및 피해 최소화, 물절약 등 직간접적 편익이 기대된다.

  • PDF