• 대한전기학회논문지:전기기기및에너지변환시스템부문B
• /
• 제53권3호
• /
• pp.188-195
• /
• 2004

This paper presents neural load torque observer that is used to deadbeat load torque observer and gain compensation by parameter estimator As a result, the response of the PMSM(permanent magnet synchronous motor) follows that nominal plant. The load torque compensation method is composed of a neural deadbeat observer To reduce the noise effect, the post-filter implemented by MA(moving average) process, is adopted. The parameter compensator with RLSM (recursive least square method) parameter estimator is adopted to increase the performance of the load torque observer and main controller The parameter estimator is combined with a high performance neural load torque observer to resolve the problems. The neural network is trained in on-line phases and it is composed by a feed forward recall and error back-propagation training. During the normal operation, the input-output response is sampled and the weighting value is trained multi-times by error back-propagation method at each sample period to accommodate the possible variations in the parameters or load torque. As a result, the proposed control system has a robust and precise system against the load torque and the Parameter variation. A stability and usefulness are verified by computer simulation and experiment.

• 말소리와 음성과학
• /
• 제7권4호
• /
• pp.27-33
• /
• 2015

This paper proposes an audio event classification method using Deep Neural Networks (DNN). The proposed method applies Feed Forward Neural Network (FFNN) to generate event probabilities of ten audio events (dog barks, engine idling, and so on) for each frame. For each frame, mel scale filter bank features of its consecutive frames are used as the input vector of the FFNN. These event probabilities are accumulated for the events and the classification result is determined as the event with the highest accumulated probability. For the same dataset, the best accuracy of previous studies was reported as about 70% when the Support Vector Machine (SVM) was applied. The best accuracy of the proposed method achieves as 79.23% for the UrbanSound8K dataset when 80 mel scale filter bank features each from 7 consecutive frames (in total 560) were implemented as the input vector for the FFNN with two hidden layers and 2,000 neurons per hidden layer. In this configuration, the rectified linear unit was suggested as its activation function.

• 시스템엔지니어링학술지
• /
• 제1권2호
• /
• pp.26-33
• /
• 2005

In this paper, an algorithm is presented to recognize road based on unpaved test courses image. The road images obtained by a video camera undergoes a pre-processing that includes filtering, gray level slicing, masking and identification of unpaved test courses. After this pre-processing, a part of image is grouped into 27 sub-windows and fed into a three-layer feed-forward neural network. The neural network is trained to indicate the road direction. The proposed algorithm has been tested with the images different from the training images, and demonstrated its efficacy for recognizing unpaved road. Based on the test results, it can be said that the algorithm successfully combines the traditional image processing and the neural network principles towards a simpler and more efficient driver warning or assistance system.

• 융합신호처리학회논문지
• /
• 제5권4호
• /
• pp.263-270
• /
• 2004

최근 웨이블릿 변환은 많은 분야에서 다양하게 적용된다. 본 논문에서 tasks뇌파의 중요한 몇가지 특성파 검출을 위한 다비치 웨이블릿은 뇌파분석에 필요하다. 우리가 제안한 시스템은 다른 방법보다는 특성파 검출에 높은 성능을 가졌다. 본 연구의 뉴럴시스템의 구조는 하나의 은닉층과 3계층 피드포워드층은 오류 BP 학습알고리즘을 적용하였다. 4명의 피험자에게 알고리즘을 적용하여 92% 분류율을 보였다. 제안된 시스템은 웨이블릿과 신경망으로 tasks 뇌파의 보다 정확하게 분석함을 보였다. 모의실험결과 tasks 뇌파는 의사의 노동력을 줄일수 있고 정량적 해석이 가능함을 보였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 춘계학술발표대회
• /
• pp.633-635
• /
• 2016

Convolutional Networks (ConvNets) are powerful models that learn hierarchies of visual features, which could also be used to obtain image representations for transfer learning. The basic pipeline for transfer learning is to first train a ConvNet on a large dataset (source task) and then use feed-forward units activation of the trained ConvNet as image representation for smaller datasets (target task). Our key contribution is to demonstrate superior performance of multiple ConvNet layer features over single ConvNet layer features. Combining multiple ConvNet layer features will result in more complex feature space with some features being repetitive. This requires some form of feature selection. We use AdaBoost with single stumps to implicitly select only distinct features that are useful towards classification from concatenated ConvNet features. Experimental results show that using multiple ConvNet layer activation features instead of single ConvNet layer features consistently will produce superior performance. Improvements becomes significant as we increase the distance between source task and the target task.

• 한국음향학회지
• /
• 제41권3호
• /
• pp.359-366
• /
• 2022

본 논문에서는 콘포머 기반 FastSpeech2를 이용한 한국어 메뉴 음성합성기를 제안한다. 콘포머는 본래 음성 인식 분야에서 제안된 것으로, 합성곱 신경망과 트랜스포머를 결합하여 광역과 지역 정보를 모두 잘 추출할 수 있도록 한 구조다. 이를 위해 순방향 신경망을 반으로 나누어 제일 처음과 마지막에 위치시켜 멀티 헤드 셀프 어텐션 모듈과 합성곱 신경망을 감싸는 마카론 구조를 구성했다. 본 연구에서는 한국어 음성인식에서 좋은 성능이 확인된 콘포머 구조를 한국어 음성합성에 도입하였다. 기존 음성합성 모델과의 비교를 위하여 트랜스포머 기반의 FastSpeech2와 콘포머 기반의 FastSpeech2를 학습하였다. 이때 데이터셋은 음소 분포를 고려한 자체 제작 데이터셋을 이용하였다. 특히 일반대화 뿐만 아니라, 음식 주문 문장 특화 코퍼스를 제작하고 이를 음성합성 훈련에 사용하였다. 이를 통해 외래어 발음에 대한 기존 음성합성 시스템의 문제점을 보완하였다. ParallelWave GAN을 이용하여 합성음을 생성하고 평가한 결과, 콘포머 기반의 FastSpeech2가 월등한 성능인 MOS 4.04을 달성했다. 본 연구를 통해 한국어 음성합성 모델에서, 동일한 구조를 트랜스포머에서 콘포머로 변경하였을 때 성능이 개선됨을 확인하였다.

• 전자공학회논문지S
• /
• 제35S권2호
• /
• pp.70-78
• /
• 1998

Spike detection in long-term EEG monitoring forepilepsy by wavelet transform(WT), artificial neural network(ANN) and the expert system is presented. First, a small set of wavelet coefficients is used to represent the characteristics of a singlechannel epileptic spikes and normal activities. In this stage, two parameters are also extracted from the relation between EEG activities before the spike event and EEG activities with the spike. then, three-layer feed-forward network employing the error back propagation algorithm is trained and tested using parameters obtained from the first stage. Spikes are identified in individual EEG channels by 16 identical neural networks. Finally, 16-channel expert system based on the context information of adjacent channels is introducedto yield more reliable results and reject artifacts. In this study, epileptic spikes and normal activities are selected from 32 patient's EEG in consensus among experts. The result showed that the WT reduced data input size and the preprocessed ANN had more accuracy than that of ANN with the same input size of raw data. Ina clinical test, our expert rule system was capable of rejecting artifacts commonly found in EEG recodings.

• 한국물환경학회지
• /
• 제24권1호
• /
• pp.91-98
• /
• 2008

This work was performed to develop a model possible to predict the influent flow and influent components, which are one of main disturbances causing process problems at the operation of municipal wastewater treatment plant. In this study, artificial neural network (ANN) was used in order to develop a model that was able to predict the influent flow, $COD_{Mn}$, SS, TN 1 day-ahead, 2day-ahead and 3 day ahead. Multi-layer feed-forward back-propagation network was chosen as neural network type, and tanh-sigmoid function was used as activation function to transport signal at the neural network. And Levenberg-Marquart (LM) algorithm was used as learning algorithm to train neural network. Among 420 data sets except missing data, which were collected between 2005 and 2006 at field plant, 210 data sets were used for training, and other 210 data sets were used for validation. As result of it, ANN model for predicting the influent flow and components 1-3day ahead could be developed successfully. It is expected that this developed model can be practically used as follows: Detecting the fault related to effluent concentration that can be happened in the future by combining with other models to predict process performance in advance, and minimization of the process fault through the establishment of various control strategies based on the detection result.

• 대한교통학회지
• /
• 제20권4호
• /
• pp.51-61
• /
• 2002

본 연구에서는 운전자 입장에서 원하는 고속도로 다구간의 통행시간을 예측하는 모형을 구축하였다. 현재 지점검지기를 통해 생성되는 예상통행시간 정보는 장거리 통행시 발생되는 시간처짐현상을 반영하지 못하고 있다. 이로 인하여 도로이용자들의 신뢰가 떨어져. 전체적인 ATIS의 효과를 거두지 못하고 있다. 따라서 본 연구에서는 시간처짐 현상과 영업소 지체를 반영한 고속도로 다구간의 통행시간예측을 위하여, 한국도로공사에서 운영중인 검지기의 교통량 자료와 TCS자료를 사용하였다. 또한 실제 시스템에의 적용을 위해 이상치가 섞여 있는 자료를 유지하였다. 예측에 사용된 모형은 3개의 입력유니트와 2개의 출력유니트를 가지는 선행신경망의 형태로 구성하였으며, 학습방법은 역전파법을 이용하였다. 또한 학습속도와 예측력에 영향을 주는 학습계수, 은닉층의 유니트수, 반복 횟수에 따라 12개의 대안을 구성하여 예측결과를 토대로 최적대안을 모형으로 채택하였다. 이러한 본 연구의 자료특성에 의해 원하는 구간까지의 통행시간을 구할 수가 있다.

• 지능정보연구
• /
• 제24권1호
• /
• pp.205-225
• /
• 2018

Convolutional Neural Network (ConvNet)은 시각적 특징의 계층 구조를 분석하고 학습할 수 있는 대표적인 심층 신경망이다. 첫 번째 신경망 모델인 Neocognitron은 80 년대에 처음 소개되었다. 당시 신경망은 대규모 데이터 집합과 계산 능력이 부족하여 학계와 산업계에서 널리 사용되지 않았다. 그러나 2012년 Krizhevsky는 ImageNet ILSVRC (Large Scale Visual Recognition Challenge) 에서 심층 신경망을 사용하여 시각적 인식 문제를 획기적으로 해결하였고 그로 인해 신경망에 대한 사람들의 관심을 다시 불러 일으켰다. 이미지넷 첼린지에서 제공하는 다양한 이미지 데이터와 병렬 컴퓨팅 하드웨어 (GPU)의 발전이 Krizhevsky의 승리의 주요 요인이었다. 그러므로 최근의 딥 컨볼루션 신경망의 성공을 병렬계산을 위한 GPU의 출현과 더불어 ImageNet과 같은 대규모 이미지 데이터의 가용성으로 정의 할 수 있다. 그러나 이러한 요소는 많은 도메인에서 병목 현상이 될 수 있다. 대부분의 도메인에서 ConvNet을 교육하기 위해 대규모 데이터를 수집하려면 많은 노력이 필요하다. 대규모 데이터를 보유하고 있어도 처음부터 ConvNet을 교육하려면 많은 자원과 시간이 소요된다. 이와 같은 문제점은 전이 학습을 사용하면 해결할 수 있다. 전이 학습은 지식을 원본 도메인에서 새 도메인으로 전이하는 방법이다. 전이학습에는 주요한 두 가지 케이스가 있다. 첫 번째는 고정된 특징점 추출기로서의 ConvNet이고, 두번째는 새 데이터에서 ConvNet을 fine-tuning 하는 것이다. 첫 번째 경우, 사전 훈련 된 ConvNet (예: ImageNet)을 사용하여 ConvNet을 통해 이미지의 피드포워드 활성화를 계산하고 특정 레이어에서 활성화 특징점을 추출한다. 두 번째 경우에는 새 데이터에서 ConvNet 분류기를 교체하고 재교육을 한 후에 사전 훈련된 네트워크의 가중치를 백프로퍼게이션으로 fine-tuning 한다. 이 논문에서는 고정된 특징점 추출기를 여러 개의 ConvNet 레이어를 사용하는 것에 중점을 두었다. 그러나 여러 ConvNet 레이어에서 직접 추출된 차원적 복잡성을 가진 특징점을 적용하는 것은 여전히 어려운 문제이다. 우리는 여러 ConvNet 레이어에서 추출한 특징점이 이미지의 다른 특성을 처리한다는 것을 발견했다. 즉, 여러 ConvNet 레이어의 최적의 조합을 찾으면 더 나은 특징점을 얻을 수 있다. 위의 발견을 토대로 이 논문에서는 단일 ConvNet 계층의 특징점 대신에 전이 학습을 위해 여러 ConvNet 계층의 특징점을 사용하도록 제안한다. 본 논문에서 제안하는 방법은 크게 세단계로 이루어져 있다. 먼저 이미지 데이터셋의 이미지를 ConvNet의 입력으로 넣으면 해당 이미지가 사전 훈련된 AlexNet으로 피드포워드 되고 3개의 fully-connected 레이어의 활성화 틀징점이 추출된다. 둘째, 3개의 ConvNet 레이어의 활성화 특징점을 연결하여 여러 개의 ConvNet 레이어의 특징점을 얻는다. 레이어의 활성화 특징점을 연결을 하는 이유는 더 많은 이미지 정보를 얻기 위해서이다. 동일한 이미지를 사용한 3개의 fully-connected 레이어의 특징점이 연결되면 결과 이미지의 특징점의 차원은 4096 + 4096 + 1000이 된다. 그러나 여러 ConvNet 레이어에서 추출 된 특징점은 동일한 ConvNet에서 추출되므로 특징점이 중복되거나 노이즈를 갖는다. 따라서 세 번째 단계로 PCA (Principal Component Analysis)를 사용하여 교육 단계 전에 주요 특징점을 선택한다. 뚜렷한 특징이 얻어지면, 분류기는 이미지를 보다 정확하게 분류 할 수 있고, 전이 학습의 성능을 향상시킬 수 있다. 제안된 방법을 평가하기 위해 특징점 선택 및 차원축소를 위해 PCA를 사용하여 여러 ConvNet 레이어의 특징점과 단일 ConvNet 레이어의 특징점을 비교하고 3개의 표준 데이터 (Caltech-256, VOC07 및 SUN397)로 실험을 수행했다. 실험결과 제안된 방법은 Caltech-256 데이터의 FC7 레이어로 73.9 %의 정확도를 얻었을 때와 비교하여 75.6 %의 정확도를 보였고 VOC07 데이터의 FC8 레이어로 얻은 69.2 %의 정확도와 비교하여 73.1 %의 정확도를 보였으며 SUN397 데이터의 FC7 레이어로 48.7%의 정확도를 얻었을 때와 비교하여 52.2%의 정확도를 보였다. 본 논문에 제안된 방법은 Caltech-256, VOC07 및 SUN397 데이터에서 각각 기존에 제안된 방법과 비교하여 2.8 %, 2.1 % 및 3.1 %의 성능 향상을 보였다.