• Title/Summary/Keyword: 수렴률

Search Result 204, Processing Time 0.022 seconds

Language Models Using Iterative Learning Method for the Improvement of Performance of CSR System (연속음성인식 시스템의 성능 향상을 위한 반복학습법을 이용한 언어모델)

  • Oh Se-Jin;Hwang Cheol-Jun;Kim Bum-Koog;Jung Ho-Ynul;Chung Hyun-Yeol
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • spring
    • /
    • pp.82-85
    • /
    • 1999
  • 본 연구에서는 연속음성인식 시스템의 성능 향상을 위하여 음성의 채록환경 및 데이터량 등을 고려한 효과적인 언어모델 작성방법을 제안하고, 이를 항공편 예약시스템에 적용하여 성능 평가 실험을 실시한 결과 $91.6\%$의 인식률을 얻어 제안한 방법의 유효성을 확인하였다. 이를 위하여 소량의 200문장의 항공편 예약 텍스트 데이터를 이용하여 좀더 강건한 단어발생 확률을 가지도록 하기 위해 일반적으로 대어휘 연속음성인식에서 많이 이용되고 있는 단어 N-gram 언어모델을 도입하고 이를 다양한 발성환경을 고려하여 1,154문장으로 확장한 후 동일 문장'을 반복 학습하여 언어모델을 작성하였다. 인식에 있어서는 오인식과 문법적 오류를 최소화하기 위하여 forward - backward pass 방법의 stack decoding알고리즘을 이용하였다. 인식실험 결과, 평가용 3인의 200문장을 각 반복학습 회수에 따라 학습한 각 언어모델에 대해 평가한 결과, forward pass의 경우 평균 $84.1\%$, backward pass의 경우 평균 $91.6\%$의 문장 인식률을 얻었다. 또한, 반복학습 회수가 증가함에 따라 backward pass의 인시률의 변화는 없었으나, forward pass의 경우, 인식률이 반복회수에 따라 증가하다가 일정값에 수렴함을 알 수 있었고, 언어모델의 복잡도에서도 반복회수가 증가함에 따라 서서히 줄어들며 수렴함을 알 수 있었다. 이상의 결과로부터 소량의 텍스트 데이터를 이용한 제한된 태스크에서 언어모델을 작성할 때 반복학습 방법이 유효함을 확인할 수 있다.

  • PDF

Enhanced Congestion Control for Resilient Video Streaming (Resilient Video Streaming을 위한 향상된 혼잡 제어 기법)

  • Jin, Hyun-Seok;Kim, Gwang-Hun;Park, Jong-Min;Lee, Chang-Hwan;Lee, Dong-Man
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10d
    • /
    • pp.193-198
    • /
    • 2006
  • 멀티미디어 데이터를 이종의 수신자에게 안정적으로 전달하고자 하는 것은 인터넷에서 중요한 주제 중의 하나이다. 특히, 최근에 소개된 계층형 MDC(Layered Multiple Description Coding) 기법은 오버레이 멀티캐스트에서 이 문제를 효율적으로 해결하는데 중요한 접근방법이다. 그러나, 이 과정에서 저속 수렴(slow convergence)과 참가 실험(join experiment) 동안에의 손실과 같은 문제가 새롭게 발생하게 되었다. 본 논문에서는 비디오 스트리밍 서비스에서 위의 문제를 해결할 수 있는 효율적인 계층형 멀티캐스트 혼잡 제어 기법을 소개한다. 여기서 제시하는 기법의 가장 특징적인 점은 사용자가 수신할 계층(layer)의 수를 결정하기 위하여 패킷페어(packet-pair)방식에 기반한 수신률 조절 메커니즘을 사용하는 것이다. 결과적으로 본 논문에서는 수신자가 최적의 전송률에 빠르게 수렴하면서도 손실을 최소화할 수 있는 종단-대-종단간 혼잡 제어 기법을 제시한다.

  • PDF

A Near-tip Grid Refinement for the Effective and Reliable Crack Analysis by Natural Element Method (효율적이고 신뢰성있는 자연요소 균열해석을 위한 균열선단 그리드 세분화기법)

  • Cho, Jin-Rae
    • Journal of the Computational Structural Engineering Institute of Korea
    • /
    • v.32 no.3
    • /
    • pp.183-190
    • /
    • 2019
  • This paper introduces a near-tip grid refinement and explores its usefulness in the crack analysis by the natural element method(NEM). As a sort of local h-refinement in finite element method(FEM), a NEM grid is locally refined around the crack tip showing high stress singularity. This local grid refinement is completed in two steps in which grid points are added and Delaunay triangles sharing the crack tip node are divided. A plane strain rectangular plate with symmetric edge cracks is simulated to validate the proposed local grid refinement and to examine its usefulness in the crack analysis. The crack analysis is also simulated using a uniform NEM grid for comparison. Unlike the uniform grid, the refined grid provides near-tip stress distributions similar to the analytic solutions and the fine grid. In addition, the refined grid shows higher convergence than the uniform grid, the global relative error to the total number of grid points.

Prediction of Lateral Deflection of Model Piles Using Artificial Neural Network by the Application Readjusting Method (Readjusting 기법을 적용한 인공신경망의 모형말뚝 수평변위 예측)

  • 김병탁;김영수;정성관
    • Journal of the Korean Geotechnical Society
    • /
    • v.17 no.1
    • /
    • pp.47-56
    • /
    • 2001
  • 본 논문에서는 단일 및 군말뚝의 수평변위를 예측하기 위하여 신경망 학습속도의 향상과 지역 최소점 수렴을 방지하는 Readjusting 기법을 적용한 인공신경망을 도입하였다. 이 인공신경망을 M-EBPNN 이라고 한다. M-EBPNN에 의한 결과는 낙동강 모래지반에서 단일 및 군말뚝에 대하여 수행한 일련의 모형실험결과와 비교하였으며, 그리고 신경망의 학습속도와 지역 최소점의 수렴성을 평가하기 위하여 오류 역전파 신경망(EBPNN)의 결과와도 비교 분석하였다. M-EBPNN의 적용성 검증을 위하여 200개의 모형실험결과들을 이용하였으며, 신경망의 구조는 EBPNN의 구조와 동일한 한 개의 입력층과 두 개의 은닉층 그리고 한 개의 출력층으로 구성되었다. 전체 데이터의 25%, 50% 그리고 75% 결과는 각각 신경망의 학습에 이용되었으며 학습에 이용하지 않은 데이터들은 예측에 이용되었다. 그리고, 신경망의 최적학습을 위하여 적합한 은닉층의 뉴런 수와 학습률은 EBPNN에서 결정한 값들을 본 신경망에 이용하였다. 해석결과들에 의하면, 동일한 학습패턴에서의 M-EBPNN이 학습 반복횟수는 EBPNN 보다 최고 88% 감소하였으며 지역 최소점에 수렴하는 현상은 거의 나타나지 않았다. 따라서, 인공신경망 모델이 수평하중을 받는 말뚝의 수평변위 예측에 적용될 수 있는 가능성을 보여 주었다.

  • PDF

Improved Speed of Convergence in Self-Organizing Map using Dynamic Approximate Curve (동적 근사곡선을 이용한 자기조직화 지도의 수렴속도 개선)

  • Kil, Min-Wook;Kim, Gui-Joung;Lee, Geuk
    • Journal of Korea Multimedia Society
    • /
    • v.3 no.4
    • /
    • pp.416-423
    • /
    • 2000
  • The existing self-organizing feature map of Kohonen has weakpoint that need too much input patterns in order to converse into the learning rate and equilibrium state when it trains. Making up for the current weak point, B.Bavarian suggested the method of that distributed the learning rate such as Gaussian function. However, this method has also a disadvantage which can not achieve the right self-organizing. In this paper, we proposed the method of improving the convergence speed and the convergence rate of self-organizing feature map converting the Gaussian function into dynamic approximate curve used in when trains the self-organizing feature map.

  • PDF

A Study on Face Recognition using a Hybrid GA-BP Algorithm (혼합된 GA-BP 알고리즘을 이용한 얼굴 인식 연구)

  • Jeon, Ho-Sang;Namgung, Jae-Chan
    • The Transactions of the Korea Information Processing Society
    • /
    • v.7 no.2
    • /
    • pp.552-557
    • /
    • 2000
  • In the paper, we proposed a face recognition method that uses GA-BP(Genetic Algorithm-Back propagation Network) that optimizes initial parameters such as bias values or weights. Each pixel in the picture is used for input of the neuralnetwork. The initial weights of neural network is consist of fixed-point real values and converted to bit string on purpose of using the individuals that arte expressed in the Genetic Algorithm. For the fitness value, we defined the value that shows the lowest error of neural network, which is evaluated using newly defined adaptive re-learning operator and built the optimized and most advanced neural network. Then we made experiments on the face recognition. In comparison with learning convergence speed, the proposed algorithm shows faster convergence speed than solo executed back propagation algorithm and provides better performance, about 2.9% in proposed method than solo executed back propagation algorithm.

  • PDF

Enhanced RBF Network by Using Auto-Turning Method of Learning Rate, Momentum and ART2 (학습률 및 모멘텀의 자동 조정 방법과 ART2를 이용한 개선된 RBF네트워크)

  • 주영호;김태경;김광백
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2003.09b
    • /
    • pp.91-94
    • /
    • 2003
  • 본 논문에서는 RBF 네트워크의 중간층과 출력층 사이의 연결강도를 효율적으로 조정하기 위해 퍼지 논리 시스템을 이용하여 학습률과 모멘텀을 동적으로 조정하는 개선된 RBF 네트워크를 제안한다. 입력층과 중간층 사이의 학습 구조로 ART2를 적용하고 중간층과 출력층 사이의 연결 강도 조정 방법으로는 제안된 학습률 자동 조정 방식을 적용한다. 제안된 방법의 학습 성능을 평가하기 위해 기존의 delta-bar-delta 알고리즘, 기존의 ART2 기반의 RBF 네트워크와 비교 분석한 결과, 제안된 방법이 학습 속도와 수렴성에서 개선된 것을 확인하였다.

  • PDF

A Study on Analysis of Dynamic Generation of Initial Weights in EBP Learning (EBP 신경망 학습에서의 동적 초기 가중치 선택에 관한 연구)

  • Kim, Tea-Hun;Lee, Yill-Byung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.11a
    • /
    • pp.35-38
    • /
    • 2006
  • 다층 퍼셉트론(MLP) 학습 이론인 오류 역전파 알고리즘은 델타룰과 최급 하강법을 사용하기 때문에 학습시 많은 시간이 소요된다는 단점을 가지고 있다. 때문에 신경망에서의 잘못된 초기 가중치 선택은 오류 역전파 알고리즘을 사용하는 신경망에서의 현격한 학습 성능저하를 발생시키게 된다. 본 논문에서는 학습시 오류 역전파 알고리즘의 수렴시간을 개선하기 위한 신경망의 동적 초기 가중치 선택 알고리즘을 제안한다. 이 알고리즘은 학습전 기존의 선택 가중치와 모든 가중치가 1.0 또는 -1.0 값을 가지는 가중치 집합에서 가중치 변동률을 선측정하여 이들 중 가장 변동률이 큰 경우를 초기 가중치 집합으로 선정하게 된다. 즉, 초기의 가중치 변동률을 차후 성능을 판단하는 지표로 사용하여 잘못된 가중치 선택으로 인한 최악의 학습효율의 가능성을 배제시키고 다층 신경망의 학습특성상 평균 이상의 학습효율을 보장하는 초기 가중치 선택방법이다.

  • PDF

CMAC Neuro-Fuzzy Design for Color Calibration (컬러재현을 위한 CMAC의 뉴로퍼지 설계)

  • 이철희;변오성;문성룡;임기영
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.11 no.4
    • /
    • pp.331-335
    • /
    • 2001
  • Cl\iAC model was proposed by Albus [6J to formulate the processing characteristics of the human cerebellum. Instead of the global weight updating scheme used in the back propagation, CMAC use the local weight updating scheme. Therefore, CMAC have the advantage of fast learning and high convergence rate. In this paper, simulate Color Calibration by CMAC in color images and design hardware by VHDL-base high-level synthesis.

  • PDF

Improvement Regression Rate of Kernel Relaxation using the Dynamic Momentum (동적모멘트를 이용한 Kernel Relaxation의 회귀율 향상)

  • 김은미;양창호;이배호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.313-315
    • /
    • 2002
  • 본 논문에서는 학습 중 모멘트를 동적으로 조절하여 수련속도와 학습 성능을 향상시키는 동적모멘트를 제안하고 회귀방법으로 동적모멘트의 성능을 재확인한다. 제안된 학습방법은 기존의 정적모멘트와는 달리 수렴 정도에 따라 현재의 학습에 과거의 학습률을 단리 반영하는 방법으로 다른 학습법에 비해 보다 유연한 초평면을 갖으며 수렴에 이르는 시간이 오래 걸리는 KR(Kernel Relaxation)에 적용하여 그 성능을 확인한다. 본 논문에서 사용한 회귀방법은 RMS 오류율을 사용하였으며 제안된 학습방법인 동적모멘트를 SVM(support vector machine)의 순차 학습방법 중 최근 발표된 KR에 적용하여 RMS 오류율을 확인하였다. 실험의 공정성을 위해 신경망 분류기 표준평가데이터인 SONAR 데이터를 사용하였으며 실험 결과 동적모멘트를 이용한 회귀율이 정적모멘트를 이용한 방법보다 향상되었음을 확인하였다.

  • PDF