• 제목/요약/키워드: 고속학습 알고리즘

검색결과 54건 처리시간 0.029초

패턴인식의 MLP 고속학습 알고리즘 (A Fast-Loaming Algorithm for MLP in Pattern Recognition)

  • 이태승;최호진
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제8권3호
    • /
    • pp.344-355
    • /
    • 2002
  • MLP(multilayer perceptron)는 다른 패턴인식 방법에 비해 여러 가지 훌륭한 특성을 가지고 있어 패턴인식에서 폭넓게 사용되고 있다. 그러나 MLP의 학습에 일반적으로 사용되는 EBP(error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있다. 패턴인식에 사용되는 학습 데이타는 풍부한 중복특성을 내포하고 있으므로 패턴마다 MLP의 내부변수를 갱신하는 온라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 EBP 알고리즘에서는 내부변수 갱신시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 웅용에서 상당한 속도개선을 얻을 수 있지만, 학습률이 고정되고 학습이 진행됨에 따라 학습패턴 영역이 달라지는 학습과정의 각 단계에 효과적으로 대웅하지 못하는 문제가 있다. 이 문제에 대해 본 논문에서는 학습과정을 세 단계로 정의하고, 각 단계별로 필요한 패턴만을 학습에 반영하는 패턴별 가변학습속도 및 학습생략(ILVRS) 방법을 제안한다. ILVRS의 기본개념은 다음과 같다. 학습단계마다 학습에 필요한 패턴의 부분이 달라지므로 이를 구별 하여 학습에 적용할 수 있도록 (1)패턴마다 발생하는 오류치를 적절한 범위 이내로 제한하여 가변 학습률로 사용하고, (2)학습이 진행됨에 따라 불필요한 부분의 패턴을 학습에서 생략한다. 제안한 ILVRS의 성능을 입증하기 위해 본 논문에서는 패턴인식 응용의 한 갈래인 화자증명을 실험하고 그 결과를 제시한다.

다층 퍼셉트론 신경회로망을 사용한 구간 검출 알고리즘 (Section Detection Algorithm using Multi-layer Perceptron Neural Network)

  • 최재승
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 2010년도 추계학술대회
    • /
    • pp.274-277
    • /
    • 2010
  • 본 논문에서는 다층 퍼셉트론 신경회로망을 사용하여 각 프레임에서 유성음, 무성음, 그리고 묵음 구간을 검출하는 구간검출 알고리즘을 제안한다. 신경회로망의 입력으로는 고속 푸리에변환에 의한 전력스펙트럼 및 고속 푸리에변환 계수가 사용되어 네트워크가 학습된다. 본 실험에서는 원 음성에 백색잡음이 중첩된 음성을 신경회로망에 입력함으로서 각 프레임에서의 유성음, 무성음, 묵음 구간의 검출성능 결과를 나타낸다.

  • PDF

Bayesian rule에 기초한 고속 Paper currency 인식 시스템 개발 (Development of high-speed paper currency recognition system based on Bayesian rule)

  • 조연호;이상훈;서일홍
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2004년도 하계학술대회 논문집 D
    • /
    • pp.2474-2476
    • /
    • 2004
  • 지폐 인식 자동화기기가 여러 분야에 보편화되면서 다양한 지폐를 고속으로 처리할 수 있는 고속지폐 인식 자동화 기기가 요구되고 있다. 하지만 대부분의 지폐 인식 자동화 기기가 고속화에 적합하지 않은 구조로 설계되어 있고 신권 추가가 용이하지 않다. 본 논문은 고속 Paper Currency 인식 시스템에 적합한 범용 하드웨어 시스템과 Bayes Rule 기반의 고속 인식 알고리즘을 제안한다. 제안된 범용 하드웨어 구조는 고속의 CIS(Contact Image Sensor)와 DSP(Digital Signal Processor) 그리고 Dual Memory System으로 구성되었다. Bayes Rule에 기초한 고속 인식 알고리즘은 기존의 Paper Currency 인식 시스템에 사용되었던 기계학습 방법에 비해 신권 추가가 쉽고 적은 연산으로 권종을 판별할 수 있어 고속 지폐 인식 자동화기기에 적합하다. 본 논문에서는 제안된 방법들을 실제 자동화기기로 구현하여 그 유용성을 검증한다.

  • PDF

고속 초기 부호책 설계 알고리즘 (The fast algorithm to design an initial codebook)

  • 심정보;조제황
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2002년도 하계학술발표대회 논문집 제21권 1호
    • /
    • pp.267-270
    • /
    • 2002
  • 본 논문에서는 초기 부호책을 구하는 방법으로 가장 널리 쓰이는 이분 미소분리 방법의 탐색시간을 줄이기 위한 고속 알고리즘을 제안한다. 제안된 방법은 학습벡터가 소속되는 부호벡터를 찾기 위하여 기존의 방법과 같이 모든 부호벡터와의 거리오차를 계산하지 않고, 이전에 소속된 클래스에서 미소분리된 부호벡터와의 거리오차 만을 비교하여 학습벡터의 소속 여부를 결정함으로써 계산량을 크게 줄일 수 있다. 제안된 방법으로 생성된 초기 부호책과 기존의 이분 미소분리 방법으로 생성된 초기 부호책을 사용하여 K-means 알고리즘을 수행한 결과 초기 부호책의 성능 차이는 거의 없었지만, 계산량은 현저하게 감소되었다.

  • PDF

고속철도의 실내소음저감을 위한 신경회로망 기반 능동소음제어 알고리즘 (A Neural Network based Active Noise Control for Reducing Interior Noise of High-Speed Trains)

  • 조현철;여대연;이권순;남현도
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2009년도 제40회 하계학술대회
    • /
    • pp.2029_2030
    • /
    • 2009
  • 고속철도의 실내소음은 승객들의 질적 서비스와 매우 연관이 깊은 시스템 환경요소라 할 수 있다. 본 논문은 이러한 소음을 저감하기 위한 지능형 알고리즘을 이용한 능동소음제어(ANC; active noise control) 시스템을 제안한다. 우선 철도실내의 소음저감시스템에 대한 기구학적 모델링을 구한 후 철도시스템에 적합한 ANC 기법을 제안한다. 본 논문은 지능형 ANC를 구현하기 위하여 다층 퍼셉트론의 신경회로망 모델을 이용하였으며 실시간으로 소음저감을 위하여 온라인 학습알고리즘을 적용한다. 제안한 ANC 기법의 성능을 검증하기 위하여 시뮬레이션을 실시하였으며 고속 Fourier 변환(FFT) 분석을 통해 소음의 저감정도를 분석한다.

  • PDF

부영역 기반 코드워드 인덱스 캐시를 사용한 고속 벡터 양자화 (A Fast Vector Quantization using Subregion-based Caches of Codeword Indexes)

  • 김용하;김대진;방승양
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권4호
    • /
    • pp.369-379
    • /
    • 2001
  • 본 논문은 부영역 분할과 코드워드 인텍스의 캐시 개념을 이용하여 벡터 양자화를 위한 고속코드북 생성 및 부호화 방법을 제안한다. 제안한 방법은 인접한 입력 벡터는 대개 코드북내 특정 코드워드에 의해 나타내어지는 국부성에 바탕을 두고 있다. 초기에 모든 학습 벡터가 거리에 기반한 근접성을 이용하여 정해진 수의 부영역으로 분할된다. 각 부영역에 하나의 코드워드 인덱스 캐시가 할당되는데 이 캐시는 학습 초기에는 전체 코드북 크기에 대응하는 코드워드 인덱스를 갖는다. 학습이 진행되면서 입력 벡터가 갖는 국부성 때문에 각 부영역내 캐시중 사용되지 않는 코드워드 인덱스가 점차 발생하게 되므로 이들은 LRU(Least Recently Used) 삭제 알고리즘에 의해 제거된다. 학습이 진행됨에 따라 부영역 캐시에는 주어진 입력 벡터에 의해 참조되는 코드워드 인덱스만이 남게 되므로 한 학습 주기 동한 필요한 학습 시간이 점차 짧아지게 되어 전체적으로 코드북 생성 시간을 크게 줄일 수 있게 된다. 제안한 방법은 매 학습주기마다, 코드워드 인덱스 삭제 후보 중 주어진 부영역 중심으로부터 거리에 의해 멀리 떨어진 것부터 반만을 제거함에 따라. 복원된 영상의 화질 열화가 거의 없다. 시뮬레이션 결과 제안한 방법은 기존의 LBG 방법에 비해 화질 열화는 거의 없지만 코드북 생성 (또는 부호화) 속도를 2.6-5.4배 (또는3.7-18.8배) 향상시킨다.

  • PDF

Random Tabu 탐색법을 이용한 신경회로망의 고속학습알고리즘에 관한 연구 (Fast Learning Algorithms for Neural Network Using Tabu Search Method with Random Moves)

  • 양보석;신광재;최원호
    • 한국지능시스템학회논문지
    • /
    • 제5권3호
    • /
    • pp.83-91
    • /
    • 1995
  • 본 연구에서는 종래에 학습법으로 널리 이용되고 있는 역전파학습법의 문제점으로 지적되어 온 학습에 많은 시간이 걸리는 점과 국소적 최적해에 해가 수렴하여 오차가 충분히 작게 되지 않는 등의 문제점을 해결하기 위해, Hu에 의해 고안된 random tabu 탐색법을 이용하여 신경회로망의 연결강도를 최적화하는 학습알고리즘을 새로이 제안하였다. 그리고 이 방법을 배타적 논리합 문제에 적용하여 기존의 역전파학습법과 학습상수 $, $에 tabu탐색법을 이용한 결과와 비교 검토하여 본 방법이 국소적 최적해에 수렴하지 않고 수렴정도를 개선할 수 있음을 확인하였다.

  • PDF

퍼셉트론 신경회로망을 사용한 유성음, 무성음, 묵음 구간의 검출 알고리즘 (Voiced-Unvoiced-Silence Detection Algorithm using Perceptron Neural Network)

  • 최재승
    • 한국전자통신학회논문지
    • /
    • 제6권2호
    • /
    • pp.237-242
    • /
    • 2011
  • 본 논문에서는 다층 퍼셉트론 신경회로망을 사용하여 각 프레임에서의 유성음, 무성음, 그리고 묵음 구간을 검출하는 구간검출 알고리즘을 제안한다. 다층 퍼셉트론 신경회로망의 입력으로는 고속 푸리에변환에 의한 전력스펙트럼 및 고속 푸리에변환 계수가 사용되어 네트워크가 학습된다. 본 실험에서는 원 음성에 백색잡음이 중첩된 음성을 신경회로망에 입력함으로서 각 프레임에서의 유성음, 무성음, 묵음 구간의 검출성능 결과를 나타낸다. 본 실험에서는 신경회로망의 학습 데이터 및 평가 데이터가 다를 경우에도 이러한 음성 및 백색잡음에 대하여 92% 이상의 검출율을 구할 수 있었다.

음성처리에서 온라인 오류역전파 알고리즘의 학습속도 향상방법 (A Method on the Learning Speed Improvement of the Online Error Backpropagation Algorithm in Speech Processing)

  • 이태승;이백영;황병원
    • 한국음향학회지
    • /
    • 제21권5호
    • /
    • pp.430-437
    • /
    • 2002
  • 다층신경망 (MLP: multilayer perceptron)은 다른 패턴인식 방법에 비해 여러 가지 훌륭한 특성을 가지고 있어 음성인식 및 화자인식 영역에서 폭넓게 사용되고 있다. 그러나 다층신경망의 학습에 일반적으로 사용되는 오류역전파 (EBP: error backpropagation) 알고리즘은 학습시간이 비교적 오래 걸린다는 단점이 있으며, 이는 화자인식이나 화자적응과 같이 실시간 처리를 요구하는 응용에서 상당한 제약으로 작용한다. 패턴인식에 사용되는 학습데이터는 풍부한 중복특성을 내포하고 있으므로 패턴마다 다층신경망의 내부변수를 갱신하는 온라인 계열의 학습방식이 속도의 향상에 상당한 효과가 있다. 일반적인 온라인 오류역전파 알고리즘에서는 가중치 갱신 시 고정된 학습률을 적용한다. 고정 학습률을 적절히 선택함으로써 패턴인식 응용에서 상당한 속도개선을 얻을 수 있지만, 학습률이 고정된 상태에서는 학습이 진행됨에 따라 학습에 기여하는 패턴영역이 달라지는 현상에 효과적으로 대응하지 못하는 문제가 있다. 이 문제에 대해 본 논문에서는 패턴의 기여도에 따라 가변 하는 학습률과 학습에 기여하는 패턴만을 학습에 반영하는 패턴별 가변 학습률 및 학습생략 (COIL: Changing rate and Omitting patterns in Instant Learning)방법을 제안한다. 제안한 COIL의 성능을 입증하기 위해 화자증명과 음성인식을 실험하고 그 결과를 제시한다.

기계학습을 활용한 5G통신 동향 (Research Trends on 5G Communications using Machine Learning)

  • 김근영;김용선;남준영;이우용;서지훈;홍승은
    • 전자통신동향분석
    • /
    • 제31권5호
    • /
    • pp.1-10
    • /
    • 2016
  • 빅데이터를 통한 학습, GPU를 활용한 고속 컴퓨팅 및 다양한 알고리즘 개발과 더불어 기계학습은 다양한 분야에서 종래에 이루어내지 못한 뛰어난 성과를 달성하고 있다. 그동안 상용화된 통신 시스템에서 기계학습이 활성화되지 못했지만, 전례없는 다양한 서비스와 단말을 아우르는 5G 통신에서는 더욱 적극적으로 활용될 것으로 예상된다. 기계학습은 링크 적응 등 무선접속기술, 다양한 망이 혼재된 이종망 기술, 트래픽 분류 등을 위한 네트워크 기술, 침입 탐지를 위한 보안 기술 등 다양한 통신기술에서 연구됐다. 또한, 최근에는 유럽의 Public Private Partnership(5G PPP) 프로젝트를 비롯하여 다양한 그룹에서 활발히 연구되고 있으며, 컬컴/노키아/에릭슨 등 통신 관련 기업들도 적극적인 투자를 하고 있다. 본고에서는 기계학습 관련 통신기술, 연구그룹 및 기업 동향을 소개하고, 이를 통해 5G 통신 적용 가능성을 짚어본다.

  • PDF