• 제목/요약/키워드: 역전파 회로망학습

검색결과 26건 처리시간 0.024초

FPGA를 이용한 웨어러블 디바이스를 위한 역전파 알고리즘 구현 (Implementation of back propagation algorithm for wearable devices using FPGA)

  • 최현식
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제15권2호
    • /
    • pp.7-16
    • /
    • 2019
  • 신경 회로망을 구현하기 위해 다양한 시도들이 이루어지고 있으며, 하드웨어적인 개선을 위해 전용 칩 개발이 이루어지고 있다. 이러한 신경 회로망을 웨어러블 디바이스에 적용하기 위해서는 소형화와 저전력 동작이 필수적이다. 이러한 관점에서 적합한 구현 방법은 FPGA (field programmable gate array)를 사용한 디지털 회로 설계이다. 이 시스템을 구현하기 위해서는 성능 향상을 위해 신경 회로망의 많은 부분을 차지하는 학습 알고리즘을 FPGA 내에 구현하여야 한다. 본 논문에서는 FPGA를 이용하여 다양한 학습 알고리즘 중 역전파 알고리즘을 구현하였으며, 구현 된 신경 회로망은 OR 게이트 연산을 통해 검증되었다. 또한 이러한 신경 회로망을 활용하여 다양한 사용자의 생체 신호 측정 결과를 분석할 수 있음을 확인하였다.

NETLA를 이용한 이진 공간내의 패턴분류 (Binary Neural Network in Binary Space using NETLA)

  • 성상규;박두환;정종원;이준탁
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2001년도 합동 추계학술대회 논문집 정보 및 제어부문
    • /
    • pp.431-434
    • /
    • 2001
  • 단층 퍼셉트론이 처음 개발되었을 때, 간단한 패턴을 인식하는 학습 기능을 가지고 있기 장점 때문에 학자들의 관심을 끌었다. 단층 퍼셉트론은 한 개의 소자를 이용해서 이진 논리를 가중치(weight)의 변경만으로 모두 표현할 수 있는 장점 때문에 영상처리, 패턴인식, 장면인식 등에 이용되어 왔다. 최근에, 역전파학습(Back-Propagation Learning)알고리즘이 이진 공간내의 매핑 문제에 적용되고 있다. 그러나, 역전파 학습알고리즘은 연속공간 내에서 긴 학습시간과 비효율적인 수행의 문제를 가지고 있다. 일반적으로 역전파 학습 알고리즘은 간단한 이진 공간에서 매핑하기 위해서 많은 반복과정을 요구한다. 역전파 학습 알고리즘에서는 은닉층의 뉴런의 수는 주어진 문제를 해결하기 위해서 우선순위(prior)를 알지 못하기 때문에 입력층과 출력층내의 뉴런의 수에 의존한다. 따라서, 3층 신경회로망의 적용에 있어 가장 중요한 문제중의 하나는 은닉층내의 필요한 뉴런수를 결정하는 것이고, 회로망 합성과 가중치 결정에 대한 적절한 방법을 찾지 못해 실제로 그 사용 영역이 한정되어 있었다. 본 논문에서는 패턴 분류를 위한 새로운 학습방법을 제시한다. 훈련입력의 기하학적인 분석에 기반을 둔 이진 신경회로망내의 은닉층내의 뉴런의 수를 자동적으로 결정할 수 있는 NETLA(Newly Expand and Truncate Learning Algorithm)라 불리우는 기하학적 학습알고리즘을 제시하고, 시뮬레이션을 통하여, 제안한 알고리즘의 우수성을 증명한다.

  • PDF

확장 칼만 학습 알고리듬을 이용한 웨이블릿 신경 회로망 기반 간접 적응 제어기 설계 (Design of Wavelet Neural Network Based Indirect Adaptive Controller Using EKF Training Method)

  • 김경주;오준섭;최윤호;박진배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2004년도 학술대회 논문집 정보 및 제어부문
    • /
    • pp.361-363
    • /
    • 2004
  • 시간 및 주파수 특성 분석이 용이한 웨이블릿을 신경회로망에 적용시킨 웨이블릿 신경 회로망의 파라미터 학습 방법에는 오차 역전파 알고리듬 및 유선 알고리듬 등 여러 가지 방법이 있으나 이러한 학습 방법들은 수렴 시간이 오래 걸리는 단점을 가진다. 따라서 본 논문에서는 웨이블릿 신경 회로망의 최적 파라미터를 결정하기 위한 학습 방법으로 일반적으로 비선형 시스템 추정에 주로 사용되는 확장 칼만 필터 알고리듬을 적용한 신경회로망을 제안한다. 또한 제안된 학습 알고리듬을 이용한 웨이블릿 신경 회로망으로 간접 적응 제어기를 설계하여 연속 시간 혼돈 시스템인 Duffing 시스템의 제어에 적용함으로써 확장 칼만 필터 학습 알고리듬을 적용한 웨이블릿 신경 회로망 모델의 우수성을 보인다.

  • PDF

확장 칼만 필터를 이용한 웨이블릿 신경 회로망의 학습 방법에 관한 연구 (A Study on Traning Method of Wavelet Neural Network Using Extended Kalman Filter)

  • 김경주;최윤호;박진배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2004년도 하계학술대회 논문집 D
    • /
    • pp.2197-2199
    • /
    • 2004
  • 시간 및 주파수 특성 분석이 용이한 웨이블릿 변환을 네트워크화 시킨 웨이블릿 신경 회로망의 파라미터 학습 방법에는 오차 역전파 알고리듬 및 유선 알고리듬 등이 있으나 이러한 학습 방법들은 수렴 시간이 오래 걸리는 단점이 있다. 따라서 본 논문에서는 웨이블릿 신경 회로망의 최적 파라미터를 결정하기 위한 학습방법으로 확장 칼만 필터 알고리듬을 제안한다. 일반적으로 확장 칼만 필터 알고리듬은 복잡한 연산 과정에 불구하고 적은 학습 횟수로 빠른 수렴 특성을 가진다. 제안한 방법의 효율성을 검증하기 위해 확장 칼만 필터 학습 방법을 적용한 웨이블릿 신경 회로망을 혼돈 시스템 동정에 적용하여 경사 하강법을 사용한 기존의 신경 회로망에 비해 더 양호한 성능을 가짐을 검증하고자 한다.

  • PDF

혼합형 학습규칙 신경 회로망을 이용한 제어 방식 (Control Method using Neural Network of Hybrid Learning Rule)

  • 임중규;이현관;권성훈;엄기환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1999년도 춘계종합학술대회
    • /
    • pp.370-374
    • /
    • 1999
  • 본 논문에서는 역전파 알고리즘과 헵 학습규칙의 장점을 최대한 살려 이용하고, 역전파 알고리즘의 문제점인 지역 최소점에 빠지는 경우와 학습시간이 느린 단점과 헵 학습규칙의 문제점인 학습 패턴의 저장능력이 매우 제한되고 선형적 분리가 되지 않는 복잡한 문제에는 적용할 수 없다는 단점등을 개선하기 위하여 혼합형 학습규칙을 제안한다. 제안하는 학습규칙은 입력층과 은닉층에 흔합형 학습규칙과 은닉층과 출력층에 역전파(Back-Propagation) 학습규칙을 적용한 혼합형이다. 제안한 혼합형 학습규칙을 이용한 신경회로망의 유용성을 확인하기 위하여 단일관절 매니플레이터를 이용하여 추종제어에 대한 시뮬레이션을 하여 기존의 역전파 알고리즘을 이용한 직접적응 제어 방식과 제어성능을 비교 검토한 결과 다음과 같은 특성을 확인하였다.

  • PDF

GMDP 신경망을 이용한 PID 적응 위치 제어기에 관한연구 (A study on the PID adaptive position controller using GMDP Neural Network)

  • 추연규;임영도
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 1995년도 추계학술대회 학술발표 논문집
    • /
    • pp.258-263
    • /
    • 1995
  • 본 논문은 일반화된 다중 수상돌기 적 (GMDP : Generalized Multi Dendrite Product) 유닛트 신경망을 이용한 PID 적응 위치제어기를 구성하여 직류 서어보 전동기의 위치제어를 실시간 처리 하였다. 제안한 제어기를 위치제어에 적용시켜 실험한 결과 기존의 MLP 신경망 제어기를 이용한 것 보다도 샘플시간을 줄일 수 있다는 장점으로 정밀한 제어 가 가능하다는 것을 확인할 수 있었다. 학습규칙은 기존의 역전파 학습방법이 GMDP 신경 회로망에 적용되었다.

  • PDF

선형 신경 회로망을 이용한 영상 Thinning 구현

  • 박병준;이정훈
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2000년도 춘계학술대회 학술발표 논문집
    • /
    • pp.27-30
    • /
    • 2000
  • 본 논문에서는 선형 이진 신경회로망(Linear Binary Neural Network)을 이용하여 이진 영상으로부터 골격(skeleton)을 추출하는 병렬 구조를 제안하였다. 기존의 골격 추출 알고리즘으로부터 이진함수를 추출하고 이를 MSP Term Grouping Algorithm을 이용하여 학습시켰다. 결과에서는 기존의 역전파(Back-propagation) 학습알고리즘을 사용한 신경회로망보다 더 쉽게 하드웨어로 구현할 수 있음을 보여준다.

  • PDF

뇌과학 연구에서 셀룰라 오토마타의 연구 현황 (Research Trend of Cellular Automata in Brain Science Research)

  • 강훈
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 1999년도 추계종합학술대회 논문집
    • /
    • pp.441-447
    • /
    • 1999
  • 본 논문은 복잡 적응 시스템의 분석 및 모델링을 위해, 인공생명의 기본 패러다임인 셀룰라 오토마타를 선택하여, 무정형의 구조를 가지며 투명한 자료 전파 특성을 갖는 셀룰라 신경 회로망의 설계하고 개발하는데 중점을 두었다. 우선, 신경 회로망의 불규칙한 구조를 발생학적으로 다루어 무정형의 은닉층을 생성하고, 다윈의 진화론을 적용하여 구조적 진화 및 선택을 통해 최적화된 신경 회로망을 설계하였다. 주변 셀의 상태를 감지하여 자신의 상태를 수정해나가는 방식의 셀룰라 오토마타의 투명한 신호 전파 모델로 자료 및 오차의 역전파에 적용하도록 고안하였고, 라마르크의 용불용설을 활용한 오차의역전파 학습 알고리즘을 유도하였다. 이러한 복잡 적응계의 학습 과정을 유도하여 시뮬레이션에서 그 타당성을 입증하였다. 시뮬레이션에서는 신경 회로망의 XOR 문제와 다중 입력 다중 출력 함수에 대한 근사화 문제를 풀었다.

  • PDF

신경 회로망을 이용한 음성 신호의 장구간 예측 (Long-term Prediction of Speech Signal Using a Neural Network)

  • 이기승
    • 한국음향학회지
    • /
    • 제21권6호
    • /
    • pp.522-530
    • /
    • 2002
  • 본 논문에서는 선형 예측 후에 얻어지는 잔차 신호 (residual signal)를 신경 회로망에 바탕을 둔 비선형 예측기로 예측하는 방법을 제안하였다. 신경 회로망을 이용한 예측 방법의 타당성을 입증하기 위해, 먼저 선형 장구간 예측기와 신경 회로망이 도입된 비선형 장구간 예측기의 성능을 서로 비교하였다. 그리고 비선형 예측 후의 잔차 신호를 양자화 하는 과정에서 발생하는 양자화 오차의 영향에 대해 분석하였다. 제안된 신경망 예측기는 예측 오차뿐만 아니라 양자화의 영향을 함께 고려하였으며, 양자화오차에 대한강인성을 갖게 하기 위하여 쿤-터커 (Kuhn-Tucker) 부등식 조건을 만족하는 제한조건 역전파 알고리즘을 새로이 제안하였다. 실험 결과, 제안된 신경망 예측기는 제한조건을 갖는 학습 알고리즘을 사용했음에도 불구하고, 예측 이득이 크게 뒤떨어지지 않는 성능을 나타내었다.

유전자 알고리즘을 이용한 비선형 시스템의 퍼지-신경 회로망 모델링 (Fuzzy-Neural Network Modeling of Nonlinear Systems using Genetic Algorithms)

  • 이승형;최용준;김주웅;김한웅;김경수;엄기환
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국해양정보통신학회 1998년도 추계종합학술대회
    • /
    • pp.202-207
    • /
    • 1998
  • 본 논문에서는 유전자 알고리즘을 이용하여 불확실한 비선형 시스템의 퍼지-신경 회로망 모델링을 제안하였다. 제안한 퍼지-신경 회로망 모델링을 위한 학습 알고리즘은 다음과 같은 세 단계로 나누어 진행한다. 첫 번째 단계에서는 퍼지 모델의 소속 함수의 중심간과 표준편차를 구하여 초기 퍼지소속 함수를 결정한다. 두 번째 단계에서는 새로운 알고리즘을 통하여 언어적 퍼지 규칙을 만든다. 마지막 세 번째 단계에서는 유전자 알고리즘을 이용하여 중심값과 표준편차를 최적화함으로써 퍼지 모델의 소속 함수를 조절한다. 제안된 유전자 알고리즘의 장점은 흔히 신경 회로망에서 널리 쓰이는 역전파 알고리즘이 갖는 지역 최소점에 빠지는 현상이 없다는 것이다. 제안한 알고리즘의 유용성을 확인하기 위하여 일반적으로 가장 많이 쓰이는 비선형 시스템에 대하여 시뮬레이션 하여 확인하였다.

  • PDF