• 전자공학회논문지S
• /
• 제36S권2호
• /
• pp.28-37
• /
• 1999

재 강화 학습 방법을 다수의 제어입력을 가진 시스템에 대한 자율적 제어 기법 습득에 활용하기 위해서 차등책임 적응비평 학습구조를 제안하였다. 재 강화 학습은 여러 단계의 제어동작 끝에 얻어지는 최종 비평값을 활용하여 그 전에 행해졌던 제어 동작을 강화 혹은 약화 학습하는 자율적 학습방법이다. 대표적인 재강화학습 방법은 적응비평학습 구조를 이용하는 방법인데 비평모듈과 동작모듈을 이용하여 외부 비평 값을 최대로 활용함으로써 학습효과를 극대화시키는 방법이다. 이 학습방법에서는 단일한 제어입력을 갖는 시스템으로만 적용이 제한된다는 단점이 있다. 제안한 차등책임 적응비평 학습 구조에서는 비평함수를 제어 입력 인자의 함수로 구축한 다음 제어인자에 대한 차별 화된 비평 값을 부분미분을 통하여 산출함으로써 다수의 제어입력을 가진 시스템의 제어기술 학습이 가능하게 하였다. 제안한 학습제어 구조는 학습속도가 빠른 CMAC 신경회로망을 이용하여 구축하였으며 2개의 제어입력을 갖는 2-D Cart-Pole 시스템과 3 개의 제어입력을 갖는 인간구조 로봇시스템의 앉는 동작의 학습제어 시뮬레이션을 통하여 효용성을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제5권4호
• /
• pp.77-86
• /
• 1995

퍼지 제어기에 신경회로망을 병렬로 연결시키므로 제어성능 향상을 위해 필요했던 소속함수의 미세조정 과정이 학습으로 대신되게 하는 제어기 구조를 제안하였다. 신경회로망의 학습은 오차 역전파 알고리듬에 의해 수행되고 퍼지 제어기의 출력이 학습에 사용되는 오차량으로 사용된다. 따라서 본 제어기는 전문가의 경험과 지식을 제어기 설계에 이용할 수 있고, 별도의 학습과정 없이 제어과정 중에서 신경회로망 제어기가 학습되어 초기의 제어특성이 개선되어지는 특성이 있다. 그리고 본 구성에서 퍼지 제어기는 사용된 규칙에 의해 형성되는 위상평면상의 슬라이딩 면으로 필요한 제어특성과 신경회로망의 학습기준을 제시하는 한편 신경회로망이 학습되기전 제어 시스템의 제어특성이 안정되도록 하며, 신경회로망은 시스템의 상태궤적이 퍼지제어기에 의해 형성된 슬라이딩 면을 가능한한 근사하게 추종하도록 학습되어져 위상평면상 임의의 위치에 있는 시스템의 상태가 슬라이딩 면을 따라 안정점에 도달하도록 하게한다.

• 한국경영과학회:학술대회논문집
• /
• 대한산업공학회/한국경영과학회 1996년도 춘계공동학술대회논문집; 공군사관학교, 청주; 26-27 Apr. 1996
• /
• pp.71-74
• /
• 1996

본 연구에서는 반복 학습제어 이론을 기초로 하는 하이브리드 신경망 제어기를 제안한다. 신경망으로는 백프로퍼게이션(backpropagation) 신경망을 사용하고, 기존의 반복 학습 제어 이론의 단점을 보안한 제어 알고리즘을 제안한다. 백프로퍼게이션 신경망의 맵핑(mapping)의 특징으로 원하는 목표 패턴에 추종할 수 있는 출력 패턴을 생성하고 반복 학습에 소요되는 학습시간을 줄일 수 있다. 실험결과에서 보듯이 제안된 제어 알고리즘은 목표패턴에 수렴함을 알 수 있다. 제시한 알고리즘은 CD-ROM 드라이브와 같은 광디스크 드라이브류의 초점 제어 등에 응용할 수 있다.

• Journal of Biosystems Engineering
• /
• 제15권4호
• /
• pp.319-327
• /
• 1990

시스템의 적응 제어함수를 산출하는 네트워크인 소뇌모델 선형조합 회로망을 이용한 학습제어 기법은 시스템에 영향을 주는 제어인자들의 불확실성 및 모델링의 결여에도 불구하고 오히려 안정한 실시간 제어의 구현을 가능하게 함으로써 대단한 관심을 불러 일으켜 왔다. 그러나, 센서로부터의 정보처리와 인식 그리고 복잡한 비선형 시스템의 제어에 적용하기에는 회로망 자체의 내재적 문제점들이 여전히 남아있다. 소뇌모델 선형조합 회로망을 기지 또는 미지의 시스템 모델에 효과적으로 적용하기 위해서는 네트워크에 영향을 주는 제어인자가 시스템에 미치는 영향을 분석하는 것이 필수적이다. 분할 블럭의 크기, 학습이득, 입력편이 그리고 입력변수들의 영역과 같은 네트 제어인자들은 시스템의 학습 능률 및 소요 기억용량의 크기에 중대한 영향을 미침에도 불구하고 충분히 조사되지 못한 실태이다. 물론 이들 제어인자들의 결정에는 학습 대상이 되는 시스템 함수의 형태와 적용 학습 알고리즘이 반드시 고려되어야 한다. 본 논문에서는 학습 능률성에 미치는 이들 제어인자들의 상호영향도를 저자가 제안하였던 기본 학습 알고리즘에 의거하여 조사하였다. 분석적인 방법만으로 이러한 상호영향성을 조사하기는 매우 힘들거나 거의 불가능하다고 보아지기 때문에 학습 대상함수를 먼저 규정하여 다양한 컴퓨터 모의시험을 수행하였고 그 결과를 분석하였다. 컴퓨터 모의시험의 결과에 의하여 회로망의 시스템 적용시 고려할 설계 지침을 제시하였다.

• 한국지능시스템학회:학술대회논문집
• /
• 한국퍼지및지능시스템학회 2003년도 추계 학술대회 학술발표 논문집
• /
• pp.87-90
• /
• 2003

과거의 이동로봇 시스템은 완전한 자율주행이 주된 목표였으며 그때의 영상정보는 단지 모니터링을 하는 보조적인 수단으로 사용되었다. 그러나 지금은 이동 물체의 추적, 대상 물체의 인식과 판별, 특징 추출과 같은 다양한 응용분야에서 영상정보를 이용하는 연구가 활발히 진행되고 있다 또한 제어 측면에서는 전통적인 제어기법으로는 해결하기 힘들었던 여러 가지 비선형적인 제어를 지능제어 방법을 통하여 많이 해결하곤 하였다. 그러한 지능제어에서 신경망을 많이 사용하기도 한다. 최근에는 신경망의 학습에 많이 사용하는 방법 중 강화학습이 많이 사용되고 있다. 강화학습이란 동적인 제어평면에서 시행착오를 통해, 목적을 이루기 위해 각 상황에서 행동을 학습하는 방법이다. 그러므로 이러한 강화학습은 수많은 시행착오를 거쳐 그 대응 관계를 학습하게 된다. 제어에 사용되는 제어 파라메타는 어떠한 상태에 처할 수 있는 상태와 행동들, 그리고 상태의 변화, 또한 최적의 해를 구할 수 있는 포상알고리즘에 대해 다양하게 연구되고 있다. 본 논문에서 연구한 시스템은 비젼시스템과 Strong Arm 보드를 이용하여 대상물체의 색상과 형태를 파악한 후 실시간으로 물체를 추적할 수 있게 구성하였으며, 또한 물체 이동의 비선형적인 경향성을 강화학습을 통하여 물체이동의 비선형성을 보다 유연하게 대처하여 보다 안정하고 빠르며 정확하게 물체를 추적하는 방법을 실험을 통하여 제안하였다.

• 한국지능시스템학회논문지
• /
• 제10권5호
• /
• pp.466-477
• /
• 2000

이 논문에서는 운반차-막대 시스템을 제어하기 위한 CMAC을 이용한 적응 학습 제어계를 개발하기 위하여, 적응비평학습을 이용하는 신경망 제어계에 관한 여러 연구 문헌들을 조사하고, ASE 요소를 이용하는 적응비평학습 기법을 CMAC을 바탕으로 하는 제어계에 통합하였다. 적응비평학습 기법을 CMAC에 구현하는데 있어서의 변환 문제를 검토하고, CMAC 제어계와 ASE 제어계가 운반차-막대 문제를 학습하는 속도를 비교하여, CMAC 제어계의 학습 속도가 빠르기는 하지만, 입력 공간의 더 넓은 영역에 대해서는 학습효과를 발휘하지 못하는 문제의 관점에서 적응비평학습 방법이 CMAC의 특성과 어울리는지를 고찰하였다.

• 한국지능시스템학회논문지
• /
• 제8권3호
• /
• pp.9-15
• /
• 1998

본 논문은 뉴로제어 및 반복학습 제어기법에 기반한 미지의 비선형시스템의 적응학습제어 방법을 제안한다. 제안된 제어 시스템에서 반복학습제어기는 새로운 기준 궤적에 대해 시스템의 출력이 원하는 궤적으로 정확히 수렴하도록 하는 적응과 단기간 제어정보를 기억하는 기능을 수행한다. 상대차수만 알고 있는 미지 시스템에 대한 박복학습 법칙이 학습이득은 신경회로망을 이용하여 추정된다. 반복학습제어기에 의해 습득된 제어정보는 장기메모리에 기반한 앞먹임 뉴로제어기로 이전되어 누적기억됨으로써 과거에 겸험된 기준 궤적에 대해서는 신속하게 추종할 수 있도록 한다. 2자유도 매니퓰레이터에 적용하여 제안된 기법의 타당성을 검증한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2008년도 제38차 하계학술발표논문집 16권1호
• /
• pp.149-154
• /
• 2008

FCM 기반 RBF 네트워크는 서로 다른 학습 구조가 결합된 혼합형 모델로서, 입력층과 중간층의 학습 구조는 FCM 알고리즘을 적용하고, 중간층과 출력층 사이의 학습 구조는 Max_Min 신경망을 적용한다. 입력층과 중간층의 학습시 입력벡터와 중간층의 노드중에서 중심과 입력벡터간의 가장 가까운 노드를 승자 노드로 선택하여 출력층으로 전달한다. 그리고 중간층과 출력층 사이의 학습 구조는 Max_Min 신경망을 적용하여 중간층의 승자 뉴런이 출력층의 입력벡터로 적용한다. 하지만 많은 패턴이 입력벡터로 제시될 경우 학습 성능이 저하되는 단점이 있다. 따라서 본 논문에서는 중간층과 출력층의 학습 구조인 Max_Min 알고리즘의 학습 성능을 개선시키기 위해 퍼지 제어시스템을 이용하여 학습률을 동적으로 조정하는 퍼지 제어 기법을 이용한 FCM 기반 RBF 네트워크를 제안한다. 제안된 방법의 학습 성능을 평가하기 위하여 컨테이너 영상에서 추출한 숫자, 영문 식별자를 학습 데이터로 적용한 결과, 기존의 ART2 기반 RBF 네트워크보다 학습 시간이 적게 소요되고, 학습의 수렴성이 개선된 것을 확인하였다.

• 한국지능시스템학회논문지
• /
• 제6권4호
• /
• pp.39-48
• /
• 1996

비선형 동적 시스템을 제어하기에 적합한 귀환 신경망에 대한 연구는 안정성(stability) 유도와 학습 알고리듬(learning algorithm) 개발의 두가지 방향으로 지금까지 많은 연구가 이루어져 왔다. 본 논문에서는 비선형 동적 시스템 제어시 온라인(on-line) 학습이 가능하고 안정성을 보장하도록 귀환 신경망의 학습 알고리듬에 VSS이론을 도입하여 개발한다. 또한 개발한 학습 알고리듬을 사용한 귀환 신경망을 전형적인 비선형 동적 시스템인 로보트 매니퓰레이터의 제어 시스템에 적용하고 기존의 학습 방법의 적용 결과와 비교하여 개발한 제어 알고리듬의 효용성을 입증한다.

• 전자공학회논문지SC
• /
• 제39권5호
• /
• pp.1-7
• /
• 2002

본 논문에서는 주어진 작업을 반복적으로 수행하는 시스템을 효과적으로 제어하기 위하여 확장된 형태의 직접학습제어방법을 제안한다. 직접학습제어는 기존의 반복학습제어에서, 원하는 출력에서의 작은 변화에 대해서도 학습과정을 처음부터 다시 수행해야 한다는 단점을 극복하기 위해 제안되었다. 이미 학습되어 있는 출력궤적과 특별한 비례(proportional)관계를 갖는 새로운 원하는 출력궤적이 주어졌을 때 직접학습제어를 이용하면 다시 반복학습과정을 수행할 필요없이 원하는 제어입력을 직접 구할 수 있다. 우선, 대부분의 기존의 직접학습제어방법은 단일 입출력 비선형 시스템의 상대차수가 1인 경우에만 적용 가능함을 보이고, 시스템의 상대차수에 대한 정보를 이용하여 상대차수가 1이상인 비선형 시스템에 적용할 수 있는 확장된 형태의 직접학습제어를 제안한다. 또한, 상대차수가 2이상인 임의의 비선형 시스템에 대하여 컴퓨터 모의실험을 수행하고 제안된 직접학습제어방법의 타당성 및 성능을 확인한다.