• Title/Summary/Keyword: linear quadratic regulation (LQR)

Search Result 17, Processing Time 0.026 seconds

Neural-Q method based on KFD regression (KFD 회귀를 이용한 뉴럴-큐 기법)

  • 조원희;김영일;박주영
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2003.05a
    • /
    • pp.85-88
    • /
    • 2003
  • 강화학습의 한가지 방법인 Q-learning은 최근에 Linear Quadratic Regulation(이하 LQR) 문제에 성공적으로 적용된 바 있다. 특히, 시스템 모델의 파라미터에 대한 구체적인 정보없이 적절한 입ㆍ출력만으로 학습을 통해 문제의 해결이 가능하므로 상황에 따라 매우 실용적인 방법이 될 수 있다. 뉴럴-큐 기법은 이러한 Q-learning의 Q-value를 MLP(multilayer perceptron) 신경망의 출력으로 대치시켜, 비선형 시스템의 최적제어 문제를 다룰 수 있게 한 방법이다. 그러나, 뉴럴-큐 기법은 신경망의 구조를 먼저 결정한 후 역전파 알고리즘을 이용해 학습하는 절차를 행하므로, 시행착오를 통해 신경망 구조를 결정해야 한다는 점, 역전파 알고리즘의 적용에 따라 신경망의 연결강도 값들이 지역적 최적해로 수렴한다는 점등의 문제점이 있다. 본 논문에서는 뉴럴-큐 학습의 도구로 KFD회귀를 이용하여 Q 함수의 근사 기법을 제안하고 관련 수식을 유도하였다. 그리고, 모의 실험을 통하여, 제안된 뉴럴-큐 방법의 적용 가능성을 알아보았다.

  • PDF

Optimal Output Feedback Control Simulation for the Operation of Space Shuttle Main Engine (우주왕복선 액체로켓엔진 작동의 최적출력제어 시뮬레이션)

  • Cha, Jihyoung;Ko, Sangho
    • Journal of the Korean Society of Propulsion Engineers
    • /
    • v.20 no.3
    • /
    • pp.37-53
    • /
    • 2016
  • This paper deals with an optimal output control for Space Shuttle Main Engine (SSME), a liquid propellant rocket engine using a staged-combustion cycle. For this purpose, we modeled simplified mathematical model of SSME using each SSME component divided into 7 major categories and found trim points called Rated Propulsion Level (RPL). For design the closed-loop system of SSME, we designed optimal output feedback Linear Quadratic Regulation (LQR) control system using SSME linearized model under RPL 104% and demonstrated the performance of the controller through numerical simulation.

Neural -Q met,hod based on $\varepsilon$-SVR ($\varepsilon$-SVR을 이용한 Neural-Q 기법)

  • 조원희;김영일;박주영
    • Proceedings of the Korean Institute of Intelligent Systems Conference
    • /
    • 2002.12a
    • /
    • pp.162-165
    • /
    • 2002
  • Q-learning은 강화학습의 한 방법으로서, 여러 분야에 널리 응용되고 있는 기법이다. 최근에는 Linear Quadratic Regulation(이하 LQR) 문제에 성공적으로 적용된 바 있는데, 특히, 시스템모델의 파라미터에 대한 구체적인 정보가 없는 상태에서 적절한 입력과 출력만을 가지고 학습을 통해 문제를 해결할 수 있어서 상황에 따라서 매우 실용적인 대안이 될 수 있다. Neural Q-learning은 이러한 Q-learning의 Q-value를 MLP(multilayer perceptron) 신경망의 출력으로 대치시킴으로써, 비선형 시스템의 최적제어 문제를 다룰 수 있게 한 방법이다. 그러나, Neural Q방식은 신경망의 구조를 먼저 결정한 후 역전파 알고리즘을 이용하여 학습하는 절차를 취하기 때문에, 시행착오를 통하여 신경망 구조를 결정해야 한다는 점, 역전파 알고리즘의 적용으로 인해 신경망의 연결강도 값들이 지역적 최적해로 수렴한다는 점등의 문제점을 상속받는 한계가 있다. 따라서, 본 논문에서는 Neural-0 학습의 도구로, 역전파 알고리즘으로 학습되는 MLP 신경망을 사용하는 대신 최근 들어 여러 분야에서 그 성능을 인정받고 있는 서포트 벡터 학습법을 사용하는 방법을 택하여, $\varepsilon$-SVR(Epsilon Support Vector Regression)을 이용한 Q-value 근사 기법을 제안하고 관련 수식을 유도하였다. 그리고, 모의 실험을 통하여, 제안된 서포트 벡터학습 기반 Neural-Q 방법의 적용 가능성을 알아보았다.

Robust Control Design for a Two-Wheeled Inverted Pendulum Mobile Robot (이륜 도립진자 이동로봇을 위한 강인제어기 설계)

  • Yoo, Dong Sang
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.26 no.1
    • /
    • pp.16-22
    • /
    • 2016
  • The research on two-wheeled inverted pendulum (TWIP) mobile robots has been ongoing in a number of robotic laboratories around the world. In this paper, we consider a robust controller design for the TWIP mobile robot driving on uniform slopes. We use a 2 degree-of-freedom (DOF) model which is obtained by restricting the spinning motion in a 3 DOF motion dynamic equation. In order to design the robust controller guaranteeing stability of the TWIP mobile robot driving on inclined surface, we propose a sliding mode control based on the theory of variable structure systems and design a sliding surface using the theory of the linear quadratic regulation (LQR). For simulation, the dynamic model of the TWIP mobile robot is constructed using Mathworks' Simulink and the sliding mode control is also implemented using Simulink. From simulation results, we show that the proposed controller effectively controls the TWIP mobile robot driving on slopes.

Vibration Control of MR Suspension System Considering Damping Force Hysteresis (댐핑력 히스테리시스를 고려한 MR 서스펜션의 진동제어)

  • Seong, Min-Sang;Sung, Kum-Gil;Han, Young-Min;Choi, Seung-Bok;Lee, Ho-Guen
    • Proceedings of the Korean Society for Noise and Vibration Engineering Conference
    • /
    • 2007.11a
    • /
    • pp.381-386
    • /
    • 2007
  • This paper presents vibration control performances of a commercial magnetorheological (MR) suspension via new control strategy considering hysteresis of the field-dependent damping force of MR damper. A commercial MR damper which is applicable to high class passenger vehicle is adopted and its field-dependent damping force is experimentally evaluated. Preisach hysteresis model for the MR damper is identified using experimental first order descending (FOD) curves. Then, a feed-forward compensation strategy for the MR damper is formulated and integrated with a linear quadratic regulation (LQR) feedback controller for the suspension system. Control performances of the proposed control strategy for the MR suspension is experimentally evaluated with quarter vehicle test facility.

  • PDF

Vibration Control of MR Suspension System Considering Damping Force Hysteresis (댐핑력 히스테리시스를 고려한 MR 서스펜션의 진동제어)

  • Seong, Min-Sang;Sung, Kum-Gil;Han, Young-Min;Choi, Seung-Bok;Lee, Ho-Guen
    • Transactions of the Korean Society for Noise and Vibration Engineering
    • /
    • v.18 no.3
    • /
    • pp.315-322
    • /
    • 2008
  • This paper presents vibration control performances of a commercial magnetorheological(MR) suspension via new control strategy considering hysteresis of the field-dependent damping force of MR damper. A commercial MR damper which is applicable to high class passenger vehicle is adopted and its field-dependent damping force is experimentally evaluated. Preisach hysteresis model for the MR damper is identified using experimental first order descending(FOD) curves. Then, a feed-forward compensation strategy for the MR damper is formulated and integrated with a linear quadratic regulation(LQR) feedback controller for the suspension system. Control performances of the proposed control strategy for the MR suspension is experimentally evaluated with quarter vehicle test facility.

Design of an Adaptive Robust Controller Based on Explorized Policy Iteration for the Stabilization of Multimachine Power Systems (다기 전력 시스템의 안정화를 위한 탐색화된 정책 반복법 기반 적응형 강인 제어기 설계)

  • Chun, Tae Yoon;Park, Jin Bae
    • Journal of Institute of Control, Robotics and Systems
    • /
    • v.20 no.11
    • /
    • pp.1118-1124
    • /
    • 2014
  • This paper proposes a novel controller design scheme for multimachine power systems based on the explorized policy iteration. Power systems have several uncertainties on system dynamics due to the various effects of interconnections between generators. To solve this problem, the proposed method solves the LQR (Linear Quadratic Regulation) problem of isolated subsystems without the knowledge of a system matrix and the interconnection parameters of multimachine power systems. By selecting the proper performance indices, it guarantees the stability and convergence of the LQ optimal control. To implement the proposed scheme, the least squares based online method is also investigated in terms of PE (Persistency of Excitation), interconnection parameters and exploration signals. Finally, the performance and effectiveness of the proposed algorithm are demonstrated by numerical simulations of three-machine power systems with governor controllers.