• 제목/요약/키워드: Parameter learning

검색결과 673건 처리시간 0.028초

하드 파라미터 쉐어링 기반의 보행자 및 운송 수단 거리 추정 (Pedestrian and Vehicle Distance Estimation Based on Hard Parameter Sharing)

  • 서지원;차의영
    • 한국정보통신학회논문지
    • /
    • 제26권3호
    • /
    • pp.389-395
    • /
    • 2022
  • 심층 학습 기술의 발전으로 인해 분류, 객체 검출, 분할과 같은 시각 정보를 이용한 심층 학습이 다양한 분야에서 활용되고 있다. 그 중 자율 주행은 시각 데이터를 잘 활용하는 대표적인 분야 중 하나이다. 본 논문에서는 도로 위의 사람과 운송수단 객체에 대한 개별적인 깊이 값을 예측하는 망을 제안한다. 제안하는 모델은 YOLOv3와 Monodepth를 기반으로 하며, 하드 파라미터 쉐어링을 이용한 인코더와 디코더를 통해 객체 검출과 깊이 추정을 동시에 수행한다. 또한 주의 집중 기법을 사용하여 객체 검출 및 깊이 추정의 정확도를 높이고자 하였다. 깊이 추정은 단안 이미지를 통해 이루어지며, 자가 학습 방법을 통해 학습을 수행하였다.

딥러닝을 위한 경사하강법 비교 (Comparison of Gradient Descent for Deep Learning)

  • 강민제
    • 한국산학기술학회논문지
    • /
    • 제21권2호
    • /
    • pp.189-194
    • /
    • 2020
  • 본 논문에서는 신경망을 학습하는 데 가장 많이 사용되고 있는 경사하강법에 대해 분석하였다. 학습이란 손실함수가 최소값이 되도록 매개변수를 갱신하는 것이다. 손실함수는 실제값과 예측값의 차이를 수치화 해주는 함수이다. 경사하강법은 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 그러나 이 알고리즘들은 블랙박스형태로 제공되고 있어서 다양한 경사하강법들의 장단점을 파악하는 것이 쉽지 않다. 경사하강법에서 현재 대표적으로 사용되고 있는 확률적 경사하강법(Stochastic Gradient Descent method), 모멘텀법(Momentum method), AdaGrad법 그리고 Adadelta법의 특성에 대하여 분석하였다. 실험 데이터는 신경망을 검증하는 데 널리 사용되는 MNIST 데이터 셋을 사용하였다. 은닉층은 2개의 층으로 첫 번째 층은 500개 그리고 두 번째 층은 300개의 뉴런으로 구성하였다. 출력 층의 활성화함수는 소프트 맥스함수이고 나머지 입력 층과 은닉 층의 활성화함수는 ReLu함수를 사용하였다. 그리고 손실함수는 교차 엔트로피 오차를 사용하였다.

Actor-Critic Reinforcement Learning System with Time-Varying Parameters

  • Obayashi, Masanao;Umesako, Kosuke;Oda, Tazusa;Kobayashi, Kunikazu;Kuremoto, Takashi
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2003년도 ICCAS
    • /
    • pp.138-141
    • /
    • 2003
  • Recently reinforcement learning has attracted attention of many researchers because of its simple and flexible learning ability for any environments. And so far many reinforcement learning methods have been proposed such as Q-learning, actor-critic, stochastic gradient ascent method and so on. The reinforcement learning system is able to adapt to changes of the environment because of the mutual action with it. However when the environment changes periodically, it is not able to adapt to its change well. In this paper we propose the reinforcement learning system that is able to adapt to periodical changes of the environment by introducing the time-varying parameters to be adjusted. It is shown that the proposed method works well through the simulation study of the maze problem with aisle that opens and closes periodically, although the conventional method with constant parameters to be adjusted does not works well in such environment.

  • PDF

딥 러닝에서 Labeling 부담을 줄이기 위한 연구분석 (An Analysis of the methods to alleviate the cost of data labeling in Deep learning)

  • 한석민
    • 문화기술의 융합
    • /
    • 제8권1호
    • /
    • pp.545-550
    • /
    • 2022
  • 딥러닝은 많은 데이터를 필요로 한다는 것은 이미 널리 알려져있다. 이를 통해, 딥러닝에 쓰이는 신경망의 수없이 많은 parameter들을 학습시킨다. 학습과정에는 데이터뿐 아니라, 각 데이터별로 전문가가 입력한 label이 필요한 경우가 대부분인데, 이 label을 얻는 과정은 시간과 자원 소비가 심하다. 이 문제를 완화하기 위해, few-shot learning, self-supervised learning, weak-supervised learning등이 연구되어오고 있다. 본 논문에서는, label을 상대적으로 적은 노력으로 수행하기 위한 연구들의 동향을 살펴보고, 앞으로의 개선 방향을 제시하도록 한다.

FUZZY HYPERCUBES: A New Inference Machines

  • Kang, Hoon
    • 한국지능시스템학회논문지
    • /
    • 제2권2호
    • /
    • pp.34-41
    • /
    • 1992
  • A robust and reliable learning and reasoning mechanism is addressed based upon fuzzy set theory and fuzzy associative memories. The mechanism stores a priori an initial knowledge base via approximate learning and utilizes this information for decision-making systems via fuzzy inferencing. We called this fuzzy computer architecture a 'fuzzy hypercube' processing all the rules in one clock period in parallel. Fuzzy hypercubes can be applied to control of a class of complex and highly nonlinear systems which suffer from vagueness uncertainty. Moreover, evidential aspects of a fuzzy hypercube are treated to assess the degree of certainty or reliability together with parameter sensitivity.

  • PDF

DNP 제어기에 의한 비선형 동적 매니퓰레이터 제어 (Nonlinear Dynamic Manipulator Control Using DNP Controller)

  • 조현섭;김희숙;유인호;장성환
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 1999년도 하계학술대회 논문집 B
    • /
    • pp.764-767
    • /
    • 1999
  • In this paper, to bring under robust and accurate control of auto-equipment systems which disturbance, parameter alteration of system, uncertainty and so forth exist, neural network controller called dynamic neural processor(DNP) is designed. Also, the architecture and learning algorithm of the proposed dynamic neural network, the DNP, are described and computer simulations are provided to demonstrate the effectiveness of the proposed learning method using the DNP.

  • PDF

제어 지식 베이스형 퍼지 학습제어에 의한 힘/서보계의 제어 (Force/Servo Control Using Control Knowledge Base Fuzzy Learning Control)

  • 정상근;박종국
    • 한국지능시스템학회논문지
    • /
    • 제2권1호
    • /
    • pp.33-52
    • /
    • 1992
  • In this paper, Controlled Knowledge Base(CKB) type fuzzy learning controller for force/servo control system was proposed and the application for them was also studied. To achieve them, we derive fuzzy set from expert knowledges and reson the appropriate control gains by parameter estimation of object. Then, we proved it by computer simulation that we can reduce the ambigious effect, which is not able to be estimated, by designing the controller based on CKB.

  • PDF

모수 추정을 위한 베이시안 기법과 바타차랴 알고리즘을 융합한 어휘 인식 성능 향상 (Vocabulary Recognition Performance Improvement using a convergence of Bayesian Method for Parameter Estimation and Bhattacharyya Algorithm Model)

  • 오상엽
    • 디지털융복합연구
    • /
    • 제13권10호
    • /
    • pp.353-358
    • /
    • 2015
  • 어휘 인식 시스템은 학습 모델을 구성하여 인식하므로 구성되어진 모델에서 벗어난 어휘의 입력과 유사한 어휘의 입력은 인식하지 못하거나 유사한 어휘로 인식되어 인식률 저하가 나타난다. 이런 경우 인식 모델을 확장할 수 있도록 재구성하거나 인식 모델 구성 시 확장성을 반영하므로 해결할 수 있다. 본 논문에서는 모델 구성 시 확장성을 반영할 수 있는 모수 추정을 위한 베이시안 기법을 사용하여 바타차랴 알고리즘 음성 인식 학습 모델 구성 방법을 융합하여 제안하였다. 음소가 갖는 특징을 기반으로 학습 데이터의 음소에 모수 추정을 위한 베이시안 기법을 이용하였고 유사한 학습 모델은 바타챠랴 알고리즘을 이용하여 정확한 학습 모델로 인식하도록 하였다. 바타챠랴 알고리즘 인식 모델을 구성하여 인식 성능을 평가하였다. 본 논문에서 제안한 시스템을 적용한 결과 어휘 인식률에서 97.5%의 인식률과 1.2초의 학습 시간을 나타내었다.

신경회로망을 이용한 직접 자기동조제어기의 설계 (Design of a Direct Self-tuning Controller Using Neural Network)

  • 조원철;이인수
    • 전자공학회논문지SC
    • /
    • 제40권4호
    • /
    • pp.264-274
    • /
    • 2003
  • 본 논문에서는 잡음과 시간지연이 존재하며 시스템 파라미터가 변하는 비선형 비최소위상 시스템에 적응하는 신경회로망이 결합된 PID구조를 갖는 일반화 최소분산 자기동조제어기를 제안한다. PID구조를 갖는 자기동조는 PID제어기처럼 구조가 간단하고 계통을 정밀하게 제어하는 자기동조 제어기의 특성을 그대로 유지할 수 있다. 일반화 최소분산 자기동조 제어기 파라미터는 비선형 시스템을 선형시스템으로 간주하고 순환최소자승법으로 추정하며 설계계수의 값은 확률근사법인 Robbins-Monro 알고리듬을 이용하여 자동조정하였다. 역전파 학습 알고리듬을 사용하는 신경회로망 제어기는 비선형 부분의 제어를 보상하기 위해 필터된 기준입력과 필터된 플랜트 출력이 같도록 제어값을 출력한다. 컴퓨터 시뮬레이션을 통해 제안한 방법이 시스템의 파라미터가 변하는 비최소위상 시스템에 잘 적응함을 보였다.

에피소드 매개변수 최적화를 이용한 확률게임에서의 추적정책 성능 향상 (Improvements of pursuit performance using episodic parameter optimization in probabilistic games)

  • 곽동준;김현진
    • 한국항공우주학회지
    • /
    • 제40권3호
    • /
    • pp.215-221
    • /
    • 2012
  • 본 논문에서는 추적-회피 게임에서 추적자의 추적성능을 향상시키기 위한 최적화 기법을 소개한다. 제한된 공간상에서 추적자는 도망자를 빠른 시간 내에 찾아내고 잡기 위해 확률맵을 생성하고 그 확률정보를 토대로 탐색한다. 추적자는 기존 global-max와 local-max의 장점을 취한 hybrid 추적방식을 사용하는데 이 추적방식은 global-max와 local-max 성향을 조절하는 가중치를 갖는다. 따라서 상황별 최적의 가중치를 찾기 위해 에피소드 매개변수 최적화 알고리즘을 제안하였다. 이 알고리즘은 가중치에 대한 다수의 추적-회피 게임 에피소드를 반복적으로 수행하는 동안 강화학습을 통해 보상을 누적한 후 해당 가중치의 평균보상을 최대화 하는 방향으로 황금분할법을 사용하여 최적의 가중치를 찾는다. 이 최적화 기법을 이용하여 여러 상황별 최적 추적정책을 찾기 위해 도망자 수와 공간의 크기를 변화시켜가며 각각 최적화를 수행하였고 그 결과를 분석하였다.