• 제목/요약/키워드: symmetric activation function

검색결과 8건 처리시간 0.03초

Stable activation-based regression with localizing property

  • Shin, Jae-Kyung;Jhong, Jae-Hwan;Koo, Ja-Yong
    • Communications for Statistical Applications and Methods
    • /
    • 제28권3호
    • /
    • pp.281-294
    • /
    • 2021
  • In this paper, we propose an adaptive regression method based on the single-layer neural network structure. We adopt a symmetric activation function as units of the structure. The activation function has a flexibility of its form with a parametrization and has a localizing property that is useful to improve the quality of estimation. In order to provide a spatially adaptive estimator, we regularize coefficients of the activation functions via ℓ1-penalization, through which the activation functions to be regarded as unnecessary are removed. In implementation, an efficient coordinate descent algorithm is applied for the proposed estimator. To obtain the stable results of estimation, we present an initialization scheme suited for our structure. Model selection procedure based on the Akaike information criterion is described. The simulation results show that the proposed estimator performs favorably in relation to existing methods and recovers the local structure of the underlying function based on the sample.

이중나선의 패턴 인식 분석과 CosExp와 시그모이드 활성화 함수를 사용한 캐스케이드 코릴레이션 알고리즘의 최적화 (Pattern Recognition Analysis of Two Spirals and Optimization of Cascade Correlation Algorithm using CosExp and Sigmoid Activation Functions)

  • 이상화
    • 한국산학기술학회논문지
    • /
    • 제15권3호
    • /
    • pp.1724-1733
    • /
    • 2014
  • 본 논문에서는 비모노톤함수(non-monotone function)인 CosExp(cosine-modulated symmetric Exponential function) 함수와 모노톤함수(monotone function)인 시그모이드 함수를 캐스케이드 코릴레이션 알고리즘(Cascade Correlation algorithm)의 학습에 병행해서 사용하여 이중나선문제(two spirals problem)의 패턴인식에 어떠한 영향이 있는지 분석하고 이어서 알고리즘의 최적화를 시도한다. 첫 번째 실험에서는 알고리즘의 후보뉴런에 CosExp 함수를 그리고 출력뉴런에는 시그모이드 함수를 사용하여 나온 인식된 패턴을 분석한다. 두 번째 실험에서는 반대로 CosExp 함수를 출력뉴런에서 사용하고 시그모이드 함수를 후보뉴런에 사용하여 실험하고 결과를 분석한다. 세 번째 실험에서는 후보뉴런을 위한 8개의 풀을 구성하여 변형된 다양한 시그모이드 활성화 함수(sigmoidal activation function)를 사용하고 출력뉴런에는 CosExp함수를 사용하여 얻게 된 입력공간의 인식된 패턴을 분석한다. 네 번째 실험에서는 시그모이드 함수의 변위를 결정하는 세 개의 파라미터 값을 유전자 알고리즘을 이용하여 얻는다. 이 파라미터 값들이 적용된 시그모이드 함수들은 후보뉴런의 활성화를 위해서 사용되고 출력뉴런에는 CosExp 함수를 사용하여 실험한 최적화 된 결과를 분석한다. 이러한 알고리즘의 성능평가를 위하여 각 학습단계 마다 입력패턴공간에서 인식된 이중나선의 형태를 그래픽으로 보여준다. 최적화 과정에서 은닉뉴런(hidden neuron)의 숫자가 28에서 15로 그리고 최종적으로 12개로 줄어서 학습 알고리즘이 최적화되었음을 확인하였다.

Design of a Pseudo Gaussian Function Network Using Asymmetric Activation Functions

  • Kim, Byung-Man;Cho, Hyung-Suck
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2001년도 ICCAS
    • /
    • pp.43.3-43
    • /
    • 2001
  • In conventional RBF network, the activation functions of hidden layers generally are symmetric functions like gaussian function. This has been considered to be one of the limiting factors for the network to speed up learning of actuately describing a given function. To avoid this criticism, we propose a pseudo gaussian function (PGF) whose deviation is changed according to the direction of incoming pattern. This property helps to estimate the given function more effectively with a minimal number of centers because of its flexibility of functional representation. A level set method is used to describe the asymmetric shape of deviation of the pseudo gaussian function. To demonstrate the performance of the proposed network ...

  • PDF

의사 가우시안 함수 신경망의 설계 (The Design of a Pseudo Gaussian Function Network)

  • 김병만;고국원;조형석
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2000년도 제15차 학술회의논문집
    • /
    • pp.16-16
    • /
    • 2000
  • This paper describes a new structure re create a pseudo Gaussian function network (PGFN). The activation function of hidden layer does not necessarily have to be symmetric with respect to center. To give the flexibility of the network, the deviation of pseudo Gaussian function is changed according to a direction of given input. This property helps that given function can be described effectively with a minimum number of center by PGFN, The distribution of deviation is represented by level set method and also the loaming of deviation is adjusted based on it. To demonstrate the performance of the proposed network, general problem of function estimation is treated here. The representation problem of continuous functions defined over two-dimensional input space is solved.

  • PDF

일어서기 동작에 대한 동작관찰과 동기화된 전기적 감각자극의 통합적 제공이 뇌졸중 환자의 기능에 미치는 효과 (The Effects of Integrated Provision Action Observation and Synchronized Electrical Sensory Stimulation for Sit-to-stand in Stroke Patients Function)

  • 문영;최종덕
    • 한국전문물리치료학회지
    • /
    • 제27권3호
    • /
    • pp.191-198
    • /
    • 2020
  • Background: Stroke patients experience multiple dysfunctions that include motor and sensory impairments. Therefore, new intervention methods require a gradational approach depending on functional levels of a stroke patient's activity and should include cognition treatment to allow for a patient's active participation in rehabilitation. Objects: This study investigates the effect of integrated revision of electrical sensory stimulation, which stimulates somatosensory and action observation training, which is synchronized cognition intervention method on stroke patients' functions. Methods: Twenty-one stroke patients were randomized into two groups. The two groups underwent twenty minutes of intervention five times a week for three weeks. This study used an electromyogram to evaluate symmetric muscle activation of lower extremities and muscle onset time when performing sit to stand before and after intervention. A weight-bearing ratio was used to evaluate the weight-bearing of the affected side in a sit to standing. To evaluate sit to stand performance ability, this study performed five timed sit to stand tests. Results: The two groups both showed statistically significant improvement in muscle onset time of lower extremity, static balance ability in a standing position, and sit to stand performance after the intervention (p < 0.05). In addition, the action observation and synchronized electrical sensory stimulation group showed significant improvement in symmetric muscle activation of lower extremities and weight-bearing ratio of the affected side (p < 0.05). Conclusion: action observation and synchronized electrical sensory stimulation (AOT with ESS) can have positive effects on a stroke patient's sit to stand performance, and the intervention method that provides integrated AOT with ESS can be used as new nervous system intervention program.

뇌손상 후 운동신경기능 회복에 대한 대칭형 상지 운동기구의 효과: 기능적 뇌 자기공명영상 연구 (Effects of the Symmetric Upper Extremity Motion Trainer on the Motor Function Recovery after Brain Injury: An fMRI Study)

  • 태기식;최희석;송성재;김영호
    • 한국의학물리학회지:의학물리
    • /
    • 제16권1호
    • /
    • pp.1-9
    • /
    • 2005
  • 본 연구에서는 건측 손의 운동에 따라 환측 손이 대칭적으로 운동하며 두 가지 운동이 가능한 대칭형 상지 운동기구를 개발하고 개발된 대칭형 상지운동 기구를 이용한 6주간의 훈련 후 상지운동 기능 평가인 Fugl-Meyer 검사를 실시하고 기능적 자기공명영상(fMRI)을 통한 뇌 활성화의 변화를 관찰하였다. 편마비 환자를 위하여 건측 손의 운동을 환측 손으로 전달하여 손목의 굴곡과 신전, 전완의 회내와 회외 운동을 유도하는 대칭형 상지 운동기구를 제작하고 제작한 기구의 운동효과를 검증하기 위하여 대뇌병변이나 정신분열증 경험이 없는 오른손잡이인 성인 3명을 대조군으로 선정하고 편마비 발생 후 2년 이상 경과하여 손상된 상지의 자발적 회복과정이 끝났고 제시된 과제 수행이 가능한 만성 편마비 환자 남성 3명을 환자군으로 선정하였다. 제작된 대칭형 상지 운동기구를 이용한 총 6주간의 훈련 후 측정된 Fugl-Meyer 검사에서 훈련에 참가한 모든 편마비 환자들의 상지 운동기능이 현저하게 향상되었다. 또한 만성 편마비 환자를 대상으로 하여 제작된 기구를 적용하여 뇌 활성화를 관찰하기 위해 영상 촬영을 진행하는 동안 모든 피검자들에게 대조군에게는 우세 손을 환자군에게는 건측 손만 손잡이를 잡고 손목의 굴곡/신전 운동(과제 1)을 하고, 양손 모두 손잡이를 잡은 채로 건측 손만을 움직여서 환측 손이 수동적으로 대칭 운동(과제 2)을 하는 두 가지 과제를 수행하게 하였다. 과제 1에서는 운동 전에 비해 대측 SMC의 활성 강도가 증가되고 동측 SMC는 감소하였다. 과제 2에서는 환자에 따라 운동 전에 다양한 영역에서 활성화되다가 운동 후 양측 SMC 및 SMA, PMA 영역 등의 이차 운동영역의 재조직화가 관찰하여 각 과제에 대한 운동 전후의 대뇌 피질의 재조직화가 손의 운동성 회복과 관련이 있음을 확인하였다. 본 연구를 통해 만성편마비 환자에게 본 기구를 적용시켰을 때 물리 치료적 중재로 인한 운동기능 회복 향상과 손 운동에 대한 기능적 자기공명 영상을 비교함으로써 대뇌 피질의 재조직화를 관찰할 수 있었다.

  • PDF

딥러닝 기반 3차원 라이다의 반사율 세기 신호를 이용한 흑백 영상 생성 기법 (Deep Learning Based Gray Image Generation from 3D LiDAR Reflection Intensity)

  • 김현구;유국열;박주현;정호열
    • 대한임베디드공학회논문지
    • /
    • 제14권1호
    • /
    • pp.1-9
    • /
    • 2019
  • In this paper, we propose a method of generating a 2D gray image from LiDAR 3D reflection intensity. The proposed method uses the Fully Convolutional Network (FCN) to generate the gray image from 2D reflection intensity which is projected from LiDAR 3D intensity. Both encoder and decoder of FCN are configured with several convolution blocks in the symmetric fashion. Each convolution block consists of a convolution layer with $3{\times}3$ filter, batch normalization layer and activation function. The performance of the proposed method architecture is empirically evaluated by varying depths of convolution blocks. The well-known KITTI data set for various scenarios is used for training and performance evaluation. The simulation results show that the proposed method produces the improvements of 8.56 dB in peak signal-to-noise ratio and 0.33 in structural similarity index measure compared with conventional interpolation methods such as inverse distance weighted and nearest neighbor. The proposed method can be possibly used as an assistance tool in the night-time driving system for autonomous vehicles.

풍력터빈 상태진단에 적용된 다양한 신경망 모델의 유효성 비교 (Comparison of the effectiveness of various neural network models applied to wind turbine condition diagnosis)

  • 응고만투안;김창현;딘민차우;박민원
    • 한국산업정보학회논문지
    • /
    • 제28권5호
    • /
    • pp.77-87
    • /
    • 2023
  • 재생 에너지 생성에서 중요한 역할을 하는 풍력 터빈은 작동 상태를 정확하게 평가하는 것이 에너지 생산을 극대화하고 가동 중지 시간을 최소화하는 데 매우 중요하다. 이 연구는 풍력 터빈 상태 진단을 위한 다양한 신경망 모델의 비교 분석을 수행하고 센서 측정 및 과거 터빈 데이터가 포함된 데이터 세트를 사용하여 효율성을 평가하였다. 분석을 위해 2MW 이중 여자 유도 발전기 기반 풍력 터빈 시스템(모델 HQ2000)에서 수집된 감시 제어 및 데이터 수집 데이터를 활용했다. 활성화함수, 은닉층 등을 고려하여 인공신경망, 장단기기억, 순환신경망 등 다양한 신경망 모델을 구축하였다. 대칭 평균 절대 백분율 오류는 모델의 성능을 평가하는 데 사용되었다. 평가를 바탕으로 풍력 터빈 상태 진단을 위한 신경망 모델의 상대적 효율성에 관한 결론이 도출되었다. 본 연구결과는 풍력발전기의 상태진단을 위한 모델선정의 길잡이가 되며, 고도의 신경망 기반 기법을 통한 신뢰성 및 효율성 향상에 기여하고, 향후 관련연구의 방향을 제시하는데 기여한다.