• 제목/요약/키워드: sigmoid

검색결과 477건 처리시간 0.302초

GENERALIZED SYMMETRICAL SIGMOID FUNCTION ACTIVATED NEURAL NETWORK MULTIVARIATE APPROXIMATION

  • ANASTASSIOU, GEORGE A.
    • Journal of Applied and Pure Mathematics
    • /
    • 제4권3_4호
    • /
    • pp.185-209
    • /
    • 2022
  • Here we exhibit multivariate quantitative approximations of Banach space valued continuous multivariate functions on a box or ℝN, N ∈ ℕ, by the multivariate normalized, quasi-interpolation, Kantorovich type and quadrature type neural network operators. We treat also the case of approximation by iterated operators of the last four types. These approximations are achieved by establishing multidimensional Jackson type inequalities involving the multivariate modulus of continuity of the engaged function or its high order Fréchet derivatives. Our multivariate operators are defined by using a multidimensional density function induced by the generalized symmetrical sigmoid function. The approximations are point-wise and uniform. The related feed-forward neural network is with one hidden layer.

이중나선의 패턴 인식 분석과 CosExp와 시그모이드 활성화 함수를 사용한 캐스케이드 코릴레이션 알고리즘의 최적화 (Pattern Recognition Analysis of Two Spirals and Optimization of Cascade Correlation Algorithm using CosExp and Sigmoid Activation Functions)

  • 이상화
    • 한국산학기술학회논문지
    • /
    • 제15권3호
    • /
    • pp.1724-1733
    • /
    • 2014
  • 본 논문에서는 비모노톤함수(non-monotone function)인 CosExp(cosine-modulated symmetric Exponential function) 함수와 모노톤함수(monotone function)인 시그모이드 함수를 캐스케이드 코릴레이션 알고리즘(Cascade Correlation algorithm)의 학습에 병행해서 사용하여 이중나선문제(two spirals problem)의 패턴인식에 어떠한 영향이 있는지 분석하고 이어서 알고리즘의 최적화를 시도한다. 첫 번째 실험에서는 알고리즘의 후보뉴런에 CosExp 함수를 그리고 출력뉴런에는 시그모이드 함수를 사용하여 나온 인식된 패턴을 분석한다. 두 번째 실험에서는 반대로 CosExp 함수를 출력뉴런에서 사용하고 시그모이드 함수를 후보뉴런에 사용하여 실험하고 결과를 분석한다. 세 번째 실험에서는 후보뉴런을 위한 8개의 풀을 구성하여 변형된 다양한 시그모이드 활성화 함수(sigmoidal activation function)를 사용하고 출력뉴런에는 CosExp함수를 사용하여 얻게 된 입력공간의 인식된 패턴을 분석한다. 네 번째 실험에서는 시그모이드 함수의 변위를 결정하는 세 개의 파라미터 값을 유전자 알고리즘을 이용하여 얻는다. 이 파라미터 값들이 적용된 시그모이드 함수들은 후보뉴런의 활성화를 위해서 사용되고 출력뉴런에는 CosExp 함수를 사용하여 실험한 최적화 된 결과를 분석한다. 이러한 알고리즘의 성능평가를 위하여 각 학습단계 마다 입력패턴공간에서 인식된 이중나선의 형태를 그래픽으로 보여준다. 최적화 과정에서 은닉뉴런(hidden neuron)의 숫자가 28에서 15로 그리고 최종적으로 12개로 줄어서 학습 알고리즘이 최적화되었음을 확인하였다.

이차 시그모이드 신경망 등화기 (Quadratic Sigmoid Neural Equalizer)

  • 최수용;옹성환;유철우;홍대식
    • 전자공학회논문지S
    • /
    • 제36S권1호
    • /
    • pp.123-132
    • /
    • 1999
  • 본 논문에서는 기존의 신경망 등화기의 비트 오류 확률 관점에서의 성능 향상을 위해 이차 시그모이드 함수를 활성 함수로 이용한 이차 시그모의 신경망 등화기를 제안한다. 비선형 왜곡을 보정하기 위해 사용되어온 기존의 신경망 등화기들은 일반적으로 활성 함수로서 시그모이드 함수를 이용한다. 기존의 시그모이드 함수를 이용한 신경망 등화기의 경우 하나의 뉴론은 한 개의 선형적인 경계 면을 형성한다. 따라서 복잡한 경계 면을 형성하기 위해 많은 수의 뉴론이 필요하게 된다. 하지만 제안하는 신경망을 등화기에서는 한 뉴론이 평행한 두 개의 직선을 가지고 평면 영역을 분할하기 때문에 보다 간단한 구조로 비트 오류 확률 관점에서 우수한 성능을 얻을 수 있다. 제안한 이차 시그모이드 신경망 결정궤한 등화기를 통신 환경 및 디지털 자기기록 시스템에 적용하였을 때, 기존의 결정궤환 등화기와 신경망 결정궤한 등화기에 비해 같은 비트 오류 확률 관점에서 신호 대 잡음비가 1.5dB~8.3dB 정도의 성능향상을 보인다. 특히 심벌간의 간섭이 심하거나, 비선형성이 강한 환경에서 기존의 일반적인 결정궤한 등화기와 신경망 결정궤한 등화기에 비하여 비트 오류 확률 관점에서 두드러진 신호 대 잡음비의 성능 이득을 보인다.

  • PDF

CNN을 이용한 발화 주제 다중 분류 (Multi-labeled Domain Detection Using CNN)

  • 최경호;김경덕;김용희;강인호
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.56-59
    • /
    • 2017
  • CNN(Convolutional Neural Network)을 이용하여 발화 주제 다중 분류 task를 multi-labeling 방법과, cluster 방법을 이용하여 수행하고, 각 방법론에 MSE(Mean Square Error), softmax cross-entropy, sigmoid cross-entropy를 적용하여 성능을 평가하였다. Network는 음절 단위로 tokenize하고, 품사정보를 각 token의 추가한 sequence와, Naver DB를 통하여 얻은 named entity 정보를 입력으로 사용한다. 실험결과 cluster 방법으로 문제를 변형하고, sigmoid를 output layer의 activation function으로 사용하고 cross entropy cost function을 이용하여 network를 학습시켰을 때 F1 0.9873으로 가장 좋은 성능을 보였다.

  • PDF

Simplified neuron functions for FPGA evaluations of engineering neuron on gate array and analogue circuit

  • Saito, Masayuki;Wang, Qianyi;Aoyama, Tomoo
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 2001년도 ICCAS
    • /
    • pp.157.6-157
    • /
    • 2001
  • We estimated various neuron functions to construct of engineering neurons, which are the combination of sigmoid, linear, sine, quadric, double/single bended, soft max/minimum functions. These combinations are estimated by the property on the potential surface between the learning points, calculation speed, and learning convergence; because the surface depends on the inference ability of a neuron system; and speed and convergence are depend on the efficiency on the points of engineering applications. After the evaluating discussions, we can select more appropriate combination than original sigmoid function´s, which is single bended function and linear one. The combination ...

  • PDF

뇌실복강간단락술 원위 도관에 의한 구불결장의 천공 (Sigmoid Colon Perforation by a Distal Ventriculoperitoneal Shunt Catheter)

  • 신동근;김성호
    • Journal of Yeungnam Medical Science
    • /
    • 제25권2호
    • /
    • pp.171-174
    • /
    • 2008
  • We report an unusual case of a sigmoid colon perforation after ventriculoperitoneal shunt surgery. Distal catheters are known to cause perforation in the setting of colonoscopy. The exact pathogenesis of this complication is not clear, but it can cause serious complications. Hence, patients require prompt and aggressive management, including laparotomy with bowel wall repair, catheter removal, and antibiotic therapy.

  • PDF

시스템의 시변성을 보상하기 위한 신경회로망을 이용한 적응제어 (Adaptive neural control for compensation of time varying characteristics)

  • 이영태;장준오;전기준
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 제어로봇시스템학회 1992년도 한국자동제어학술회의논문집(국내학술편); KOEX, Seoul; 19-21 Oct. 1992
    • /
    • pp.224-229
    • /
    • 1992
  • We investigate a neural network as a dynamic system controller when system characteristics are abruptly changing. The shape of sigmoid functions are determined by autotuing method for the optimum sigmoid function of the neural networks. By using information stored in the identifying network a novel algorithm that can adapt the control action of the controller has been developed. Robustness can be seen from its ability to adjust large variations of parameters. The potential of the proposed method is demonstrated by simulations.

  • PDF

CONSTRUCTION OF POSITIVE INTERPOLATION FUNCTIONS FOR DIFFUSION TENSOR

  • Shim, Hong-Tae
    • Journal of applied mathematics & informatics
    • /
    • 제23권1_2호
    • /
    • pp.563-570
    • /
    • 2007
  • There has been a considerable research interest in medical communities for neuronal fiber tracking with magnetic resonance diffusion tensor imaging(DTI). DTI data have abundant structural boundaries that need to be preserved during interpolation to facilitate fiber tracking. Sigmoid function has been used in recent papers but the sigmoid function still is not good enough to be served as an positive interpolation in mathematical point of view. In this paper, we construct and provide two families positive cardinal interpolation functions.

S상 결장 분절확장증 (Segmental Dilatation of the Sigmoid Colon : A Rare Cause of Chronic Constipation)

  • 박우현;최순옥;백태원;이희정;서수지;김상표
    • Advances in pediatric surgery
    • /
    • 제1권1호
    • /
    • pp.68-72
    • /
    • 1995
  • Segmental dilatation of the colon is a very rare disease entity of unknown etiology and may mimic Hirschsprung's disease. It is characterized by dilatation of a segment of the colon of variable length with obstruction due to lack of peristalsis in a normally innervated intestine. Recently authors experienced a case of segmental dilatation of the sigmoid colon in a 6 month-old male, who presented with severe constipation, abdominal distention, and abdominal mass since 2 months of age. Down's syndrome and congenital nystagmus were associated. Barium enema demonstrated focal dilatation of the sigmoid colon, but the rectum and descending colon proximal t o the affected colon were of normal caliber. Rectal suction biopsy with acetylcholinesterase staining was normal and anorectal manometry showed normal rectosphincteric reflex. At operation, there was a massively dilated and hypertrophied sigmoid colon with increased tortuous serosal vessels, measuring 15 cm in length and 10 cm in width. Teniae coli were identifiable in the affected segment. Frozen section biopsies at the proximal, affected, and distal colon showed ganglion cells. Descending loop colostomy was constructed initially and segmental resection and end to end colocolostomy were carried out 3 months later. Final histologic examination showed 1) normal colonic mucosa with ganglion cells, 2) prominent submucosal fibrosis and marked muscular hypertrophy, 3) unremarkable acetylcholinesterase activity and immunohistochemical findings against S-100 protein. On 8 months follow-up, he has been doing well and moves bowels 1-2 times daily.

  • PDF

스프레드시트를 활용한 지도학습 인공신경망 매개변수 최적화와 활성화함수 기초교육방법 (Supervised Learning Artificial Neural Network Parameter Optimization and Activation Function Basic Training Method using Spreadsheets)

  • 허경
    • 실천공학교육논문지
    • /
    • 제13권2호
    • /
    • pp.233-242
    • /
    • 2021
  • 본 논문에서는 비전공자들을 위한 교양과정으로, 기초 인공신경망 과목 커리큘럼을 설계하기 위해, 지도학습 인공신경망 매개변수 최적화 방법과 활성화함수에 대한 기초 교육 방법을 제안하였다. 이를 위해, 프로그래밍 없이, 매개 변수 최적화 해를 스프레드시트로 찾는 방법을 적용하였다. 본 교육 방법을 통해, 인공신경망 동작 및 구현의 기초 원리 교육에 집중할 수 있다. 그리고, 스프레드시트의 시각화된 데이터를 통해 비전공자들의 관심과 교육 효과를 높일 수 있다. 제안한 내용은 인공뉴런과 Sigmoid, ReLU 활성화 함수, 지도학습데이터의 생성, 지도학습 인공신경망 구성과 매개변수 최적화, 스프레드시트를 이용한 지도학습 인공신경망 구현 및 성능 분석 그리고 교육 만족도 분석으로 구성되었다. 본 논문에서는 Sigmoid 뉴런 인공신경망과 ReLU 뉴런 인공신경망에 대해 음수허용 매개변수 최적화를 고려하여, 인공신경망 매개변수 최적화에 대한 네가지 성능분석결과를 교육하는 방법을 제안하고 교육 만족도 분석을 실시하였다.