• 제목/요약/키워드: Gradient descent method

검색결과 234건 처리시간 0.024초

A Hybrid Multi-Level Feature Selection Framework for prediction of Chronic Disease

  • G.S. Raghavendra;Shanthi Mahesh;M.V.P. Chandrasekhara Rao
    • International Journal of Computer Science & Network Security
    • /
    • 제23권12호
    • /
    • pp.101-106
    • /
    • 2023
  • Chronic illnesses are among the most common serious problems affecting human health. Early diagnosis of chronic diseases can assist to avoid or mitigate their consequences, potentially decreasing mortality rates. Using machine learning algorithms to identify risk factors is an exciting strategy. The issue with existing feature selection approaches is that each method provides a distinct set of properties that affect model correctness, and present methods cannot perform well on huge multidimensional datasets. We would like to introduce a novel model that contains a feature selection approach that selects optimal characteristics from big multidimensional data sets to provide reliable predictions of chronic illnesses without sacrificing data uniqueness.[1] To ensure the success of our proposed model, we employed balanced classes by employing hybrid balanced class sampling methods on the original dataset, as well as methods for data pre-processing and data transformation, to provide credible data for the training model. We ran and assessed our model on datasets with binary and multivalued classifications. We have used multiple datasets (Parkinson, arrythmia, breast cancer, kidney, diabetes). Suitable features are selected by using the Hybrid feature model consists of Lassocv, decision tree, random forest, gradient boosting,Adaboost, stochastic gradient descent and done voting of attributes which are common output from these methods.Accuracy of original dataset before applying framework is recorded and evaluated against reduced data set of attributes accuracy. The results are shown separately to provide comparisons. Based on the result analysis, we can conclude that our proposed model produced the highest accuracy on multi valued class datasets than on binary class attributes.[1]

비이진 내재적 피드백 자료를 위한 변형된 베이지안 개인화 순위 방법 (Modified Bayesian personalized ranking for non-binary implicit feedback)

  • 김동우;이은령
    • 응용통계연구
    • /
    • 제30권6호
    • /
    • pp.1015-1025
    • /
    • 2017
  • 베이지안개인화순위(Bayesian personalized ranking) 방법은 내재적 피드백 자료를 분석하는 최첨단 추천시스템 통계기법 중 하나이다. 하지만, 기존의 베이지안개인화순위 방법은 내재적 피드백 자료를 변환한 이진 자료만을 고려하기 때문에 정보의 손실이 있을 수 있다는 단점이 있다. 이를 해결하기 위해 본 논문에서는 내재적 피드백 자료의 수치적 크기에 기반한 확실함의 정도(level of confidence)를 고려하는 변형베이지안개인화순위 방법을 제안한다. 제안한 방법은 기존 방법처럼 상품간의 개인선호도에 관한 직관적인 확률모형 구조를 여전히 지니면서 내재적 피드백의 수치적 크기를 확실함의 정도로 반영할 수 있다는 점에서 유용하다. 또한 제안한 변형 베이지안개인화순위 방법을 수치적으로 구현하기 위해 확률그라디언트하강(stochastic gradient descent) 기법에 기반한 계산 알고리즘을 제시한다. 마지막으로, 스팀 비디오 게임 실제 데이터 분석을 통하여 기존방법에 비해 우수한 성능을 입증한다.

나선 직교진폭변조 신호성상도의 새로운 설계 (A New Design of Signal Constellation of the Spiral Quadrature Amplitude Modulation)

  • 이상;강석근
    • 한국정보통신학회논문지
    • /
    • 제24권3호
    • /
    • pp.398-404
    • /
    • 2020
  • 본 논문에서는 변형 경사하강검색법을 이용한 새로운 나선 직교진폭변조 신호성상도와 이를 위한 이진사상규칙을 제시한다. 기존 방법과는 달리 새로운 검색법은 반복설계를 위한 파라미터로 최대 반복 횟수와 함께 성상도 최적화 알고리즘을 사용하여 위상잡음에 더욱 강인한 나선 직교진폭변조 성상도를 생성한다. 또한, 제시된 이진사상기법은 신호성상도에서 동일한 경계를 공유하는 필드 수를 조정함으로써 성상도의 평균 해밍거리를 크게 감소시키는 것으로 나타났다. 그 결과, 제안된 나선 직교진폭변조는 매우 심한 수준의 위상잡음 환경에서도 기존 성상도에 비하여 훨씬 향상된 심볼오류성능을 가지는 것으로 확인되었다. 따라서 제안된 나선 직교진폭변조는 위상잡음의 영향이 크게 나타나는 코히어런트 광통신시스템과 직교 주파수분할다중화 시스템에 유용한 변조방법인 것으로 판단된다.

멀티 파티 시스템에서 딥러닝을 위한 프라이버시 보존 기술 (Privacy Preserving Techniques for Deep Learning in Multi-Party System)

  • 고혜경
    • 문화기술의 융합
    • /
    • 제9권3호
    • /
    • pp.647-654
    • /
    • 2023
  • 딥러닝은 이미지, 텍스트와 같이 복잡한 데이터를 분류 및 인식하는데 유용한 방법으로 딥러닝 기법의 정확도는 딥러닝이 인터넷상의 AI 기반의 서비스를 유용하게 하는데 기초가 되었다. 그러나 딥러닝에서 훈련에 사용되는 방대한 양의 사용자 데이터는 사생활 침해 문제를 야기하였고 사진이나 보이스와 같이 사용자이 개인적이고 민감한 데이터를 수집한 기업들이 데이터들을 무기한으로 소유한다. 사용자들은 자신의 데이터를 삭제할 수 없고 사용되는 목적도 제한할 수 없다. 예를 들면, 환자 진료기록에 대한 딥러닝 기술을 적용하기 원하는 의료기관들과 같은 데이터소유자들은 사생활과 기밀유지 문제로 환자의 데이터를 공유할 수 없고 딥러닝 기술의 혜택을 받기 어렵다. 우리는 멀티 파티 시스템에서 다수의 작업자들이 입력 데이터집합을 공유하지 않고 신경망 모델을 공동으로 사용할 수 있는 프라이버시 보존 기술을 적용한 딥러닝 방법을 설계한다. 변형된 확률적 경사 하강에 기초한 최적화 알고리즘을 이용하여 하위 집합을 선택적으로 공유할 수 있는 방법을 이용하였고 결과적으로 개인정보를 보호하면서 학습 정확도를 증가시킨 학습을 할 수 있도록 하였다.

음향광학 단층촬영(Acousto-Optical Tomography)의 수학적 모델과 수치해석적 시뮬레이션 (Mathematical Model for Acousto-Optical Tomography and Its Numerical Simulation)

  • 남혜원;허장용;김소영;이레나
    • 한국의학물리학회지:의학물리
    • /
    • 제23권1호
    • /
    • pp.42-47
    • /
    • 2012
  • 본 연구는 최근 의공학 분야에서 중요한 영역으로 대두되고 있는 광학과 초음파의 장점을 결합한 영상 방법인 AOT (Acousto-Optical Tomography)의 수학적 모델을 제시하였다. AOT는 광학 필드를 초음파 기둥에서 변화 시켜서 초음파 기둥의 위치 정보를 이용하여 영상을 재구성하는 방법이다. AOT의 수학적 모델은 두 단계로 나뉠 수 있다. 첫 번째 단계에서는 광학 필드의 복원을 하고, 두 번째 단계에서는 획득한 광학 필드를 기반으로 확산 방정식의 역문제를 풀어 흡수함수 ${\mu}$ (absorption coefficient)를 산출한다. 본 연구에서는 두 번째 단계에 해당하는 역문제의 해를 구하기 위하여 수치해석적인 최소화 문제로 변환하고, 수치적 팬텀을 이용하여 시뮬레이션 하였다. 전통적인 기울기 하강 방법을 이용하여 역 문제 시뮬레이션의 결과를 보였다. 전변동 정규화 기반의 최소화 문제를 제안하여 기울기 하강 방법의 결과에서 보인 번짐 효과를 개선하였다.

신경망리론에 의한 다목적 저수지의 홍수유입량 예측 (Flood Inflow Forecasting on Multipurpose Reservoir by Neural Network)

  • 심순보;김만식
    • 한국수자원학회논문집
    • /
    • 제31권1호
    • /
    • pp.45-57
    • /
    • 1998
  • 본 논문의 목적은 다목적 저수지의 홍수유입량 예측을 위한 방법으로 병렬다중결선의 계층구조를 가진 신경망이론에 의하여 홍수시 불확실한 비선형시스템의 특성을 같는 저수지 유입량 예측모형을 개발하는 것이다. 신경망이론을 이용한 예측모형의 개발을 위하여 역전파 학습알고리즘을 사용하였으며 역전파 학습알고리즘 사용시 흔히 대두되는 지역최소값 문제와 수렴속도의 향상을 위해서 최적화기법인 경사하강법을 이용한 모멘트법과 경사하강법과 Gauss-Newton 방법을 이용한 Leverberg-Marquardt 법을 사용하였다. 모형개발에 사용된 자료는 연속적인 값으로 입력자료와 출력자료를 강우와 댐유입량을 학습시킨 후, 저수지의 홍수유입량 예측을 위한 다층신경망 모형을 구성하였다. 학습시 사용한 자료를 토대로 개발된 모형을 검정한 결과 매우 만족스런 결과를 얻을 수 있었고 실제 충주댐 유역을 대상으로 저수지 홍수유입량 예측결과 모형의 타당성을 입증할 수 있었다.

  • PDF

Triplet Loss를 이용한 Adversarial Attack 연구 (A Study on Adversarial Attack Using Triplet loss)

  • 오택완;문봉교
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.404-407
    • /
    • 2019
  • 최근 많은 영역에 딥러닝이 활용되고 있다. 특히 CNN과 같은 아키텍처는 얼굴인식과 같은 이미지 분류 분야에서 활용된다. 이러한 딥러닝 기술을 완전한 기술로서 활용할 수 있는지에 대한 연구가 이뤄져왔다. 관련 연구로 PGD(Projected Gradient Descent) 공격이 존재한다. 해당 공격을 이용하여 원본 이미지에 노이즈를 더해주게 되면, 수정된 이미지는 전혀 다른 클래스로 분류되게 된다. 본 연구에서 기존의 FGSM(Fast gradient sign method) 공격기법에 Triplet loss를 활용한 Adversarial 공격 모델을 제안 및 구현하였다. 제안된 공격 모델은 간단한 시나리오를 기반으로 검증하였고 해당 결과를 분석하였다.

UNDERSTANDING NON-NEGATIVE MATRIX FACTORIZATION IN THE FRAMEWORK OF BREGMAN DIVERGENCE

  • KIM, KYUNGSUP
    • Journal of the Korean Society for Industrial and Applied Mathematics
    • /
    • 제25권3호
    • /
    • pp.107-116
    • /
    • 2021
  • We introduce optimization algorithms using Bregman Divergence for solving non-negative matrix factorization (NMF) problems. Bregman divergence is known a generalization of some divergences such as Frobenius norm and KL divergence and etc. Some algorithms can be applicable to not only NMF with Frobenius norm but also NMF with more general Bregman divergence. Matrix Factorization is a popular non-convex optimization problem, for which alternating minimization schemes are mostly used. We develop the Bregman proximal gradient method applicable for all NMF formulated in any Bregman divergences. In the derivation of NMF algorithm for Bregman divergence, we need to use majorization/minimization(MM) for a proper auxiliary function. We present algorithmic aspects of NMF for Bregman divergence by using MM of auxiliary function.

송풍기 설계를 위한 수치최적설계기법의 응용 (Application of Numerical Optimization Technique to the Design of Fans)

  • 김광용;최재호;김태진;류호선
    • 설비공학논문집
    • /
    • 제7권4호
    • /
    • pp.566-576
    • /
    • 1995
  • A Computational code has been developed in order to design axial fans by the numerical optimization techniques incorporated with flow analysis code solving three-dimensional Navier-Stokes equation. The steepest descent method and the conjugate gradient method are used to look for the search direction in the design space, and the golden section method is used for one-dimensional search. To solve the constrained optimization problem, sequential unconstrained minimization technique, SUMT, is used with imposed quadratic extended interior penalty functions. In the optimization of two-dimensional cascade design, the ratio of drag coefficient to lift coefficient is minimized by the design variables such as maximum thickness, maximum ordinate of camber and chord wise position of maximum ordinate. In the application of this numerical optimization technique to the design of an axial fan, the efficiency is maximized by the design variables related to the sweep angle distributed by quadratic function along the hub to tip of fan.

  • PDF

공간탐색 진화알고리즘을 이용한 Interval Type-2 pRBF 뉴럴 네트워크의 구조적 해석 (Architectural Analysis of Type-2 Interval pRBF Neural Networks Using Space Search Evolutionary Algorithm)

  • 오성권;김욱동;박호성;이영일
    • 한국지능시스템학회논문지
    • /
    • 제21권1호
    • /
    • pp.12-18
    • /
    • 2011
  • 본 논문에서는 RBF 뉴럴 네트워크에서 은닉층 활성함수에 Interval type-2 퍼지개념을 적용한 새로운 RBF 뉴럴 네트워크를 설계하였다. 퍼지 시스템 분야에서 불확실한 정보에 대한 Type-1 퍼지집합의 성능을 보안하고자 Type-2 퍼지집합이 제안되었으며, 멤버쉽함수 안에 다시 멤버쉽함수를 생성함으로써 불확실한 정보를 좀 더 효과적으로 다루고자 하였다. 따라서 본 논문에서는 RBF 뉴럴 네트워크의 은닉층 활성함수에 type-2 퍼지집합의 개념을 적용하여 불확실한 정보에 대한 모델 성능을 개선하고자 하였다. 나아가 연결가중치를 상수항이 아닌 1차식으로 구성된 다항식을 사용하여 최종출력을 입력-출력의 관계식으로 표현하였다. 연결가중치는 기존의 경사하강법(Gradient Descent Method; GDM) 대신 conjugate gradient method(CGM)을 사용하여 파라미터를 동조하고, 은닉층의 활성함수는 공간탐색 진화 알고리즘(Space Search Evolutionary Algorithm; SSEA)을 이용하여 가우시안 함수의 중심점 및 분포상수를 동조하여 모델의 성능을 개선시킨다. 제안된 모델의 성능을 평가하기 위해 가스로 시계열 데이터를 사용하였으며, 결과를 기존 모델과 비교하였다.