• Title/Summary/Keyword: 최적화 연구모델

Search Result 1,815, Processing Time 0.037 seconds

Optimizing ELECTRA-based model for Zero Anaphora Resolution (생략복원을 위한 ELECTRA 기반 모델 최적화 연구)

  • Park, Jinsol;Choi, Maengsik;Matteson, Andrew;Lee, Chunghee
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.329-334
    • /
    • 2021
  • 한국어에서는 문장 내의 주어나 목적어가 자주 생략된다. 자연어 처리에서 이러한 문장을 그대로 사용하는 것은 정보 부족으로 인한 문제 난이도 상승으로 귀결된다. 생략복원은 텍스트에서 생략된 부분을 이전 문구에서 찾아서 복원해 주는 기술이며, 본 논문은 생략된 주어를 복원하는 방법에 대한 연구이다. 본 논문에서는 기존에 생략복원에 사용되지 않았던 다양한 입력 형태를 시도한다. 또한, 출력 레이어로는 finetuning layer(Linear, Bi-LSTM, MultiHeadAttention)와 생략복원 태스크 형태(BIO tagging, span prediction)의 다양한 조합을 실험한다. 국립국어원 무형 대용어 복원 말뭉치를 기반으로 생략복원이 불필요한 네거티브 샘플을 추가하여 ELECTRA 기반의 딥러닝 생략복원 모델을 학습시키고, 생략복원에 최적화된 조합을 검토한다.

  • PDF

IF2bNet: An Optimized Deep Learning Architecture for Fire Detection Based on Explainable AI (IF2bNet: 화재 감지를 위한 설명 가능 AI 기반 최적화된 딥러닝 아키텍처)

  • Won Jin;Mi-Hwa Song
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.719-720
    • /
    • 2024
  • 센서 기반의 자동화재탐지설비의 역할을 지원할 목적으로, 합성곱 신경망 기반의 AI 화재 감시장비등이 연구되어왔다. ai 기반 화재 감지에 사용되는 알고리즘은 전이학습을 주로 이용하고 있고, 이는 화재 감지에 기여도가 낮은 프로세스가 내장되어 있을 가능성이 존재하여, 딥러닝 모델의 복잡성을 가중시키는 원인이 될 수 있다. 본 연구에서는 이러한 모델의 복잡성을 개선하고자 다양한 딥러닝 및 해석 기술들을 분석하였고, 분석 결과를 토대로 화재 감지에 최적화된 아키텍처인 "IF2bNet" 을 제안한다. 구현한 아키텍처의 성능을 비교한 결과 동일한 성능을 내면서, 파라미터를 약 0.1 배로 경량화 하여, 복잡성을 완화하였다.

A Study of Optimal Thermal Design for a 10W LED lamp (10W LED 조명등 방열 설계 최적화에 관한 연구)

  • Hwang, Soon-Ho;Park, Sang-Jun;Lee, Young-Lim
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.11 no.7
    • /
    • pp.2317-2322
    • /
    • 2010
  • Market for LED lights as a newly-growing industry has been growing, and secureness of high efficiency and long life through optimal thermal design are crucial for further popularization. In this study, considerable improvement in thermal performance for a 10W LED light has been done compared to a previous model. For this, numerical model has been established through experiments and used to optimize design factors in heat release such as fin shape, PCB kind or LED number etc. Furthermore, prototype of a LED light has been made and the improved thermal performance was verified with heat release experiments.

Implementation and Optimization of Distributed Deep learning based on Multi Layer Neural Network for Mobile Big Data at Apache Spark (아파치 스파크에서 모바일 빅 데이터에 대한 다계층 인공신경망 기반 분산 딥러닝 구현 및 최적화)

  • Myung, Rohyoung;Ahn, Beomjin;Yu, Heonchang
    • Proceedings of The KACE
    • /
    • 2017.08a
    • /
    • pp.201-204
    • /
    • 2017
  • 빅 데이터의 시대가 도래하면서 이전보다 데이터로부터 유의미한 정보를 추출하는 것에 대한 연구가 활발하게 진행되고 있다. 딥러닝은 텍스트, 이미지, 동영상 등 다양한 데이터에 대한 학습을 가능하게 할 뿐만 아니라 높은 학습 정확도를 보임으로써 차세대 머선러닝 기술로 각광 받고 있다. 그러나 딥러닝은 일반적으로 학습해야하는 데이터가 많을 뿐만 아니라 학습에 요구되는 시간이 매우 길다. 또한 데이터의 전처리 수준과 학습 모델 튜닝에 의해 학습정확도가 크게 영향을 받기 때문에 활용이 어렵다. 딥러닝에서 학습에 요구되는 데이터의 양과 연산량이 많아지면서 분산 처리 프레임워크 기반 분산 학습을 통해 학습 정확도는 유지하면서 학습시간을 단축시키는 사례가 많아지고 있다. 본 연구에서는 범용 분산 처리 프레임워크인 아파치 스파크에서 데이터 병렬화 기반 분산 학습 모델을 활용하여 모바일 빅 데이터 분석을 위한 딥러닝을 구현한다. 딥러닝을 구현할 때 분산학습을 통해 학습 속도를 높이면서도 학습 정확도를 높이기 위한 모델 튜닝 방법을 연구한다. 또한 스파크의 분산 병렬처리 효율을 최대한 끌어올리기 위해 파티션 병렬 최적화 기법을 적용하여 딥러닝의 학습속도를 향상시킨다.

  • PDF

Applicability Analysis on Estimation of Spectral Induced Polarization Parameters Based on Multi-objective Optimization (다중목적함수 최적화에 기초한 광대역 유도분극 변수 예측 적용성 분석)

  • Kim, Bitnarae;Jeong, Ju Yeon;Min, Baehyun;Nam, Myung Jin
    • Geophysics and Geophysical Exploration
    • /
    • v.25 no.3
    • /
    • pp.99-108
    • /
    • 2022
  • Among induced polarization (IP) methods, spectral IP (SIP) uses alternating current as a transmission source to measure amplitudes and phase of complex electrical resistivity at each source frequency, which disperse with respect to source frequencies. The frequency dependence, which can be explained by a relaxation model such as Cole-Cole model or equivalent models, is analyzed to estimate SIP parameters from dispersion curves of complex resistivity employing multi-objective optimization (MOO). The estimation uses a generic algorithm to optimize two objective functions minimizing data misfits of amplitude and phase based on Cole-Cole model, which is most widely used to explain IP relaxation effects. The MOO-based estimation properly recovered Cole-Cole model parameters for synthetic examples but hardly fitted for the real laboratory measures ones, which have relatively smaller values of phases (less than about 10 mrad). Discrepancies between scales for data misfits of amplitude and phase, used as parameters of MOO method, and it is in necessity to employ other methods such as machine learning, which can deal with the discrepancies, to estimate SIP parameters from dispersion curves of complex resistivity.

A Selection of Optimal Weighting matrix for Model Following Multivariable Control System to Boiler-Turbine Equipment Using GA (GA를 이용한 보일러-터빈 설비의 모델 추종형 다변수 제어 시스템 설계를 위한 취적 가중치 행렬의 선정)

  • 황현준;정호성
    • Journal of the Korean Institute of Illuminating and Electrical Installation Engineers
    • /
    • v.13 no.2
    • /
    • pp.102-110
    • /
    • 1999
  • The aim of this paper is to suggest a design method of the optimal model following control system using gerelic algoritlun (GA). This control system is designed by applying GA with reference model to the optimal determinination of weighting matrices Q, R that are given by LQ regulator prooblem. The method to do this is that all the diagooal elements of weighting matrices are optimized simultaneously by GA, in the search domain selected adequately. And, we design the mxiel following control system to boiler-turbine equipment by the proposed mothod. The model following control system designed by this mothod has the better command tracking perfannaoce than that of the control system designed by the trial-and-error method. The effectiveness of this cootrol System is verified by computer simulation.

  • PDF

A Negotiation Model for Providing Optimized Service in M2M Environment (M2M 환경에서 최적화된 서비스 제공을 위한 협상 모델)

  • Lee, Suk-Hoon;Kim, Jang-Won;Lee, Chong-Hyeon;Jeong, Dong-Won;Baik, Doo-Kwon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06d
    • /
    • pp.68-71
    • /
    • 2011
  • 사물 지능 통신(M2M)은 다양한 통신 기기들 간 서로의 정보를 인식하고, 교환, 및 공유하기 위한 기술이다. 최근 스마트폰 열풍에 힘입어 사물 지능 통신 환경에서 스마트폰을 이용한 서비스 제공에 대한 연구가 활발히 진행 중이다. 이 논문은 사물 지능 통신 환경에서 스마트폰을 사용하는 사용자에게 최적화 된 서비스를 제공하기 위하여, 지능형 단말기와 서버간의 협상 모델을 제안한다. 협상 모델은 4단계로 구성되며 지능형 단말기와 지능형 서버 간 접속, 협상, 서비스 검색과 추론, 서비스 제공의 절차를 거친다. 마지막으로, 이 모델에서 사용하는 온톨로지와 메시지 유형을 정의하고 시스템 구조를 설계하고, 시나리오를 통하여 제안하는 협상 모델의 구체적인 동작 과정을 보인다.

Domain-Adaptive Pre-training for Korean Document Summarization (도메인 적응 사전 훈련 (Domain-Adaptive Pre-training, DAPT) 한국어 문서 요약)

  • Hyungkuk Jang;Hyuncheol, Jang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.843-845
    • /
    • 2024
  • 도메인 적응 사전 훈련(Domain-Adaptive Pre-training, DAPT)을 활용한 한국어 문서 요약 연구에서는 특정 도메인의 문서에 대한 이해도와 요약 성능을 향상시키기 위해 DAPT 기법을 적용했다. 이 연구는 사전 훈련된 언어 모델이 일반적인 언어 이해 능력을 넘어 특정 도메인에 최적화된 성능을 발휘할 수 있도록 도메인 특화 데이터셋을 사용하여 추가적인 사전 훈련을 진행한다. 구체적으로, 의료, 법률, 기술 등 다양한 도메인에서 수집한 한국어 텍스트 데이터를 이용하여 모델을 미세 조정하며, 이를 통해 얻은 모델은 도메인에 특화된 용어와 문맥을 효과적으로 처리할 수 있음을 보여준다. 성능 평가에서는 기존 사전 훈련 모델과 DAPT를 적용한 모델을 비교하여 DAPT의 효과를 검증했다. 연구 결과, DAPT를 적용한 모델은 도메인 특화 문서 요약 작업에서 성능 향상을 보였으며, 이는 실제 도메인별 활용에서도 유용할 것으로 기대된다.

Hyperparameter Search for Facies Classification with Bayesian Optimization (베이지안 최적화를 이용한 암상 분류 모델의 하이퍼 파라미터 탐색)

  • Choi, Yonguk;Yoon, Daeung;Choi, Junhwan;Byun, Joongmoo
    • Geophysics and Geophysical Exploration
    • /
    • v.23 no.3
    • /
    • pp.157-167
    • /
    • 2020
  • With the recent advancement of computer hardware and the contribution of open source libraries to facilitate access to artificial intelligence technology, the use of machine learning (ML) and deep learning (DL) technologies in various fields of exploration geophysics has increased. In addition, ML researchers have developed complex algorithms to improve the inference accuracy of various tasks such as image, video, voice, and natural language processing, and now they are expanding their interests into the field of automatic machine learning (AutoML). AutoML can be divided into three areas: feature engineering, architecture search, and hyperparameter search. Among them, this paper focuses on hyperparamter search with Bayesian optimization, and applies it to the problem of facies classification using seismic data and well logs. The effectiveness of the Bayesian optimization technique has been demonstrated using Vincent field data by comparing with the results of the random search technique.

A Study on the Hyper-parameter Optimization of Bitcoin Price Prediction LSTM Model (비트코인 가격 예측을 위한 LSTM 모델의 Hyper-parameter 최적화 연구)

  • Kim, Jun-Ho;Sung, Hanul
    • Journal of the Korea Convergence Society
    • /
    • v.13 no.4
    • /
    • pp.17-24
    • /
    • 2022
  • Bitcoin is a peer-to-peer cryptocurrency designed for electronic transactions that do not depend on the government or financial institutions. Since Bitcoin was first issued, a huge blockchain financial market has been created, and as a result, research to predict Bitcoin price data using machine learning has been increasing. However, the inefficient Hyper-parameter optimization process of machine learning research is interrupting the progress of the research. In this paper, we analyzes and presents the direction of Hyper-parameter optimization through experiments that compose the entire combination of the Timesteps, the number of LSTM units, and the Dropout ratio among the most representative Hyper-parameter and measure the predictive performance for each combination based on Bitcoin price prediction model using LSTM layer.