• Title/Summary/Keyword: 모델 성능 평가

Search Result 3,577, Processing Time 0.036 seconds

A Docker-based Evaluation Program for Model Inference Performance on Heterogeneous Edge Environments (Docker 기반 이기종 엣지 환경에서의 모델 추론 성능 측정 프로그램 구현 및 평가)

  • Kim, Seong-Woo;Kim, Eun-ji;Lee, Jong-Ryul;Moon, Yong-Hyuk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.05a
    • /
    • pp.420-423
    • /
    • 2022
  • 최근 딥러닝 기술이 모바일 기기에 활발히 적용됨에 따라 다양한 엣지 디바이스에서 신경망 모델의 추론 성능을 측정하는 것이 중요해지고 있다. 하지만 디바이스 별 환경 구성과 런타임별 모델 변환 방식이 다르기 때문에 이를 실제로 수행하는 것은 많은 시간을 필요로 한다. 따라서 본 논문에서는 이기종 환경을 고려하여 추론 성능을 측정할 수 있는 Docker 기반의 프로그램을 구현하였고, 이를 이용하여 다양한 엣지 디바이스에서 최신 모델들의 추론 성능을 측정하였다. 또한, 본 프로그램으로 확보 가능한 추론시간 데이터 기반 추론 성능 예측 연구의 사전 연구로서, 대표적 경량모델인 MobilenetV1 에 대한 연산자별 프로파일링을 수행하여 추론시간의 변화 양상을 관찰하였다.

Extended Query Search Performance Evaluations for Vector Model and Probabilistic Model of Information System (정보검색시스템의 확률 및 벡터모델에 대한 질의 확장 검색 성능 평가)

  • 전유정;변동률;박순철
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.9 no.1
    • /
    • pp.36-42
    • /
    • 2004
  • In this paper, we compare the vector model performance with the probabilistic model of information system. We use LSI(Latent Semantic Indexing) model for vector model, while Condor information search system that is ready to sell on business is used as a probabilistic model. Each model produces the search results from the original queries and the queries extended by a dictionary definition. We compare those results between two models and find out the vector model is much better than the probabilistic model for the most queries.

  • PDF

Extraction of Protein-Protein Interactions based on Convolutional Neural Network (CNN) (Convolutional Neural Network (CNN) 기반의 단백질 간 상호 작용 추출)

  • Choi, Sung-Pil
    • KIISE Transactions on Computing Practices
    • /
    • v.23 no.3
    • /
    • pp.194-198
    • /
    • 2017
  • In this paper, we propose a revised Deep Convolutional Neural Network (DCNN) model to extract Protein-Protein Interaction (PPIs) from the scientific literature. The proposed method has the merit of improving performance by applying various global features in addition to the simple lexical features used in conventional relation extraction approaches. In the experiments using AIMed, which is the most famous collection used for PPI extraction, the proposed model shows state-of-the art scores (78.0 F-score) revealing the best performance so far in this domain. Also, the paper shows that, without conducting feature engineering using complicated language processing, convolutional neural networks with embedding can achieve superior PPIE performance.

A Self-Guided Approach to Enhance Korean Text Generation in Writing Assistants (A Self-Guided Approach을 활용한 한국어 텍스트 생성 쓰기 보조 기법의 향상 방법)

  • Donghyeon Jang;Jinsu Kim;Minho Lee
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.541-544
    • /
    • 2023
  • LLM(Largescale Language Model)의 성능 향상을 위한 비용 효율적인 방법으로 ChatGPT, GPT-4와 같은 초거대 모델의 output에 대해 SLM(Small Language Model)을 finetune하는 방법이 주목받고 있다. 그러나, 이러한 접근법은 주로 범용적인 지시사항 모델을 위한 학습 방법으로 사용되며, 제한된 특정 도메인에서는 추가적인 성능 개선의 여지가 있다. 본 연구는 특정 도메인(Writing Assistant)에서의 성능 향상을 위한 새로운 방법인 Self-Guided Approach를 제안한다. Self-Guided Approach는 (1) LLM을 활용해 시드 데이터에 대해 도메인 특화된 metric(유용성, 관련성, 정확성, 세부사항의 수준별) 점수를 매기고, (2) 점수가 매겨진 데이터와 점수가 매겨지지 않은 데이터를 모두 활용하여 supervised 방식으로 SLM을 미세 조정한다. Vicuna에서 제안된 평가 방법인, GPT-4를 활용한 자동평가 프레임워크를 사용하여 Self-Guided Approach로 학습된 SLM의 성능을 평가하였다. 평가 결과 Self-Guided Approach가 Self-instruct, alpaca와 같이, 생성된 instruction 데이터에 튜닝하는 기존의 훈련 방법에 비해 성능이 향상됨을 확인했다. 다양한 스케일의 한국어 오픈 소스 LLM(Polyglot1.3B, PolyGlot3.8B, PolyGlot5.8B)에 대해서 Self-Guided Approach를 활용한 성능 개선을 확인했다. 평가는 GPT-4를 활용한 자동 평가를 진행했으며, Korean Novel Generation 도메인의 경우, 테스트 셋에서 4.547점에서 6.286점의 성능 향상이 발생했으며, Korean scenario Genration 도메인의 경우, 테스트 셋에서 4.038점에서 5.795 점의 성능 향상이 발생했으며, 다른 유사 도메인들에서도 비슷한 점수 향상을 확인했다. Self-Guided Approach의 활용을 통해 특정 도메인(Writing Assistant)에서의 SLM의 성능 개선 가능성을 확인했으며 이는 LLM에 비용부담을 크게 줄이면서도 제한된 도메인에서 성능을 유지하며, LLM을 활용한 응용 서비스에 있어 실질적인 도움을 제공할 수 있을 것으로 기대된다.

  • PDF

A Study on DBM Network and Its Implementation (DBM 네트워크의 성능 향상과 구현에 관한 연구)

  • 강형원;박철영
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2003.11a
    • /
    • pp.411-415
    • /
    • 2003
  • 본 논문에서는 비단조뉴런 모델을 이용한 DBM(Deterministic Boltzmann Machine)네트워크의 학습능력을 평가하였다. 먼저 제안한 네트워크의 은닉층 뉴런수의 변화에 따른 학습성능을 기존의 단조뉴런 모델을 이용한 네트워크의 경우와 비교하였다. 또한 대표적인 학습 모델인 백프로퍼게이션의 경우와도 비교하여 제안한 네트워크가 우수한 성능을 보임을 확인하였다. 마지막으로 네트워크의 응용을 위하여 비단조 DBM 네트워크를 VHDL로 구현하였다.

  • PDF

The Vehicle network using Ad-hoc (Ad-hoc을 이용한 자동차 네트워크)

  • Kim, Cheol-Woo;Jang, Ju-Wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.05a
    • /
    • pp.1437-1440
    • /
    • 2004
  • 자동차를 기반으로 한 애드혹 환경에서는 자동차의 움직임 패턴 특성을 고려하여 모빌리티 모델을 구축하여 시물레이션을 해야 한다. 일반적으로 사용되는 랜덤 웨이포인트 모빌리티 모델[7] 및 그룹 모빌리티 모델[2]은 자동차 특성의 움직임 패턴을 보여주지 못한다. 또한 Freeway 모빌리티 모델 및 맨하탄 모빌리티 모델[4]도 애드혹 망에 대한 전체적인 성능평가를 분석하기 용이하지만 자동차 그룹의 움직임 및 그룹내에서의 성능 평가를 분석하기에는 적합하지 않다. 본 논문에서는 Freeway 모빌리티 모델을 이용하여 그룹의 이동 시나리오를 제시하고 그룹내에서의 통신시 고려되어야할 점 즉, 컨트롤 오버헤드 및 라우팅 경로의 발견등에 관하여 옵넷 시물레이터를 이용하여 분석하였다.

  • PDF

Evaluation of the predictive performance for monthly precipitation of a deep learning model for drought forecasting (가뭄 예보를 위한 딥러닝 모델의 월 강수량 예측 성능 평가)

  • Won, Jeongeun;Choi, Jeonghyeon;Kim, Sangdan
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2022.05a
    • /
    • pp.304-304
    • /
    • 2022
  • 가뭄은 인간 활동과 생태계의 다양한 측면에 영향을 미치는 중요한 자연재해 중 하나이다. 가뭄을 사전에 예측하여 필요한 완화 조치를 취하고 환경적 피해를 줄이는 것이 중요하다. 이에 따라 다양한 인공지능 기술을 이용한 가뭄 예측은 수문학, 수자원 관리, 농업 등의 분야에서 중요성이 커지고 있다. 최근에는 딥러닝 알고리즘을 기반으로 하는 중장기 강수예보를 위한 다양한 방법이 제시되고 있다. 이 논문의 목적은 가뭄 예보를 목적으로 월 강수량 예측을 위한 딥러닝 모델의 성능을 평가하는 것이다. 이를 위해 딥러닝 모델인 LSTM(Long Short-Term Memory)을 적용하였으며, 1981-2020년 기간의 월 강수 자료가 모델을 구축하기 위해 사용되었다. 관측자료를 기반으로 학습된 모델을 이용하여 테스트 기간에 대해 월 강수량을 예측하였다. 예측된 강수량을 통해 표준강수지수(Standardized Precipitation Index, SPI)을 산정하고, 예측 정확도를 분석하였다. 이 연구는 가뭄 예보를 위한 딥러닝 모델의 적용 가능성을 보여준다.

  • PDF

Development of a Performance Evaluation Model on Similarity Measurement Method of Malware (악성코드 유사도 측정 기법의 성능 평가 모델 개발)

  • Chu, Sung-Taek;Kim, HeeSeok;Im, Kwang-Hyuk;Kim, Kyu-Il;Seo, Chang-Ho
    • The Journal of the Korea Contents Association
    • /
    • v.14 no.10
    • /
    • pp.32-40
    • /
    • 2014
  • While there is a great demand for malware classification to reduce the time required in malware analysis and find a new type of malware, various similarity measurement methods of malware to classify a lot of malwares have been proposed. But, the existing methods to measure similarity just represented the classification results by them and have not carried out performance comparison with other methods. This is because an evaluation model to compare the performance of similarity measurement methods is non-existent. In this paper, we propose a new performance evaluation model on similarity measurement methods of malware by using two indicators: success rate and degree of confidence. In addition, we compare and evaluate the performance of existing similarity measurement methods by using these two indicators.

Comparative Analysis of Deep Learning Based Frame Interpolation Methods for HD Videos and Patch-wise Training Methods (딥러닝 기반 비디오 보간법의 패치 단위 학습과 고해상도 비디오를 이용한 비교 분석 실험)

  • Kim, Nayoung;Kang, Je-Won
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • 2018.06a
    • /
    • pp.217-220
    • /
    • 2018
  • 본 논문에서는 딥러닝을 활용한 비디오 보간법(video interpolation)에 대한 최근 모델들을 HD 급 비디오로 학습시키는 방법과 평가 성능을 비교 분석하는 것을 목표로 한다. 기존의 딥러닝을 활용한 비디오 보간법에 대해 제안된 모델들은 낮은 해상도의 비디오로 실험을 진행하였다. 반면 본 연구에서는 한정된 메모리를 가지고도 높은 해상도의 비디오를 학습시키기 위해서 패치 단위 데이터 셋을 구성하여 학습을 진행하였다. 평가 성능을 보이기 위해서 학습 데이터와 마찬가지로 패치 단위 평가와 전체 프레임 단위 평가 성능의 결과를 비교한다.

  • PDF

Performance Evaluation between Models for Smoker Classification Based on Health Examination Data (건강검진 데이터 기반 흡연자 분류를 위한 모형별 성능 분석)

  • Yun, Jisun;Yu, Heonchang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.648-651
    • /
    • 2018
  • 흡연여부를 감별하는 지표가 있지만 반감기 등 여러 가지 요인에 따라 결과가 변한다는 단점이 있다. 그렇기 때문에 흡연여부 감별 시 외부요인에 영향을 덜 받는 지표가 필요하게 되었다. 그래서 흡연 여부 감별하는데 적합한 모형을 찾아 외부요인에 영향이 적은 지표를 개발에 도움이 될 것을 기대하며 연구를 진행하였다. 실험은 국민건강보험공단에서 제공한 건강검진정보데이터를 기반으로, SVM, Logistic Regression, KNN 등의 머신러닝 모델을 이용하여 흡연 여부를 감별하는 것을 진행한다. 이 실험은 속성에 따른 모형의 성능변화와 학습데이터 수에 따른 모형의 성능변화에 대한 2가지 측면에서 모델의 성능을 측정하였다. 모델의 평가는 정확도(accuracy), 정밀도(precision), 재현율(recall), 조화 평균(f1-score)으로 진행하였으며, 약 70퍼센트 정도의 정확도와, 60퍼센트 대의 재현율을 보인다. 실험 결과, SVM이 속성에 따른 모형의 성능 변화 실험에서는 63%의 재현율, 학습데이터 수에 따른 성능 변화 실험에서는 68%의 재현율을 보여, 흡연자 판별에 가장 좋은 성능을 보였다. 또한 재현율을 기준으로 실험 차수별로 가장 좋은 성능을 보인 모델과 가장 저조한 성능을 보인 모델의 차이를 비교한 결과, '속성에 따른 모형의 성능 변화 실험'에서는 최고 36%의 차이를 보였으며, '학습데이터 수에 따른 성능 변화 실험'에서 최고 42%의 차이를 보여 주었다. 이에 판별을 위한 속성도 중요하지만, 적합한 모형 선택 또한 중요하다는 것을 확인하였다.