• Title/Summary/Keyword: 모델 평가 지표

Search Result 833, Processing Time 0.033 seconds

An evaluation methodology for cement concrete lining crack segmentation deep learning model (콘크리트 라이닝 균열 분할 딥러닝 모델 평가 방법)

  • Ham, Sangwoo;Bae, Soohyeon;Lee, Impyeong;Lee, Gyu-Phil;Kim, Donggyou
    • Journal of Korean Tunnelling and Underground Space Association
    • /
    • v.24 no.6
    • /
    • pp.513-524
    • /
    • 2022
  • Recently, detecting damages of civil infrastructures from digital images using deep learning technology became a very popular research topic. In order to adapt those methodologies to the field, it is essential to explain robustness of deep learning models. Our research points out that the existing pixel-based deep learning model evaluation metrics are not sufficient for detecting cracks since cracks have linear appearance, and proposes a new evaluation methodology to explain crack segmentation deep learning model more rationally. Specifically, we design, implement and validate a methodology to generate tolerance buffer alongside skeletonized ground truth data and prediction results to consider overall similarity of topology of the ground truth and the prediction rather than pixel-wise accuracy. We could overcome over-estimation or under-estimation problem of crack segmentation model evaluation through using our methodology, and we expect that our methodology can explain crack segmentation deep learning models better.

Comparison and Implementation of Optimal Time Series Prediction Systems Using Machine Learning (머신러닝 기반 시계열 예측 시스템 비교 및 최적 예측 시스템 구현)

  • Yong Hee Han;Bangwon Ko
    • The Journal of Korea Institute of Information, Electronics, and Communication Technology
    • /
    • v.17 no.4
    • /
    • pp.183-189
    • /
    • 2024
  • In order to effectively predict time series data, this study proposed a hybrid prediction model that decomposes the data into trend, seasonality, and residual components using Seasonal-Trend Decomposition on Loess, and then applies ARIMA to the trend component, Fourier Series Regression to the seasonality component, and XGBoost to the remaining components. In addition, performance comparison experiments including ARIMA, XGBoost, LSTM, EMD-ARIMA, and CEEMDAN-LSTM models were conducted to evaluate the prediction performance of each model. The experimental results show that the proposed hybrid model outperforms the existing single models with the best performance indicator values in MAPE(3.8%), MAAPE(3.5%), and RMSE(0.35) metrics.

기업의 정보보호수준 및 성숙도 진단을 위한 정보보호수준 통합평가시스템 개발에 관한 연구

  • 정희조;김진영;임춘성
    • Review of KIISC
    • /
    • v.14 no.4
    • /
    • pp.37-44
    • /
    • 2004
  • 조직의 정보보호 목표를 효율적이고 효과적으로 달성하기 위해서는 조직의 정보보호 수준을 정확히 평가하고 이를 개선시킬 방향을 제시하는 기준이나 평가모델이 필요하다. 또한 이를 위해 부문별 정보보호 수준을 평가하고 개선할 수 있는 평가 지표나 기준이 필요하고 우리나라에서 적용 가능한 정보보호 시스템들의 평가방법론이 연구되어야한다. 따라서 본 연구에서는 정보보호와 관련된 기술적 요소와 관리적 요소, 물리적 요소를 기본으로 하는 정보보호 지표체계를 구성하고 정보보호수준을 종합적이고 체계적으로 평가하기 위한 정보보호 성숙 5단계 모형을 통해 서로 매핑 될 수 있는 정보보호수준 통합평가시스템을 개발하였다. 이러한 통합평가시스템은 기존연구와의 비교 및 사례적용을 통해 그 실효성을 검증하였다.

Evaluation of Landscape Ecology Indices of Gap Stream Basin on Impervious Cover Changes (갑천 유역의 불투수율 변화에 따른 경관 생태학적 지표의 평가)

  • Choi, Jin-Young;Kang, Moon-Seong;Bae, Seung-Jong;Chung, Se-Woong
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2010.05a
    • /
    • pp.1263-1268
    • /
    • 2010
  • 불투수면 비율은 유역의 건전성을 나타내는 중요한 지표로서 도시화에 따른 도시유출의 특성을 추적하는 모델에서 널리 이용되어 왔고, 기존의 많은 연구를 통해서 수환경과의 밀접한 관계가 검증되었다. 불투수율은 비교적 쉽고 빠르게 측정할 수 있으며 유역계획에서 여러 가지 대안 적용이 가능하다는 점에서 유용한 지표로 이용되고 있다. 오늘날 토지이용변화로 인해 발생하는 유역생태계 변화 분석 등은 시, 공간적 제약으로 인해 명확하게 이루어지지 못하고 있어 인간활동에 의한 토지이용의 파편화(Fragmentation)가 어느 정도 발생하고 있는가를 파악하고, 이를 토대로 파편화에 따른 영향을 최소화하거나 사전에 예방하는 것이 필요하다. 따라서 본 연구에서는 경관분석 프로그램인 FRAGSTATS의 적용을 위한 경관요소로서 토지피복을 선정하여, 불투수면을 나타내는 시가화지역과 투수면을 나타내는 산림지역을 대상으로 1) 갑천 유역의 토지피복 변화에 따른 경관구조, 변화 양상을 분석하고, 2) 갑천 유역 내 6개 단위유역별로도 경관 생태학적 지표를 선정하여 이를 평가하였다.

  • PDF

The Identification of HSC70 as a Biomarker for Copper Exposure in Medaka Fish (송사리 모델계에서 구리 노출에 대한 생물지표로서 HSC70의 동정)

  • Kim, Woo-Keun;Lee, Sung-Kyu;Kim, Jong-Sang
    • Environmental Analysis Health and Toxicology
    • /
    • v.22 no.3
    • /
    • pp.197-202
    • /
    • 2007
  • 구리는 환경에 광범위하게 존재하며, 생물체에게 필수적인 무기질이지만 고농도로 존재할 경우 독성을 발휘한다. 본 연구는 프로티옴 기술을 응용하여 수서태계에 구리와 같은 중금속의 존재 여부를 신속하게 평가하기 위한 생물지표를 발굴하기 위하여 수행되었다. 즉, 송사리(Oryzias latipes)를 이용하여 여러 농도의 구리용액(0.1, 1, 5 mg/L)에 24시간 노출시킨 다음, 머리부분에서 선택적으로 발현이 증가되는 단백질을 동정하고자 시도하였다. 본 시스템에서 유의적으로 발현이 증가하는 것으로 나타난 단백질은 beta-tubulin, heat shock cognate 70 (hsc70)이었으며, 이 결과의 일부를 semi-quantitative RT-PCR를 이용하여 확인하였다. 이와 같이 구리 처리에 특이적으로 발현이 증가된 송사리 단백질들은 노출평가를 위한 생물지표로서 개발을 위하여 더 연구할 가치가 있는 것으로 평가된다.

NLP-based Travel Review Classification and Recommendation System Design (NLP 기반 여행 리뷰 분류 및 추천 시스템 설계)

  • Hong Youngmin;Young Deok Park
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.636-638
    • /
    • 2023
  • Covid19의 세계적 유행 이래로 긴 일정의 해외여행이 감소하고 국내 여행의 수요가 꾸준히 증가하는 추세이다. 현재 다수의 국내 여행 숙박 플랫폼은 가성비 측면으로 이용자가 숙박업소를 선택하고 소비자와 업체를 연결해주는 과정에서 수수료를 얻는 상업적 모델이다. 본 논문에서는 가격 경쟁 중심의 기성 시스템이 아닌, 여행자 개인의 가치를 맞춤화하고 공익의 목적으로 업체를 홍보하는 시스템을 제안한다. 이 시스템은 웹 기반의 시스템을 구현하여 여행자에게 개인 가치에 맞는 업소를 맞춤형으로 추천하고 해당 업소에 대한 평가 지표를 시각화하여 제공한다. 본 시스템은 맞춤형 업소 추천과 평가 지표 제공을 위해 소비자의 리뷰 데이터를 사용한다. 텍스트 데이터를 분석하고 해당 데이터를 다중 분류를 통해 업소에 대한 평가 지표별 점수를 산정한다. 본 시스템은 여행자에게 다양한 관광지와 관광 업소를 추천함으로써 지역 관광을 유도하고 해당 여행지 업소와 지역 경제에 도움을 줄 것이라고 기대된다. 본 논문에서 제안된 기법은 오픈소스로 공개되었다[1].

Performance Evaluation between Models for Smoker Classification Based on Health Examination Data (건강검진 데이터 기반 흡연자 분류를 위한 모형별 성능 분석)

  • Yun, Jisun;Yu, Heonchang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2018.10a
    • /
    • pp.648-651
    • /
    • 2018
  • 흡연여부를 감별하는 지표가 있지만 반감기 등 여러 가지 요인에 따라 결과가 변한다는 단점이 있다. 그렇기 때문에 흡연여부 감별 시 외부요인에 영향을 덜 받는 지표가 필요하게 되었다. 그래서 흡연 여부 감별하는데 적합한 모형을 찾아 외부요인에 영향이 적은 지표를 개발에 도움이 될 것을 기대하며 연구를 진행하였다. 실험은 국민건강보험공단에서 제공한 건강검진정보데이터를 기반으로, SVM, Logistic Regression, KNN 등의 머신러닝 모델을 이용하여 흡연 여부를 감별하는 것을 진행한다. 이 실험은 속성에 따른 모형의 성능변화와 학습데이터 수에 따른 모형의 성능변화에 대한 2가지 측면에서 모델의 성능을 측정하였다. 모델의 평가는 정확도(accuracy), 정밀도(precision), 재현율(recall), 조화 평균(f1-score)으로 진행하였으며, 약 70퍼센트 정도의 정확도와, 60퍼센트 대의 재현율을 보인다. 실험 결과, SVM이 속성에 따른 모형의 성능 변화 실험에서는 63%의 재현율, 학습데이터 수에 따른 성능 변화 실험에서는 68%의 재현율을 보여, 흡연자 판별에 가장 좋은 성능을 보였다. 또한 재현율을 기준으로 실험 차수별로 가장 좋은 성능을 보인 모델과 가장 저조한 성능을 보인 모델의 차이를 비교한 결과, '속성에 따른 모형의 성능 변화 실험'에서는 최고 36%의 차이를 보였으며, '학습데이터 수에 따른 성능 변화 실험'에서 최고 42%의 차이를 보여 주었다. 이에 판별을 위한 속성도 중요하지만, 적합한 모형 선택 또한 중요하다는 것을 확인하였다.

Assessing Forecast Accuracy of the UM numerical weather model for the Hydrological Application (수문학적 목적의 UM 수치예보자료의 예측정확성 평가)

  • Uranchimeg, Sumiya;Kwon, Hyun-Han;Kim, Kyung-Wook
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2017.05a
    • /
    • pp.233-233
    • /
    • 2017
  • 현재의 기술과 전문가들의 지식을 바탕으로 수치 예보 모델의 해상도가 점차 증가하고 있으나 한편으로는 해상도가 높아질수록 신뢰성 있는 장기 예보를 제공하는데 어려움이 있다. 즉, 고해상도 모델의 경우 미세한 오차가 발생 하더라도, 실제 기상학적 관점에서 시공간적으로 변동성이 크게 발생할 개연성이 크며, 이로 인해 모델에서 발생하는 불확실성은 더욱 커질 수 있다. 한국 기상청(KMA)에서는 영국기상청으로부터 도입한 통합모델(UM)을 현업 운영하고 있다. 본 연구에서 기상청 통합모델인 UM3.0 예보모델의 예측정확성을 다양한 관점에서 평가하고자 한다. 기상청 UM3.0 모델은 3km의 공간해상도와 1시간 시간해상도를 가지며, 예보시작시점기준 7일간의 예보정보를 제공한다. 강수량 예측정보의 활용성을 평가하기 위해서 예측 시계열에 대해 RMSE, 편의 및 등 다양한 통계지표와 공간적인 강수량 발생 특성을 평가하기 위해서 FSS 방법을 적용하였다. 본 연구 결과를 통해 UM3.0 모델의 1시간 및 3km의 시공간해상도와 선행예보 기간을 그대로 수문학적으로 활용하는 데에는 다소 무리가 있는 것으로 평가되었으며, 이러한 점에서 수문학적 활용관점에서 최적의 시공간적 규모와 선행예보 시간을 분석하였다.

  • PDF

A Study on the Development and Evaluation of Personalized Book Recommendation Systems in University Libraries Based on Individual Loan Records (대출 기록에 기초한 대학 도서관 도서 개인화 추천시스템 개발 및 평가에 관한 연구)

  • Hong, Yeonkyoung;Jeon, Seoyoung;Choi, Jaeyoung;Yang, Heeyoon;Han, Chaeeun;Zhu, Yongjun
    • Journal of the Korean Society for information Management
    • /
    • v.38 no.2
    • /
    • pp.113-127
    • /
    • 2021
  • The purpose of this study is to propose a personalized book recommendation system to promote the use of university libraries. In particular, unlike many recommended services that are based on existing users' preferences, this study proposes a method that derive evaluation metrics using individual users' book rental history and tendencies, which can be an effective alternative when users' preferences are not available. This study suggests models using two matrix decomposition methods: Singular Value Decomposition(SVD) and Stochastic Gradient Descent(SGD) that recommend books to users in a way that yields an expected preference score for books that have not yet been read by them. In addition, the model was implemented using a user-based collaborative filtering algorithm by referring to book rental history of other users that have high similarities with the target user. Finally, user evaluation was conducted for the three models using the derived evaluation metrics. Each of the three models recommended five books to users who can either accept or reject the recommendations as the way to evaluate the models.

해상교통 안전 평가를 위한 안전지수 개발에 관한 연구

  • Hwang, Su-Jin;Im, Nam-Gyun;Kobayashi, Eiichi
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2014.10a
    • /
    • pp.123-124
    • /
    • 2014
  • 본 연구에서는 항해사의 경험적 위험 평가 지수를 바탕으로 특정 시간 항로 전 구간에 대한 해상교통 안전 평가 지수 모델을 개발하고자 한다. 이를 위해 항해사의 위험도 인식지수가 반영된 안전지수 평가 모델을 이용하여 특정항만 항로 전 구간에 대한 안전성 평가를 수치계산 하였다. 오사카 항 항만 내의 AIS data를 기반으로 시뮬레이션을 수행한 결과, 항만 내 항로 전 구간에 대한 안전지수의 변화를 계산할 수 있었으며, 특정항로, 특정 구간의 위험도 지수를 실시간으로 파악할 수 있음을 확인하였다. 향후 본 연구에서 제시된 모델을 이용하여 항만 내 통항 안전성 평가에 이용할 수 있을 것으로 기대된다.

  • PDF