• 제목/요약/키워드: validation test

검색결과 1,810건 처리시간 0.035초

A Study on the Land Cover Classification and Cross Validation of AI-based Aerial Photograph

  • Lee, Seong-Hyeok;Myeong, Soojeong;Yoon, Donghyeon;Lee, Moung-Jin
    • 대한원격탐사학회지
    • /
    • 제38권4호
    • /
    • pp.395-409
    • /
    • 2022
  • The purpose of this study is to evaluate the classification performance and applicability when land cover datasets constructed for AI training are cross validation to other areas. For study areas, Gyeongsang-do and Jeolla-do in South Korea were selected as cross validation areas, and training datasets were obtained from AI-Hub. The obtained datasets were applied to the U-Net algorithm, a semantic segmentation algorithm, for each region, and the accuracy was evaluated by applying them to the same and other test areas. There was a difference of about 13-15% in overall classification accuracy between the same and other areas. For rice field, fields and buildings, higher accuracy was shown in the Jeolla-do test areas. For roads, higher accuracy was shown in the Gyeongsang-do test areas. In terms of the difference in accuracy by weight, the result of applying the weights of Gyeongsang-do showed high accuracy for forests, while that of applying the weights of Jeolla-do showed high accuracy for dry fields. The result of land cover classification, it was found that there is a difference in classification performance of existing datasets depending on area. When constructing land cover map for AI training, it is expected that higher quality datasets can be constructed by reflecting the characteristics of various areas. This study is highly scalable from two perspectives. First, it is to apply satellite images to AI study and to the field of land cover. Second, it is expanded based on satellite images and it is possible to use a large scale area and difficult to access.

500MW급 표준화력발전소 시뮬레이터 모델을 이용한 디지털 제어시스템 검증 (Digital Control System Validation using the Simulator Models for 500MW Standard Type Fossil Power Plant)

  • 서정관;이명수;홍진혁
    • 한국시뮬레이션학회논문지
    • /
    • 제19권3호
    • /
    • pp.71-79
    • /
    • 2010
  • 디지털 계측제어계통을 발전소에 적용하기 전에 시험 및 검증하기 위하여 500MW급 표준화력발전소 시뮬레이터 모델을 개발하고 터빈 제어시스템과 연계하였다. 선택된 디지털 계측제어계통의 성능시험 시, 해당되는 시뮬레이터 모델은 조정할 수 없는 발전소 디지털 계측제어계통과 교체된다. 시뮬레이터 모델 및 제어시스템의 입출력은 연계장치에 있는 LabView 프로그램을 사용하여 연결되었다. 본 논문에서는 시뮬레이터 모델 및 디지털 계측제어계통을 연계하는 방법론에 대하여 기술하고, 정상운전, 과도상태 및 고장인가 시 수행된 검증시험 결과를 제시하였다. 시뮬레이터 모델을 사용한 디지털 계측제어계통의 종합검증을 통하여 시뮬레이터가 디지털 제어시스템을 발전소에 적용하기 위한 시험장치로 사용될 수 있는 방법론을 개발하였다.

신용평가모형에서 콜모고로프-스미르노프 검정기준의 문제점 (Some Issues on Criterion for Kolmogorov-Smirnov Test in Credit Rating Model Validation)

  • 박용석;홍종선
    • Communications for Statistical Applications and Methods
    • /
    • 제15권6호
    • /
    • pp.1013-1026
    • /
    • 2008
  • 신용평가모형의 판별력에 대한 적합성 검정방법으로 콜모고로프-스미르노프(K-S) 통계량이 널리 사용되고 있다. K-S 통계량을 통한 모형의 판별력 판단기준으로는 표본수에 의존하는 K-S 검정통계량의 임계값보다 매우 큰 기준인 $0.3{\sim}0.4$의 수준이 일반적으로 적용된다. 본 논문에서는 모의실험을 통해 일반적 판단기준의 타당성을 살펴보았다. 모의실험 결과 국내에서 개발된 대부분의 신용평가모형의 결과를 바탕으로 구한 K-S 통계량은 현재 적용하고 있는 판단기준보다 큰 값을 갖는다는 것을 발견하였다. 따라서 어떠한 신용평가모형 이라도 좋은 판별력을 갖는다고 해석할 수 있다. 본 연구에서는 표본크기와 불량률 그리고 제II종 오류율에 따른 대안적인 임계값을 제안한다.

자동기계학습 TPOT 기반 저수위 예측 정확도 향상을 위한 시계열 교차검증 기법 연구 (A Study on Time Series Cross-Validation Techniques for Enhancing the Accuracy of Reservoir Water Level Prediction Using Automated Machine Learning TPOT)

  • 배주현;박운지;이서로;박태선;박상빈;김종건;임경재
    • 한국농공학회논문집
    • /
    • 제66권1호
    • /
    • pp.1-13
    • /
    • 2024
  • This study assessed the efficacy of improving the accuracy of reservoir water level prediction models by employing automated machine learning models and efficient cross-validation methods for time-series data. Considering the inherent complexity and non-linearity of time-series data related to reservoir water levels, we proposed an optimized approach for model selection and training. The performance of twelve models was evaluated for the Obong Reservoir in Gangneung, Gangwon Province, using the TPOT (Tree-based Pipeline Optimization Tool) and four cross-validation methods, which led to the determination of the optimal pipeline model. The pipeline model consisting of Extra Tree, Stacking Ridge Regression, and Simple Ridge Regression showed outstanding predictive performance for both training and test data, with an R2 (Coefficient of determination) and NSE (Nash-Sutcliffe Efficiency) exceeding 0.93. On the other hand, for predictions of water levels 12 hours later, the pipeline model selected through time-series split cross-validation accurately captured the change pattern of time-series water level data during the test period, with an NSE exceeding 0.99. The methodology proposed in this study is expected to greatly contribute to the efficient generation of reservoir water level predictions in regions with high rainfall variability.

비임상시험관리기준 시스템에서 고성능액체크로마토그래피 분석법 정확도 검증의 필요성 (Necessity of high-performance liquid chromatography validation in good laboratory practice systems)

  • 양수빈;김창열
    • 한국응용과학기술학회지
    • /
    • 제41권2호
    • /
    • pp.172-187
    • /
    • 2024
  • 비임상시험관리기준에서 독성시험 전 분석법 밸리데이션은 농도 설정 및 시료 제조 측면에서 중요하다. 시험기관에서는 의뢰받은 시험물질 2종에 대한 밸리데이션을 고성능액체크로마토그래피를 이용하여 수행한 결과 특이성, 시스템 적합성, 직선성, 일내 재현성, 균질성, 안정성, 농도분석, 품질관리를 판정 기준에 만족하는 분석방법을 확립 및 검증하였다. 하지만 의뢰기관의 시험성적서상 표준물질 함량은 시험기관의 결과보다 1.34배, 1.17배 높은 결과로 나타나 비임상시험관리기준에 적합한 분석법 밸리데이션을 통한 결과 도출이 신뢰성과 안정성 확보 측면에서 중요함을 확인하였다.

암호 알고리즘 구현 적합성 평가 시스템 설계 (Design of Validation System for a Crypto-Algorithm Implementation)

  • 하경주;서창호;김대엽
    • 한국통신학회논문지
    • /
    • 제39B권4호
    • /
    • pp.242-250
    • /
    • 2014
  • 정보보호 시스템의 수준 향상과 안전성 및 신뢰성 확보를 위해서는 암호 알고리즘 자체에 대한 검증뿐만 아니라 암호 알고리즘을 구현한 구현물에 대한 검증이 필요하다. 특히, 암호 알고리즘에 대해서 국내외적으로 폭 넓은 표준화가 진행되고 있으며, 이들 암호 알고리즘에 대한 기술 표준을 정확하게 구현하는 것은 정보보호 시스템의 안전성, 신뢰성 향상 및 정보보호 시스템 간의 상호 연동성 확보면에서 매우 중요하다. 따라서 본 논문에서는 X9.62 기술표준을 정확하게 준용하여 구현되었는지를 테스트할 수 있는 암호 알고리즘의 검증도구를 설계 및 구현하였다. 구현된 검증도구는 DES, SEED, AES, SHA-1/256/384/512, RSA-OAEP V2.0, V2.1, ECDSA, ECKCDSA, ECDH 등을 이용한 모든 정보보호 제품에 적용할 수 있다. 아울러 충분한 테스트 항목을 통해 검증의 정확성을 높였으며, 검증도구와 검증 대상이 온라인상에서 검증될 수 있도록 하였다.

모델 행동 양식의 시뮬레이션을 이용한 초기 디자인 검증 방법 (A Strategy for Validation in Preliminary Design Stage using The Simulation of Model Behavior)

  • 신승훈;박승규;최경희
    • 한국시뮬레이션학회논문지
    • /
    • 제19권1호
    • /
    • pp.153-160
    • /
    • 2010
  • 소프트웨어 개발 프로세스에서 발생되는 오류의 대부분은 요구사항 정의와 디자인 단계에서 비롯된다. 또한 이들 단계에서 포함된 오류의 수정 및 제거는 이후 단계에서 포함된 오류의 수정에 비해 훨씬 많은 노력과 비용을 요구한다. 하지만 요구사항과 디자인된 모델의 검증은 매우 중요한 작업임에도 불구하고 다양한 문제점들로 인해 성공적으로 수행되고 있지 못하다. 따라서 본 논문에서는 초기 디자인 단계에서 요구사항 및 모델의 검증 작업을 동시에 수행할 수 있는 모델의 시뮬레이션을 통한 검증 절차를 제안한다. 이 때 작성되는 모델은 Ptolemy 상에 소프트웨어의 행동 양식을 바탕으로 작성된다. 제안된 방법을 DNS 시스템 환경에 적용하여 사용 가능성을 확인하였으며, 시뮬레이션 결과에 따르면 행동 양식을 반영한 모델의 시뮬레이션을 통해 기존에 알려진 시스템의 내재된 오류 혹은 취약성을 발견 가능함이 확인되었다. 이는 제안된 방법이 소프트웨어 개발 프로세스 초기에서 요구사항과 모델을 검증하는 절차로 이용될 수 있음을 의미한다.

또래관계의 질 평가를 위한 RCP(Revised Class Play)의 타당화 연구 (Validation of the Revised Class Play Scale for the Assessment of the Quality of Peer Relations)

  • 천희영
    • 아동학회지
    • /
    • 제20권2호
    • /
    • pp.3-19
    • /
    • 1999
  • The Revised Classroom Play(RCP) scale was validated for Korean 4th grade students. 104 boys and 80 girls took the translated RCP. Test-retest reliability was established with 41 children after 2 months, and test of criterion-related validation was established by the Social Behavior Scale administered to 71 children. All raw scores were standardized by classroom and sex to adjust for differences in the number of nominators and nominatees. The structure of the RCP resulted in 3 factors, 'sociability-disruptive' and 'shy-isolated', with 28 items similar to the original RCP 3 factors. For criterion-related validity, the correlations between the 3 factors of the RCP and the 3 factors of the Social Behavior Scale were positive. For internal consistencies, Cronbach's ${\alpha}$ of the RCP factors ranged from .77 to .94. Test-retest reliability coefficients ranged from .33 to .51. Analyses of variance revealed good item discrepancies for all 28 items. These results confirm the RCP as a valid and reliable measure of the quality of peer relations.

  • PDF

Experimental validation of ASME strain-based seismic assessment methods using piping elbow test data

  • Jong-Min Lee ;Jae-Yoon Kim;Hyun-Seok Song ;Yun-Jae Kim ;Jin-Weon Kim
    • Nuclear Engineering and Technology
    • /
    • 제55권5호
    • /
    • pp.1616-1629
    • /
    • 2023
  • To quantify the conservatism of existing ASME strain-based evaluation methods for seismic loading, this paper presents very low cycle fatigue test data of elbows under various cyclic loading conditions and comparison of evaluation results with experimental failure cycles. For strain-based evaluation methods, the method presented in ASME BPVC CC N-900 and Sec. VIII are used. Predicted failure cycles are compared with experimental failure cycle to quantify the conservatism of evaluation methods. All methods give very conservative failure cycles. The CC N-900 method is the most conservative and prediction results are only ~0.5% of experimental data. For Sec. VIII method, the use of the option using code tensile properties gives ~3% of experimental data, and the use of the material-specific reduction of area can reduce conservatism but still gives ~15% of experimental data.

Establishment of Validation Methods to Test the Biocompatibility of Titanium Dioxide

  • Kim, Mi-Ju;Lim, Hee-Joung;Lee, Byung Gun;Kim, Jong-Hoon;Choi, Jinsub;Kang, Hee-Gyoo
    • Bulletin of the Korean Chemical Society
    • /
    • 제34권6호
    • /
    • pp.1857-1863
    • /
    • 2013
  • Most of biomaterials come in direct contact with the body, making standardized methods of evaluation and validation of biocompatibility an important aspect to biomaterial development. However, biomaterial validation guidelines have not been fully established, until now. This study was to compare the in vitro behavior of osteoblasts cultured on nanomaterial $TiO_2$ surfaces to osteoblast behavior on culture plates. Comparisons were also made to cells grown in conditioned media (CM) that creates an environment similar to the in vivo environment. Comparisons were made between the different growth conditions for osteoblast adhesion, proliferation, differentiation, and functionality. We found that the in vivo-like system of growing cells in concentrated CM provided a good validation method for biomaterial development and in vivo implant therapy. The $TiO_2$ materials were biocompatible, showing similar behavior to that observed in vivo. This study provided valuable information that would aid in the creation of guidelines into standardization and evaluation of biocompatibility in $TiO_2$ biomaterials.