• Title/Summary/Keyword: 이상치 분석

Search Result 2,457, Processing Time 0.037 seconds

Development of Post-Processing Software for Flow Measurement Results Analysis using RQ-30 (RQ-30을 활용한 유량 측정 결과 분석을 위한 후처리 소프트웨어 개발)

  • Geunsoo Son;JungHwan Chun;Seongcheol Kang;Youngbeen Kwon;Youngsin Roh
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.420-420
    • /
    • 2023
  • 하천의 유량 자료는 하천 관리에 필수적인 요소로, 지속적인 유량측정을 위해 국가 유량 측정망을 구성하여 주요 지점을 대상으로 유량 측정을 수행하고 있다. 측정된 유량자료는 일반적으로 수위-유량 관계곡선식을 개발하여 제공되고 있으며, 홍수파와 배수 영향 등으로 인해 수위-유량 관계곡선식에서 발생하는 산포로 인한 신뢰도에 문제가 우려되는 경우에는 실시간의 정확한 유량자료를 제공하기 위해 H-ADCP를 설치하여 지표유속법 기반의 실시간 유량 자료 생산하여 제공하고 있다. 그러나 H-ADCP를 이용한 유량 측정 방법은 장비의 한계로 인해 상대적으로 규모가 작고 수심이 얕은 하천에 적용하기 어려운 문제가 있다. 따라서, 최근에는 자동유량관측소 지점 확대를 위해 비접촉식 유속계를 활용한 자동유량관측소 운영이 점차 고려되고 있다. 이에 따라 비접촉식유속계를 이용한 유량 측정 결과의 검증 및 유지 관리를 위한 소프트웨어가 필요하다. 이에 본 연구에서는 비접촉식유속계 중 전자파를 이용하여 수표면의 표면유속을 측정할 수 있는 장비인 RQ-30의 측정결과를 분석하기 위해 Microsoft Visual Studio(C#) 사용하여 측정결과의 검토 및 자료 관리를 위한 후처리 소프트웨어를 개발하였다. 개발한 소프트웨어는 측정 원시자료를 읽고, 도시하여 측정 결과를 확인할 수 있으며, 머신러닝 기반의 알고리즘을 적용하여 수위 및 유속 시계열 자료에서 발생하는 이상치를 탐색할 수 있도록 개발하였다. 그리고 탐지된 이상치에 대한 보정을 위해 선형보간, LOESS, SuperSmoother를 사용하여 이상치를 보정하여 결과를 도출할 수 있도록 개발하였다. 추후 본 연구를 통해 개발된 프로그램을 활용하여 측정 자료의 유지 관리 효율성을 증대시킬 수 있을 것으로 기대되며, 지속적인 프로그램의 개선을 통해서 실무적으로 활용이 가능할 것으로 판단된다.

  • PDF

Analyzing Influence of Outlier Elimination on Accuracy of Software Effort Estimation (소프트웨어 공수 예측의 정확성에 대한 이상치 제거의 영향 분석)

  • Seo, Yeong-Seok;Yoon, Kyung-A;Bae, Doo-Hwan
    • Journal of KIISE:Software and Applications
    • /
    • v.35 no.10
    • /
    • pp.589-599
    • /
    • 2008
  • Accurate software effort estimation has always been a challenge for the software industrial and academic software engineering communities. Many studies have focused on effort estimation methods to improve the estimation accuracy of software effort. Although data quality is one of important factors for accurate effort estimation, most of the work has not considered it. In this paper, we investigate the influence of outlier elimination on the accuracy of software effort estimation through empirical studies applying two outlier elimination methods(Least trimmed square regression and K-means clustering) and three effort estimation methods(Least squares regression, Neural network and Bayesian network) associatively. The empirical studies are performed using two industry data sets(the ISBSG Release 9 and the Bank data set which consists of the project data collected from a bank in Korea) with or without outlier elimination.

Deep Learning-Based Outlier Detection and Correction for 3D Pose Estimation (3차원 자세 추정을 위한 딥러닝 기반 이상치 검출 및 보정 기법)

  • Ju, Chan-Yang;Park, Ji-Sung;Lee, Dong-Ho
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.11 no.10
    • /
    • pp.419-426
    • /
    • 2022
  • In this paper, we propose a method to improve the accuracy of 3D human pose estimation model in various move motions. Existing human pose estimation models have some problems of jitter, inversion, swap, miss that cause miss coordinates when estimating human poses. These problems cause low accuracy of pose estimation models to detect exact coordinates of human poses. We propose a method that consists of detection and correction methods to handle with these problems. Deep learning-based outlier detection method detects outlier of human pose coordinates in move motion effectively and rule-based correction method corrects the outlier according to a simple rule. We have shown that the proposed method is effective in various motions with the experiments using 2D golf swing motion data and have shown the possibility of expansion from 2D to 3D coordinates.

Anomaly Detection of Hadoop Log Data Using Moving Average and 3-Sigma (이동 평균과 3-시그마를 이용한 하둡 로그 데이터의 이상 탐지)

  • Son, Siwoon;Gil, Myeong-Seon;Moon, Yang-Sae;Won, Hee-Sun
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.5 no.6
    • /
    • pp.283-288
    • /
    • 2016
  • In recent years, there have been many research efforts on Big Data, and many companies developed a variety of relevant products. Accordingly, we are able to store and analyze a large volume of log data, which have been difficult to be handled in the traditional computing environment. To handle a large volume of log data, which rapidly occur in multiple servers, in this paper we design a new data storage architecture to efficiently analyze those big log data through Apache Hive. We then design and implement anomaly detection methods, which identify abnormal status of servers from log data, based on moving average and 3-sigma techniques. We also show effectiveness of the proposed detection methods by demonstrating that our methods identifies anomalies correctly. These results show that our anomaly detection is an excellent approach for properly detecting anomalies from Hadoop log data.

A Robust Backpropagation Algorithm and It's Application (문자인식을 위한 로버스트 역전파 알고리즘)

  • Oh, Kwang-Sik;Kim, Sang-Min;Lee, Dong-No
    • Journal of the Korean Data and Information Science Society
    • /
    • v.8 no.2
    • /
    • pp.163-171
    • /
    • 1997
  • Function approximation from a set of input-output pairs has numerous applications in scientific and engineering areas. Multilayer feedforward neural networks have been proposed as a good approximator of nonlinear function. The back propagation(BP) algorithm allows multilayer feedforward neural networks to learn input-output mappings from training samples. It iteratively adjusts the network parameters(weights) to minimize the sum of squared approximation errors using a gradient descent technique. However, the mapping acquired through the BP algorithm may be corrupt when errorneous training data we employed. When errorneous traning data are employed, the learned mapping can oscillate badly between data points. In this paper we propose a robust BP learning algorithm that is resistant to the errorneous data and is capable of rejecting gross errors during the approximation process, that is stable under small noise perturbation and robust against gross errors.

  • PDF

Compare and Analysis of the Cases of Load Capacity Evaluation of Existing Bridges (교량 내하력 평가사례의 비교 고찰 및 분석)

  • 오병환;신호상;한승환;이상민;이태규
    • Proceedings of the Korea Concrete Institute Conference
    • /
    • 1995.04a
    • /
    • pp.391-395
    • /
    • 1995
  • 본 연구에서는 현재 각 연구기간에서 실시되고 있는 기존 교량의 내하력 평가사례 들을 비교 분석하고, 이에 따른 문제점을 도출하여 보다 합리적인 교량 내하력 평가기법을 제시하고자 한다. 내하력 평가내용 중 외관조사 방법, 정적 및 동적 재하시험 및 결과분석, 대상교량의 구조해석 및 최종 내하력 평가 방법에 따라 분석하고 이에 따른 각 연구기관별 수행 방법의 차이를 기술하고 문제점을 도출하여 개선된 내하력 평가기법의 방향을 제시하 고자 한다. 분석결과 실측치와 해석치 사이에 차이가 많이 존재하고 평가방법도 일관성이 결여되어 있는 것으로 나타나고 있다.

  • PDF

GNSS에서의 Cycle-slip 검출 기법들의 성능 비교

  • Jo, Seong-Ryong;Han, Yeong-Hun;Jin, Mi-Hyeon;Choe, Heon-Ho;Park, Chan-Sik;Heo, Mun-Beom;Lee, Sang-Jeong
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2011.06a
    • /
    • pp.331-333
    • /
    • 2011
  • GNSS를 이용한 위치 결정은 육상, 항만 및 해양 등의 많은 분야에서 공적 상업적인 목적으로 많이 연구되고 있다. 최근 코드 측정치 분해능이 한계를 가지는 것을 인지하고 반송파 위상 측정치를 이용한 위치 결정에 많은 관심을 가진다. 반송파 위상 측정치는 데이터 수집 환경에 의해서 코드 측정치보다 치명적인 영향을 받아 미지정수 결정과 별개로 반송파 위상 측정치 모니터링에 대한 연구가 필요하다. 반송파 위상 측정치는 다중경로, 수신기 내부 문제 등으로 인하여 Cycle-slip, Half Cycle과 같은 반송파 위상 측정치 이상 현상이 발생한다. 특히, Cycle-slip 현상은 반송파 위상 측정치의 바이어스 성분으로 사용자의 위치 결정에 악영향을 미친다. 본 논문에서는 Cycle-slip 현상에 대해서 설명하고, 기존에 연구된 Cycle-slip 현상에 대한 검출, 결정 및 확인 기법들의 장단점을 비교하였다. 마지막으로 시뮬레이션 기반의 Cycle-slip 검출, 결정 및 확인 기법들의 성능을 비교 분석하였다.

  • PDF

Locating and Searching Hidden Messages in Stego-Images (스테고 이미지에서 은닉메시지 감지기법)

  • Ji, Seon-Su
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.14 no.3
    • /
    • pp.37-43
    • /
    • 2009
  • Steganography conceals the fact that hidden message is being sent on the internet. Steganalysis can be detected the abrupt changes in the statistics of a stego-data. After message embedding, I have analyzed for the statistical significance of the fact the occurrence of differences among the four-neighboring pixels. In this case, when a embedding messages within a images is small, use EC value and chi-square test to determine whether a distribution in an images matches a distribution that shows distortion from stego-data.

Regional frequency analysis using rainfall observation data in Gangwon Province (강원도 강우관측 자료를 이용한 지역빈도분석)

  • Young Il Jeon;Sang Ug Kim;Dong Il Seo;Jae Wook Han
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2023.05a
    • /
    • pp.211-211
    • /
    • 2023
  • 본 연구에서는 지역빈도분석을 이용하고 있는 홍수량 산정 지침에서 활용되고 있는 전국대상의 강우관소에 대한 확률강우량과 강원지역에 위치한 강우관측소만을 대상으로 산정한 확률강우량을 비교하였다. 이를 위해서 강원도 지역의 48개 지점의 지속기간별 강우자료를 수집한 후, K-means 기법을 이용하여 6개의 군집으로 구분하였다. 강원도 대부분이 산악지형임을 고려해 산악효과를 야기하는 지형인자와 강우자료의 관계를 파악하였다. 국가수자원관리종합정보시스템에서 수집한 강우자료를 사용하여 지속시간별 최대강우량과 산악효과를 야기하는 지형인자로 선정한 고도 이외에 위도, 경도를 각각 추가인자로 고려해 지역빈도분석을 수행하였다. 위 지형인자와 강우자료를 이용하여 수문학적 동질한 특성을 가지는 군집을 구성하였으며, 위도와 경도를 인자로 추가하면 더욱 강한 상관성을 보임을 알 수 있었다. 군집분석결과를 통해 모수를 추정하고 적절한 분포를 선택하였으며, 이상치검정과 적합도 검정을 통해 최종 분포를 결정하였다. 고도와 위도, 경도를 모두 고려해 이용한 지역빈도분석 결과 강원도의 실제 강우특성과 마찬가지로 고도의 높낮이에 따라 강우형태를 전국단위 지역빈도분석과 비교하였다. 최종적으로 현재 활용되고 있는 홍수량 산정 지침의 확률강우량과 강원지역에 위치한 강우관측소만을 대상으로 한 지역빈도분석의 차이의 발생원인과 강원지역에서의 특이성을 결론으로 제시하였다.

  • PDF

Comparative Analysis of Anomaly Detection Models using AE and Suggestion of Criteria for Determining Outliers

  • Kang, Gun-Ha;Sohn, Jung-Mo;Sim, Gun-Wu
    • Journal of the Korea Society of Computer and Information
    • /
    • v.26 no.8
    • /
    • pp.23-30
    • /
    • 2021
  • In this study, we present a comparative analysis of major autoencoder(AE)-based anomaly detection methods for quality determination in the manufacturing process and a new anomaly discrimination criterion. Due to the characteristics of manufacturing site, anomalous instances are few and their types greatly vary. These properties degrade the performance of an AI-based anomaly detection model using the dataset for both normal and anomalous cases, and incur a lot of time and costs in obtaining additional data for performance improvement. To solve this problem, the studies on AE-based models such as AE and VAE are underway, which perform anomaly detection using only normal data. In this work, based on Convolutional AE, VAE, and Dilated VAE models, statistics on residual images, MSE, and information entropy were selected as outlier discriminant criteria to compare and analyze the performance of each model. In particular, the range value applied to the Convolutional AE model showed the best performance with AUC PRC 0.9570, F1 Score 0.8812 and AUC ROC 0.9548, accuracy 87.60%. This shows a performance improvement of an accuracy about 20%P(Percentage Point) compared to MSE, which was frequently used as a standard for determining outliers, and confirmed that model performance can be improved according to the criteria for determining outliers.