• 제목/요약/키워드: Valid Data

검색결과 1,549건 처리시간 0.031초

머신러닝을 이용한 침수 깊이와 위치예측 모델 개발 (Development of Machine Learning based Flood Depth and Location Prediction Model)

  • 강지욱;박종혁;한수희;김경준
    • 한국전자통신학회논문지
    • /
    • 제18권1호
    • /
    • pp.91-98
    • /
    • 2023
  • 최근 국지성 폭우로 인한 침수 피해가 빈번하게 발생함에 따라 침수 피해를 사전 예방하기 위한 침수 예측 연구가 진행되고 있다. 본 논문에서는 머신 러닝 기반으로 강우 데이터를 이용해 침수 깊이와 침수 위치를 예측하는 모델을 개발하는 방법을 연구한다. 실시간 강우량을 입력으로 사용하여 다양한 강우 분포 패턴에 강건하게 구성하고 적은 메모리로 모델을 학습시킬 수 있는 2가지 데이터 셋(set) 구성 방법을 제시하였다. 침수에 유의미한 영향을 미치는 valid total 데이터는 침수 위치는 잘 예측했지만, 특정 강우 패턴에 대해 값이 다르게 나타나는 경향을 띠었다. 부분적이지만 침수에 영향을 미치는 영역을 valid local이라 한다. Valid local은 고정점 방법에 대해서는 잘 학습되었지만, 임의점 방법에 대해서는 침수 위치를 정확하게 나타내지 못했다. 본 연구를 통해 실시간으로 침수 깊이와 위치를 예측할 수 있게 되어 큰 피해를 예방할 수 있을 것으로 예상된다.

시간지원 데이터의 효율적인 관리를 위한 이동 방법 (Migration Method for Efficient Management of Temporal Data)

  • 윤홍원
    • 정보처리학회논문지D
    • /
    • 제8D권6호
    • /
    • pp.813-822
    • /
    • 2001
  • 본 논문에서는 시간지원 데이터를 과거 세그먼트, 현재 세그먼트, 그리고 미래 세그먼트로 분리한 저장 구조를 기반으로 하는 네 가지 데이터 이동 방법을 제안하였다. 제안한 데이터 이동 방법은 시간단위에 의한 이동 방법, LST-GET(Least valid Start Time-Greatest valid End Time)에 의한 이동 방법, AST-AET(Average valid Start Time-Average valid End Time)에 의한 이동 방법, 그리고 Min-Overlap에 의한 이동 방법이 있다. 각각의 이동 방법에서는 세그먼트의 경계값, 각 세그먼트에 저장되는 개체 버전 등을 정의하였다. 제안한 이동 방법에 대해서 사용자 질의에 대한 평균 응답 시간을 측정하였다. 실험결과, LLT(Long Lived Tuples)가 없는 경우에는 LST-GET에 의한 이동 방법, 그리고 AST-AET에 의한 이동 방법이 시간단위에 의한 이동 방법보다 성능이 우수하였다. LLT가 있는 경우에는 LST-GET에 의한 이동 방법의 성능이 저하되었다. AST-AET에 의한 이동 방법은 시간단위에 의한 이동 방법과 LST-GET에 의한 이동 방법보다 질의에 대한 성능이 우수하였다. Min-Overlap에 의한 이동 방법은 질의에 대한 평균 응답 시간에서 AST-AET에 의한 이동 방법과 비슷한 결과를 보였고, 공간 이용율 측면에서는 AST-AET에 의한 이동 방법보다 효율적이었다.

  • PDF

시간지원 데이터의 특성을 고려한 AST-AET 데이터 이동 기법 (AST-AET Data Migration Strategy considering Characteristics of Temporal Data)

  • 윤흥원;김경석
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권3호
    • /
    • pp.384-394
    • /
    • 2001
  • 본 논문에서는 시간지원 데이터를 과거 세그먼트, 현재 세그먼트, 그리고 미래 세그먼트로 분리한 저장 구조를 기반으로 하는 AST-AET(Average valid Start Time-Average valid End Time) 데이터 이동 방법을 제안한다. 제안한 AST-AET를 계산하는 방법과 이동 대상 이 되는 개체 버전을 정의한다. AST와 AET를 계산하는 방법과 이동 대상이 되는 개체 버 전을 검색하고 이동하는 과정을 보인다. 도한, 제안하는 AST-AET 데이터 이동방법과 기존 의 LST-GET(Least valid Start Time-Greatest valid End Time) 데이터 이동 방법의 사용 자 질의에 대한 평균 응답시간을 비교한다. 실험 결과에 의하면, LLT(Long Lived Tuples)가 없윽 때는 현재 세그먼트의 크기가 비슷 하기 때문에 두 이동 방법의 평균 응답 시간이 비슷하였다. 그러나 LLT가 있을 때에는 LST-GET 데이터 이동방법의 현재 세그먼트 크기가 커지기 때문에, AST-AET 데이터 이 동 방법의 평균 응답 시간이 LST-GET 데이터 이동 방법보다 작았다. 또한, 시간지원 질의 의 평균 응답 시간이 LST-GET 데이터 이동 방법보다 전반적으로 작았다.

  • PDF

기계학습에 유효한 데이터 요건 및 선별: 공공데이터포털 제공 데이터 사례를 통해 (Valid Data Conditions and Discrimination for Machine Learning: Case study on Dataset in the Public Data Portal)

  • 오효정;윤보현
    • 사물인터넷융복합논문지
    • /
    • 제8권1호
    • /
    • pp.37-43
    • /
    • 2022
  • 인공지능 기술의 가장 큰 근간은 학습 가능한 데이터이다. 최근 정부나 사기업에서 수집·생산하는 데이터의 종류와 양이 기하급수적으로 증가하고 있지만, 실제 기계학습에 활용 가능한 데이터의 확보로는 아직까지 이어지지 않고 있다. 이에 본 연구에서는 기계학습에 실제 활용 가능한 데이터가 갖추어야 할 조건에 대해 논의하고, 실제 사례연구를 통해 데이터 품질을 저하시키는 요인을 파악한다. 이를 위해 공공빅데이터를 활용해 예측 모델을 개발한 대표사례를 선정, 공공데이터포털로부터 실제 문제 해결을 위한 데이터를 수집 후 데이터 품질을 확인하였다. 이를 통해 유효한 데이터 선별 기준을 적용하고 후처리한 결과와의 차이를 보인다. 본 연구의 궁극적인 목적은 인공지능의 핵심인 기계학습 기술 개발에 앞서 가장 근본적으로 선결되어야 할 데이터 품질을 관리하고 유효한 데이터를 축적하기 위한 기반 마련에 있다.

시간지원 데이터 모델 및 집계함수에 관한 연구 (A Study on Temporal Data Models and Aggregate Functions)

  • 이인홍;문홍진;조동영;이완권;조현준
    • 한국정보처리학회논문지
    • /
    • 제4권12호
    • /
    • pp.2947-2959
    • /
    • 1997
  • 시간지원 데이터 모텔은 시간 의미를 데이터 모델에 추가하여 시간에 따라 변화된 정보를 처리할 수 있는 데이터 모델이다. 시간지원 데이터 모델은 실세계에서 사건이 발생한 시간인 유효시간을 지원하는 데이터 모델과 데이터가 수록된 시간을 지원하는 거래시간 데이터 모델 그리고 거래시간과 유효시간을 모두 지원하는 이원시간 데이터 모델이 있다. 대부분의 시간지원 데이터 모델은 관계형 모델을 확장하여 시간지원 데이터를 처리할 수 있도록 설계된다. 시간지원 데이터 모델의 두부류는 시간을 결합하는 단위에 따라 튜플 타임 스탬프와 속성 타임 스탬프의 두 가지 형식이 있다. 본 논문에서는 기존의 데이터 모델에서 시간추가를 위한 기본적인 시간 개념과 시간지원 데이터 모델을 위한 고려사항을 설명하고 시간지원 데이터 모텔을 지원시간에 따라 비교하였다. 또한 유효시간이 지원되는 시간 지원 집계에 적합한 데이터 모델을 제안하고 그 성능을 분석 하였다.

  • PDF

Ideal Topographic Simulations for Null Measurement Data

  • Su, Yan-Jen;Tung, Chi-Hong;Chang, Leh-Rong;Chen, Jin-Liang;Chang, Calvin
    • International Journal of Precision Engineering and Manufacturing
    • /
    • 제9권4호
    • /
    • pp.79-82
    • /
    • 2008
  • A method is described for ideally reconstructing the profile from a surface profiling measurement containing a reasonable amount of null measurement data. The proposed method can conjecture lost information and rectify irregular data that result due to bad measuring environments, signal transmission noise, or instrument-induced errors, The method adopts the concept of computer graphics and consists of several processing steps. First, a search for valid data in the neighborhood of the null data is performed. The valid data are then grouped and their contours are extracted. By analyzing these contours, a bounding box can be obtained and the general distribution of the entire area encompassing the valid and null data is determined Finally, an ideal surface model is overlaid onto the measurement results based on the bounding box, generating a complete reconstruction of the calculations, A surface-profiling task on a liquid crystal display photo spacer is used to verify the proposed method. The results are compared to those obtained through the use of a scanning electron microscope to demonstrate the accuracy of the proposed method.

뉴로 스포츠 마케팅을 위한 동공 확장과 주시빈도 간의 관계: 시그마 분석법을 적용하여 (Relationship of Pupil's Size and Gaze Frequency for Neuro Sports Marketing: Focusing on Sigma Analysis)

  • 고의석;송기현;조수현;김종하
    • 감성과학
    • /
    • 제20권3호
    • /
    • pp.39-48
    • /
    • 2017
  • 이 연구는 농구 경기장내 마케팅의 효용성을 확인하기 위해서 마케팅의 여러 연구 기법들 중 시선추적 기술을 이용하여 동공이 확장 되었을 때의 시선 관찰 및 관심도를 측정하고 비교 분석하였다. 특히 동공이 확장된 구간을 산출하기 위해 유효테이터를 중심으로 동공의 크기가 2시그마 범위 상위 2.275%일 때의 구간별 데이터를 정리하고 이전 연구에서 산출된 3시그마의 상위 0.135%일 때의 구간별 데이터와 전체 유효 데이터를 주시 빈도에 따른 변곡점으로 구분하여 분석하였다. 또한 전체 유효 데이터와 동공의 크기가 유의미하게 커졌다고 판단되는 범위들 간의 상관도를 분석하였다. 그 결과 가장 시선이 많이 머무른 구간과 동공이 크기가 유의미하게 커진 부분은 완전히 일치하지는 않았으나, 전체 유효 데이터와 동공크기 2시그마 상위 데이터의 상관분석은 .805로 가장 높은 상관관계를 나타내었으며, 동공크기 2시그마 상위 데이터와 동공크기 3시그마 상위 데이터의 상관분석은 .781의 상관관계를 보였고 전체 유효데이터와 동공크기 3시그마 상위 데이터 상관분석은 .683의 상관관계를 보였다. 따라서 동공의 크기가 확장 되어진 구간과 시선추적 데이터에서 시선이 많이 머무른 구간이 유사함을 알 수 있었으나, 동공의 크기가 유의미하게 확장되었다고 판단되어지는 구간의 데이터 일수록 전체 데이터와의 상관도가 떨어지는 것을 알 수 있었다.

Detecting artefacts in analyses of extreme wind speeds

  • Cook, Nicholas J.
    • Wind and Structures
    • /
    • 제19권3호
    • /
    • pp.271-294
    • /
    • 2014
  • The impact of artefacts in archived wind observations on the design wind speed obtained by extreme value analysis is demonstrated using case studies. A signpost protocol for detecting candidate artefacts is described and its performance assessed by comparing results against previously validated data. The protocol targets artefacts by exploiting the serial correlation between observations. Additional "sieve" algorithms are proposed to identify types of correctable artefact from their "signature" in the data. In extreme value analysis, artefacts displace valid observations only when they are larger, hence always increase the design wind speed. Care must be taken not identify large valid values as artefacts, since their removal will tend to underestimate the design wind speed.

실루엣을 적용한 그룹탐색 최적화 데이터클러스터링 (Group Search Optimization Data Clustering Using Silhouette)

  • 김성수;백준영;강범수
    • 한국경영과학회지
    • /
    • 제42권3호
    • /
    • pp.25-34
    • /
    • 2017
  • K-means is a popular and efficient data clustering method that only uses intra-cluster distance to establish a valid index with a previously fixed number of clusters. K-means is useless without a suitable number of clusters for unsupervised data. This paper aimsto propose the Group Search Optimization (GSO) using Silhouette to find the optimal data clustering solution with a number of clusters for unsupervised data. Silhouette can be used as valid index to decide the number of clusters and optimal solution by simultaneously considering intra- and inter-cluster distances. The performance of GSO using Silhouette is validated through several experiment and analysis of data sets.

Multihop Vehicle-to-Infrastructure Routing Based on the Prediction of Valid Vertices for Vehicular Ad Hoc Networks

  • Shrestha, Raj K.;Moh, Sangman;Chung, IlYong;Shin, Heewook
    • 대한임베디드공학회논문지
    • /
    • 제5권4호
    • /
    • pp.243-253
    • /
    • 2010
  • Multihop data delivery in vehicular ad hoc networks (VANETs) suffers from the fact that vehicles are highly mobile and inter-vehicle links are frequently disconnected. In such networks, for efficient multihop routing of road safety information (e.g. road accident and emergency message) to the area of interest, reliable communication and fast delivery with minimum delay are mandatory. In this paper, we propose a multihop vehicle-to-infrastructure routing protocol named Vertex-Based Predictive Greedy Routing (VPGR), which predicts a sequence of valid vertices (or junctions) from a source vehicle to fixed infrastructure (or a roadside unit) in the area of interest and, then, forwards data to the fixed infrastructure through the sequence of vertices in urban environments. The well known predictive directional greedy routing mechanism is used for data forwarding phase in VPGR. The proposed VPGR leverages the geographic position, velocity, direction and acceleration of vehicles for both the calculation of a sequence of valid vertices and the predictive directional greedy routing. Simulation results show significant performance improvement compared to conventional routing protocols in terms of packet delivery ratio, end-to-end delay and routing overhead.