• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
• /
• pp.399-402
• /
• 2022

본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2019년도 학술발표회
• /
• pp.63-63
• /
• 2019

최근 기후변화로 인한 도시지역 침수 피해를 저감하기 위한 다양한 연구가 수행되고 있으며 침수해석을 위한 기초자료로써 GIS 기반 하수관망 자료 활용의 중요성이 증대되고 있다. 그러나 이러한 하수관망 자료의 대부분은 지자체 수준의 행정단위에 의해 작성/관리 되고 있으며 하수관 망의 유지보수에 중점을 두어 제작되었기 때문에 침수해석을 위한 속성자료가 누락되어 있는 경우가 상당수 존재한다. 따라서 고유의 제작 목적과 침수해석이라는 활용 목적이 일치 하지 않아 속성 데이터 값이 존재하지 않거나 침수 모델링에 필요한 필수 정보가 누락되어 개별 연구자들이 별도의 보완작업을 수행한 후 침수해석에 활용하고 있는 실정이다. 이러한 개인연구자들의 주관적 판단에 의한 하수관망의 단순화 또는 보완작업은 상황에 따라 자료의 불확실성을 증대시키며 연구자의 숙련도와 배경지식에 따라 침수 해석 결과에 많은 영향을 미치고 있다. 따라서 GIS기반 하수관망 자료를 침수 모의에 활용 가능한 입력 자료로 변환 하는 경우 개별 연구자들의 주관적 개입이 최대한 배제된 형태의 자료를 만들기 위한 기본 알고리즘 개발이 시급한 상태이다. 본 연구에서는 서울시 사당역 인근 유역과 부산시 온천천 유역의 GIS 기반 하수관망 자료의 형식에 대해서 알아보고 누락 자료를 보완하기 위한 알고리즘을 개발하였다. 개발된 알고리즘을 활용하여 누락자료가 보완된 하수관망 자료는 향후 개별 연구자들의 주관적 판단을 배제하여 도시침수 해석 시 하수관망 자료의 불확실성을 최소화 하는데 기여할 수 있을 것으로 판단된다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2015년도 학술발표회
• /
• pp.14-14
• /
• 2015

공간보간기법은 미계측지역의 강수예측을 위해 통상적으로 사용되는 방법 중의 하나이다. 이 연구에서는 기상청에서 제공하고 있는 RCP 8.5 시나리오에 의한 남한상세 강수자료 중 지형이 복잡한 도서지역에서 제공되지 않는 데이터 누락격자에 대하여 최적의 공간보간기법을 선정하여 강수자료를 생성할 수 있도록 하였다. 적합한 보간기법을 선정하기 위해 데이터 누락지역에 대한 분석을 수행하였고, 최신 행정구역도에 맞추어 $1km{\times}1km$ 격자를 한반도 전체지역에 맞추어 생성된 격자를 사용하였다. ESRI사의 ArcGIS 프로그램을 이용하여 공간보간기법을 적용하였다. 사용된 보간법은 역거리가중치법(IDW), 정규크리깅(Ordinary Kriging), 보편크리깅(Universal Kriging), 스플라인(Spline)이며 가장 적합한 공간보간기법을 선정하기 위해 기후변화시나리오에 의한 데이터 중 해안선 주변 특정격자에서의 값을 누락시켜 공간보간기법을 통해 생성된 값과 기후변화 시나리오에 의한 값을 정량적으로 비교하였다. 공간보간기법의 적합도 평가를 위해 MAE(Mean Absolute Error), MSE(Mean Squared Error), PBIAS(Percent of BIAS), G(goodness of prediction) 분석을 수행하였고, 산점도 분석을 통해 실제값과 보간값의 오차율 평가를 병행하여 최적 공간보간기법을 결정하였다. 사용된 강수데이터는 RCP 8.5 시나리오에서 2015~2019년 중 강수가 높게 나타난 8월 자료를 이용하였다. 해안선 지역의 강수량 추정시 역거리 가중치법과 크리깅방법은 일부 지점에서 과다 추정되는 경향이 있고, 스플라인 방법이 전체적인 총 강수량이 기후변화시나리오에 의한 실제값과 유사한 것으로 나타났다. 실제값과 보간값의 교차검증을 수행한 결과 정규크리깅 기법이 가장 높은 정확도를 보였으며, 전체적으로 실제값과 유사한 범위내의 강수량이 생성되는 것으로 나타났다.

• 지질공학
• /
• 제31권1호
• /
• pp.31-42
• /
• 2021

도로비탈면관리시스템(Cut-Slope Management System, CSMS)은 전국 일반국도 비탈면에 대해 기초·정밀 조사를 바탕으로 데이터베이스를 구축해왔다. 그런데 이러한 데이터는 사람에 의해 기록되기 때문에 데이터 누락 및 오기입 문제가 발생할 수밖에 없다. 본 연구에서는 데이터의 불완전성 문제를 극복하기 위해 여러 머신러닝 기반의 예측모델들을 개발하고 이를 이용한 데이터 품질 강화 가능성을 검토하고자 하였다. 우선 다 범주 문자형 데이터를 수치화하는 과정을 수행하였고, 선정된 데이터 항목들에 대해 다항 로지스틱 회귀분석(Multinomial Logistic Regression)과 심층신경망(Deep-Neural-Network) 기반의 예측모델들을 개발하였다. 그 결과, 심층신경망 모델들의 정확도가 월등히 높은 것으로 나타났다. 향후 개발된 모델들을 활용하여 누락 및 오기입 데이터의 보완이 가능할 것으로 기대된다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2020년도 학술발표회
• /
• pp.135-135
• /
• 2020

우리나라의 기후 자료는 일반적으로 기상청에서 발표하는 종관기상관측(ASOS)과 방재기상관측(AWS), 그리고 북한이 세계기상기구(WMO, World Meteorogical Organization)의 기상통신망(GTS)을 통해 보낸 북한기상관측(NKO)을 사용 할 수 있다. 그러나 이 중 40년 이상의 완전한 관측 자료를 얻을 수 있는 건 ASOS가 유일하지만 공간적인 표현에 한계를 갖고 있다. AWS는 관측소가 많다는 장점이 있지만 관측 기간이 길지 않고 이용 가능한 기간에도 관측이 연속적이지 못한 경우가 많다. NKO는 비록 27개의 관측소가 있지만 많은 데이터가 누락되어 일별 기후자료의 사용에 한계를 갖고 있다. 이러한 미관측 기간이나 관측 자료의 누락은 연속적인 시계열 자료분석을 기반으로 하는 수자원 모델링에 있어서 문제를 야기한다. 본 연구는 1973년부터 2019년까지 47년의 신뢰도 높은 한반도 일일 기후 자료를 구축하기 위해 다양한 방법론을 비교하였다. 추정에 사용한 방법은 총 7개로 EM algorithm for probabilistic principal components (PPCA-EM), Inverse distance weight method (IDWM), Nearest neighbor method (NNM), Multivariate normal copulas (Copula), Elastic net model (Elastic), Ordinary kriging (OK), Regularized principal components with EM algorithm (RPCA-EM)를 살펴보았다. 다양한 형태의 결측치를 가정하여 그 결과값을 비교하였고 이는 Root mean squared error(RMSE), Kling-Gupta efficiency(KGE), Nash-Sutcliffe efficiency(NSE)를 통해 평가하였다. 최종 선택된 방법론을 통하여 한반도 전역을 그리드 기반의 강수 및 최저온도/최고온도의 일별자료로 생성하였다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2015년도 학술발표회
• /
• pp.518-518
• /
• 2015

이 연구에서는 ESRI사의 ArcGIS 프로그램을 이용하여, 한반도 남한지역 중 기후변화시나리오에 의한 강수량이 제공되지 않는 해안선지역에 대해 기후변화시나리오를 이용하여 장래 강수량을 생성할 수 있는 모형을 개발하였다. 기상청에서 제공하는 기후변화 시나리오에 의한 장래강수데이터의 경우 복잡한 해안선지역에 대해 장래 강수데이터를 제공하고 있지 않기 때문에 최근의 지형도를 적용하여 기상청에서 제공하지 않는 지역에 대해 보완격자를 생성하고, 공간보간 기법을 이용하여 이를 해결할 수 있다. 1km 격자단위의 강수데이터를 생성하기 위하여 GIS내에 여러 툴(tools)의 기능을 단계적으로 모형화하여 순서화된 작업을 자동적으로 수행할 수 있는 model builder를 사용하였다. 데이터 변환작업을 위한 전처리, 데이터 보간 추출 기능과 공간보간기법을 적용하여 기후변화 시나리오가 적용된 데이터누락지역에서의 장래 강수예측데이터를 생성할 수 있도록 하였다. 기상청에서 제공하는 RCP 8.5 시나리오를 이용하였고, 일부 해안선과 섬 지역에 대해 장래강수량을 생성할 수 있는 보간기법이 적용된 모형으로 한반도 남한지역 중 강수자료가 제공되지 않는 총 4,186개의 격자에 대해 적합한 공간보간기법을 선택하여, 일단위 및 월단위 강수자료를 생산할 수 있도록 하였다. 기상청에서 제공하는 강수데이터의 경우 'ASCII' 파일 형식으로 기후변화 데이터를 제공하기 때문에 사용자가 별도의 프로그램을 이용하여 강수예측자료를 얻어야 하는 문제가 있다. 강수예측자료를 텍스트파일 형태로 사용자가 원하는 좌표를 선택 한 후 데이터를 추출할 수 있도록 격자화하여 저장되도록 하였다.

• 대한교통학회지
• /
• 제18권6호
• /
• pp.63-75
• /
• 2000

SP 데이터는 데이터 수집의 효율이 RP 데이터 보다 높고 장래의 교통 시스템의 조건이나 속성에 대한 응답자들의 태도를 조사 할 수 있다는 점에서 많이 사용되고 있으나 SP 데이터는 주요하게 두 가지 편위를 가지고 있는데 SP 설문조사시에 발생하는 응답편위와 SP 패널조사시에 발생하는 누락편위이다. 이러한 SP 데이터의 편위가 수정되지 않으면 장래의 잘못된 교통수요예측을 유발할 수 있다. 따라서 본 연구에서는 이러한 SP 모델의 편위와 상태의존을 고려한 모델을 구축하기 위하여 6개의 횡단면 모델과 동적모델을 제안하였다. 횡단면 모델 중 RP데이터의 선택결과를 고려한 모델을 이용하여 SP모델의 편위를 보완할 수 있는 모델을 구축할 수 있었으며 동적모델의 경우에 패널데이터의 상태의존도를 지수함수로 가정하여 상태의존도를 고려한 동적모델을 구축하였다. 또한 패널조사시에 필연적으로 발생하는 누락데이터에 의한 누락편위를 모델에 고려하기 위하여 WESML방법을 적용하여 모델을 구축하였으며 그 결과 상태의존도를 보다 세밀하게 제어함으로서 모델의 설명력을 개선시키고 향후 SP 패널데이터를 이용한 동적모델의 적용성을 높일 수 있음을 알 수 있었다. 본 연구에서는 모델의 유용성을 검토하기 위하여 전주시의 외각 지역인 호남제일문 방향에서 도심으로 접근하는 3개의 주경로(천변로, 기린로, 팔달로)에 대한 패널조사 자료를 바탕으로 모델을 구축하였다.

• 한국소프트웨어감정평가학회 논문지
• /
• 제15권1호
• /
• pp.43-53
• /
• 2019

기계 학습을 이용하여 의미가 유사한 코드 클론을 탐지하는 도구의 성능 평가에 빅클론벤치를 많이 활용한다. 하지만 빅클론벤치는 기계 학습에 최적화된 벤치마크가 아니기 때문에 그대로 기계 학습에 사용하면 잘못된 학습 데이터가 만들어질 수 있다. 본 연구에서는 빅클론벤치에서 제공하고 있는 코드 클론 데이터에서 누락된 타입-4 클론을 기계 학습을 이용하여 추가로 찾아 보완함으로써 빅클론벤치를 개선할 수 있음을 실험적으로 밝힌다. 트리 기반 컨볼루션 신경망을 이용한 기계 학습 모델을 사용해서 개선된 데이터를 학습했을 때, 기존의 데이터를 학습했을 때에 비해 기계 학습의 정확도 및 성능이 향상되었음을 확인하였다.

• 정보관리연구
• /
• 제41권4호
• /
• pp.165-186
• /
• 2010

본 연구는 정보시스템의 운영 효율성과 관리 비용 절감을 도모하고자 불필요한 데이터를 폐기할 수 있는 기준과 근거를 탐색해 보았다. 국내외 법령 및 정책을 문헌조사하여 데이터 폐기 지침에 응용할 수 있는 내용을 도출하였으며, 이를 기초로 데이터 폐기를 위한 기초안을 마련하였다. 공공기관과 지자체 실무자를 대상으로 데이터 폐기 현황에 대한 면담조사와 데이터 폐기 지침 초안에 대한 설문조사를 실시하였고, 관련 이슈사항에 대해 의견을 수렴하였다. 그 결과, 데이터 폐기의 대상 유형과 절차, 폐기 방법 등을 포함한 지침을 마련할 수 있었다. 연구 결과로 마련된 데이터 폐기 지침을 시범 적용해 본 결과, 폐기 대상의 선정, 폐기 절차별 역할 담당자의 선정, 폐기 요청과 심의 등에 누락되거나 보완해야 할 사항은 나타나지 않아 지침이 실효성이 있는 것으로 파악되었다.

• 한국ITS학회 논문지
• /
• 제23권2호
• /
• pp.119-131
• /
• 2024

고속도로의 효율적 운영과 지속가능한 이동환경 제공을 위해 정확한 통행실적의 파악은 필수적이다. 그러나 인프라 및 기술적 제약, 추정을 통한 기존 연구방법의 한계, 통합 빅데이터 활용의 제약 등의 이유로 즉각적이고 정확한 고속도로 통행실적 산정에 어려움이 있다. 이에 본 연구는 자동요금징수시스템, 단거리전용통신 등으로부터 수집된 실시간 빅데이터를 활용하여 개별 차량의 고속도로 기종점통행량(Origin-Destination: OD) 및 주행거리를 분석하고 이를 기반으로 고속도로 통행실적을 산정하는 방법론의 틀을 제시하였다. 특히 데이터상 하나의 통행임에도 불구하고 분할된 통행으로 나타나는 데이터상 오류를 통행궤적 및 주행특성 진단을 통해 올바르게 연결함으로써 보다 신뢰성 있는 고속도로 통행 OD를 구축하고자 하였다. 연구 결과 개별 차량의 분할된 OD 통행이 20분 내 연속되는 경우 통행연결이 필요하며 통행연결, 주행거리 산정, 누락교통량 비율 보정, 비연계 구간 연계 과정을 거쳐 전국 고속도로의 일평균 통행실적은 248,624천대·km/일로 도출되었다. 이는 도로업무편람에서 제시하는 248,166천대·km/일과 비교 시 약 458천대·km/일이 높았다. 본 연구의 결과는 기존의 조사과정에서 누락된 통행실적의 보완가능성을 보여준다.