• 스마트미디어저널
• /
• 제8권4호
• /
• pp.80-84
• /
• 2019

AMI가 확대보급이 빠르게 진행되고 있고, 이에 따라 전력사용 데이터를 활용한 다양한 서비스들이 늘어나고 있다. 이러한 서비스를 효용성을 높이기 위해서 누락된 계량데이터들을 보정할 필요가 있다. 본 논문에서는 누락된 계량데이터의 보정을 위해서 유클리디안 유사도를 이용하여 사용량 패턴이 유사한 고객을 찾아 누락데이터를 보정하는 방식을 제안하고 선행 방식과의 비교자료를 제공한다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
• /
• pp.399-402
• /
• 2022

본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

• 한국정보통신학회논문지
• /
• 제23권5호
• /
• pp.495-507
• /
• 2019

데이터 희소성은 추천 시스템의 주요 과제 중 하나이다. 추천 시스템에서는, 일부분만 관찰된 데이터이고 다른 부분은 데이터가 누락된 대용량 데이터를 포함하고 있다. 대부분의 연구에서는, 데이터 세트에서 무작위로 데이터가 누락되었다고 가정하고, 관찰된 데이터만을 사용하여 추천 모델을 학습함으로써 사용자에게 항목을 추천하고 있다. 그러나, 실제로는 누락된 데이터는 무작위로 손실되었다고 볼 수 없다. 본 연구에서는, 누락 된 데이터를 사용자적 관심의 부정적인 예라고 간주하였다. 또한, 3가지 샘플 접근 방식을 SVD++ 알고리즘과 결합하여 SVD++_W, SVD++_R 그리고 SVD++_KNN 알고리즘을 제안하였다. 실험결과를 통하여, 제안한 3가지 샘플 접근 방식이 기존의 기본적인 알고리즘 보다 Top-N 추천에서 정확성과 회수율을 효과적으로 향상시킬 수 있다는 것을 보였다. 특히, SVD++_KNN 가 가장 우수한 성능을 보였는데, 이는 KNN 샘플 접근 방식이 사용자적 관심의 부정적인 예를 추출하는데 가장 효율적인 방법이라는 것을 보여주었다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2011년도 춘계학술대회
• /
• pp.123-125
• /
• 2011

울산항은 1996년 9월부터 입출항 선박의 항행안전을 위해 VTS 시스템을 설치운영하고 있으나 많은 선박통항량과 위험화물 운송선박의 잦은 운항으로 여러 가지 위험요소가 상존하고 있는 개항장이다. VTS 시스템은 레이더의 자동물표추적장치에 의한 데이터, PORT-MIS의 선박관련 데이터 등 많은 정보들이 분산 처리되어 관제사에게 제공되고 있으나 최근 선박에 설치 운영되고 있는 선박자동식별장치(AIS)에 의해 선박의 정보들이 더욱 신속하고 정확하게 처리되는 것으로 평가되고 있다. 그러나 인위적인 과실에 의한 AIS의 오류정보들과 원활하지 못한 데이터통신에 의한 데이터 누락현상에 의해 VTS 시스템 운용에 막대한 영향을 초래하고 있다. 이러한 인위적인 과실에 의한 AIS의 오류 데이터는 PSC 검사관들의 적극적인 개선의지로 정책적인 계도작업을 수행하고 있으므로 점차 개선될 것으로 기대된다. 따라서 본 연구에서 AIS의 원활하지 못한 통신망에 의한 데이터 누락 현상에 의한 VTS 시스템에서의 영향을 조사 분석하고 이에 따른 개선 방안을 제시하고자 한다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2015년도 학술발표회
• /
• pp.14-14
• /
• 2015

공간보간기법은 미계측지역의 강수예측을 위해 통상적으로 사용되는 방법 중의 하나이다. 이 연구에서는 기상청에서 제공하고 있는 RCP 8.5 시나리오에 의한 남한상세 강수자료 중 지형이 복잡한 도서지역에서 제공되지 않는 데이터 누락격자에 대하여 최적의 공간보간기법을 선정하여 강수자료를 생성할 수 있도록 하였다. 적합한 보간기법을 선정하기 위해 데이터 누락지역에 대한 분석을 수행하였고, 최신 행정구역도에 맞추어 $1km{\times}1km$ 격자를 한반도 전체지역에 맞추어 생성된 격자를 사용하였다. ESRI사의 ArcGIS 프로그램을 이용하여 공간보간기법을 적용하였다. 사용된 보간법은 역거리가중치법(IDW), 정규크리깅(Ordinary Kriging), 보편크리깅(Universal Kriging), 스플라인(Spline)이며 가장 적합한 공간보간기법을 선정하기 위해 기후변화시나리오에 의한 데이터 중 해안선 주변 특정격자에서의 값을 누락시켜 공간보간기법을 통해 생성된 값과 기후변화 시나리오에 의한 값을 정량적으로 비교하였다. 공간보간기법의 적합도 평가를 위해 MAE(Mean Absolute Error), MSE(Mean Squared Error), PBIAS(Percent of BIAS), G(goodness of prediction) 분석을 수행하였고, 산점도 분석을 통해 실제값과 보간값의 오차율 평가를 병행하여 최적 공간보간기법을 결정하였다. 사용된 강수데이터는 RCP 8.5 시나리오에서 2015~2019년 중 강수가 높게 나타난 8월 자료를 이용하였다. 해안선 지역의 강수량 추정시 역거리 가중치법과 크리깅방법은 일부 지점에서 과다 추정되는 경향이 있고, 스플라인 방법이 전체적인 총 강수량이 기후변화시나리오에 의한 실제값과 유사한 것으로 나타났다. 실제값과 보간값의 교차검증을 수행한 결과 정규크리깅 기법이 가장 높은 정확도를 보였으며, 전체적으로 실제값과 유사한 범위내의 강수량이 생성되는 것으로 나타났다.

• 한국반도체및디스플레이장비학회:학술대회논문집
• /
• 한국반도체및디스플레이장비학회 2006년도 추계학술대회 발표 논문집
• /
• pp.77-81
• /
• 2006

본 논문은 반도체 장비 및 디스플레이 장비에서 적용되는 네트워크 통신 규약인 SECS 통신 프로토콜을 TCP/IP 소켓 프로그램을 이용하여 구현한다. 특히 호스트와 장비간의 통신에 문제가 발생하여 데이터 전송이 누락되었을 때 이를 장비에 보관한 후에 통신이 복구되었을 때 다시 호스트에게 전송할 수 있는 스풀링 기능을 구현하여 통신장애의 누락되는 데이터를 다시 전송할 수 있도록 한다. 그리고 윈도우 프로그램을 기반으로 하나의 드라이버 프로그램에서 호스트(액티브) 측과 장비(패시브) 측을 선택하여 사용 가능하게 구현한다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2023년도 추계학술대회
• /
• pp.84-85
• /
• 2023

한나라호 기준 시간당 최대 140만 여건 발생하여 LTE상용망으로 육상제어 센터에 100% 전송이 불가능하여 필수적으로 수신되어야 할 데이터가 누락 되는 현상이 발생하는 것을 발견하였다.

• 지질공학
• /
• 제31권1호
• /
• pp.31-42
• /
• 2021

도로비탈면관리시스템(Cut-Slope Management System, CSMS)은 전국 일반국도 비탈면에 대해 기초·정밀 조사를 바탕으로 데이터베이스를 구축해왔다. 그런데 이러한 데이터는 사람에 의해 기록되기 때문에 데이터 누락 및 오기입 문제가 발생할 수밖에 없다. 본 연구에서는 데이터의 불완전성 문제를 극복하기 위해 여러 머신러닝 기반의 예측모델들을 개발하고 이를 이용한 데이터 품질 강화 가능성을 검토하고자 하였다. 우선 다 범주 문자형 데이터를 수치화하는 과정을 수행하였고, 선정된 데이터 항목들에 대해 다항 로지스틱 회귀분석(Multinomial Logistic Regression)과 심층신경망(Deep-Neural-Network) 기반의 예측모델들을 개발하였다. 그 결과, 심층신경망 모델들의 정확도가 월등히 높은 것으로 나타났다. 향후 개발된 모델들을 활용하여 누락 및 오기입 데이터의 보완이 가능할 것으로 기대된다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
• /
• pp.313-318
• /
• 2007

최근 기업들은 인터넷, 이벤트 등의 다양한 매체를 통해 방대한 양의 고객 주소 데이터를 수집하고 있다. 이렇게 수집된 고객 주소 데이터는 DM발송 등을 통한 마케팅 및 캠페인에 활용함으로써 서비스의 질을 향상시키고, 고객의 충성도를 높인다. 그러나 사용자가 입력한 주소의 일부는 띄어쓰기가 정확하지 않은 주소, 정보가 누락된 주소, 오타가 있는 주소, 구주소 등의 입력으로 주소의 표준 형태를 갖지 않거나 일관성이 없다. 또한 2007년 4월부터 부분시행예정인 신주소 체계를 위해 기존의 주소를 적절히 변환해야만 한다. 본 논문에서는 부정확하거나 불완전한 주소를 표준 형태의 정확한 주소로 변경하는 효율적인 주소 정제 시스템을 제안하고 개발한다. 본 시스템은 먼저 입력 주소의 유니코드 분석을 통한 한글 입력 오류 교정과 해쉬테이블을 이용한 건물명의 표준 형태 변환을 수행한다. 이 과정이 완료된 주소들은 주소 트리 모델 구축을 통해 띄어쓰기가 부정확한 주소의 처리, 역주소테이블(inverted address table)을 이용한 누락 주소의 처리(enrichment), 구주소에 대한 트리 모델을 생성한 신주소 변환 처리 등의 프로세스를 통해 정제하게 된다. 실험을 위해 오타와 띄어쓰기, 누락된 정보가 있는 주소를 생성하여 타 정제 시스템과 성능을 비교하였다. 생성된 데이터를 비교한 결과 기존 주소 정제 시스템의 오류율 7.5% 보다 제안된 방법으로 개발된 본 시스템의 오류율이 0.45%로 낮음을 확인하였다.

• 한국항해항만학회:학술대회논문집
• /
• 한국항해항만학회 2011년도 춘계학술대회
• /
• pp.1-3
• /
• 2011

선박관제시스템(VMS)는 최근 선박에서 도입되어 설치된 선박자동식별장치(AIS)에 의해 많은 정보를 획득하여 처리하고 있으나 AIS가 미설치된 소형선박, 어선 및 기타선박들에 대해 지속적으로 설치를 확대하고 있다. 특히 항계 내의 선박들의 주 통신시스템인 VHF 무선전화기는 항내에 입출항 중인 모든 선박들이 사용하기 때문에 통화 교신량의 폭주로 원활한 통신이 힘들어지고 또한 선박자동식별장치의 데이터 통신채널 또한 VHF이므로 class A 선박들도 동적 데이터의 누락현상이 발생하고 class B 선박들도 지역적으로 데이터 폭주현상이 발생하는 것으로 평가되고 있는 실정이다. 따라서 연안에서 운항하고 있는 모든 선박들을 모니터링하기 위해 소형선 및 심지어 어선들까지 선박자동식별장치의 설치를 유도하고 있는 실정이므로 통신채널의 폭주현상에 따른 데이터 누락현상은 더욱 심해질 것이다. 따라서 본 연구는 주파수공용방식(TRS: Trunk Radio System)의 통신시스템을 이용한 선박위치 자동발신장치에 적용방안을 제안하고 그 활용성을 입증하고자 한다.