• 제목/요약/키워드: 누락정보

Search Result 351, Processing Time 0.036 seconds

Methods for screening time series data according to data quality and statistical status (품질 및 조건 기반 시계열 데이터 선별 활용 방법)

  • Moon, JaeWon;Yu, MiSeon;Oh, SeungTaek;Kum, SeungWoo;Hwang, JiSoo;Lee, JiHoon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.01a
    • /
    • pp.399-402
    • /
    • 2022
  • 본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

  • PDF

A Study on the Technique of Real-time Process for the Sections with Missed GPS Traffic Data (GPS 교통 정보 누락 구간의 실시간 처리 기법에 관한 연구)

  • Choi, Jin-Woo;Kim, Tae-Min;Park, Won-Sik;Yang, Young-Kyu
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 2007.06a
    • /
    • pp.177-182
    • /
    • 2007
  • 최근 텔레매틱스 분야에서 GPS 수신기를 장착한 probe car를 통해 교통 정보를 수집하는 방법에 대한 연구가 활발히 진행되고 있다. 이 방법은 기존에 교통 정보를 수집하기 위해 활용되고 있던 고정식 검지기들에 비해 수집되는 정보가 높은 신뢰성을 가지고, 도로 환경에 민감하지 않으며, 낮은 유지비용으로 운용할 수 있다는 장점을 가지고 있다. 하지만, probe car는 자신의 위치 정보를 교통 정보 센터로 전송해 주어야 하기 때문에 프라이버시가 노출될 수 있고, 주차되어 있는 시간에는 통행 정보를 보내줄 수가 없다. 이런 이유로 대중 교통차량이나 상업용 차량이 주로 probe car로 활용되어지게 되는데, 그 수가 많지 않을뿐더러 운행 구간이 고르게 분포되지 않아 probe car가 지나지 않는 구간, 즉 교통 정보 누락 구간이 존재할 수 있는 문제점을 가지고 있다. 본 논문에서는 교통 정보 누락 구간의 처리를 위해 과거의 이력 정보로 대체하는 방법, 주변 도로의 구간 정보로 예측하는 방법, 회귀 분석을 통한 예측 방법 등을 기술하고 실제 probe car들로 수집된 서울시 강남대로 구간의 자료로 각 방법에 대한 실험을 실시하여 각각의 방법에 대한 결과를 비교 분석한다.

  • PDF

Problems and solutions for HNS Database for physico-chemical properties and preparation and response information (HNS 물질정보와 대응정보 Database의 문제점과 해결방안)

  • Park, Mi-Ok;Min, Seung-Hwan;Lee, Ye-Ji;Jeon, Mi-Hae;Kim, Hyeong-Gyu;Chun, Se-Jung;Lee, Moon-Jin;Oh, Sang-Woo
    • Proceedings of KOSOMES biannual meeting
    • /
    • 2017.11a
    • /
    • pp.164-164
    • /
    • 2017
  • 국내 해양관련 HNS 데이터베이스의 정보를 구축하는 중에 확인된 문제점들은 크게 두 가지로 요약된다. 첫 번째는 물질정보가 없는 경우로서, 많은 경우 자연물질로 다양한 성분을 함유하고 있으며, 이외에도 이성질체 및 동족체 화합물로서 확인된다. 두 번째로는 국내 HNS DB의 출처가 다양하여, 정제되지 않은 경우인데 물질정보의 환경조건이 상이하거나 같은 조건에서도 서로 다른 정보가 혼재하는 경우이다. 이러한 문제점을 해결하기 위해, 유럽의 GESAMP에서 제시한 보고서와 미국 CAMEO를 참조하여 누락정보를 확보하였으며 두 데이터베이스의 명명법의 차이에서 오는 누락 정보를 두 데이터베이스의 유사명 자료비교와 화학구조를 이용해 확인하였다. 자연물질과 그룹화합물들도 주요성분의 자료를 활용하였으며, 이성질체의 경우 단일성분의 자료를 기입하거나, 위험성이 높은 성분의 자료를 선택해서 기입하였다. 물질정보 중 IMDG 등급의 경우 주위험성외에 부위험성의 중요성을 고려하여 HNS DB에 새로 기입하였으며, 부록으로 HS 번호 부여 및 해양환경거동분류를 첨부하였다. 향후 아직 남아있는 누락정보의 확보를 위해서는 GESAMP circular report를 확보하도록 할 필요성이 있다고 판단된다.

  • PDF

AIS 데이터 손실에 의한 VTS 시스템의 영향 분석

  • An, Byeong-Ok;Kim, Man-Sik;Kim, Seok-Jae
    • Proceedings of the Korean Institute of Navigation and Port Research Conference
    • /
    • 2011.06a
    • /
    • pp.123-125
    • /
    • 2011
  • 울산항은 1996년 9월부터 입출항 선박의 항행안전을 위해 VTS 시스템을 설치운영하고 있으나 많은 선박통항량과 위험화물 운송선박의 잦은 운항으로 여러 가지 위험요소가 상존하고 있는 개항장이다. VTS 시스템은 레이더의 자동물표추적장치에 의한 데이터, PORT-MIS의 선박관련 데이터 등 많은 정보들이 분산 처리되어 관제사에게 제공되고 있으나 최근 선박에 설치 운영되고 있는 선박자동식별장치(AIS)에 의해 선박의 정보들이 더욱 신속하고 정확하게 처리되는 것으로 평가되고 있다. 그러나 인위적인 과실에 의한 AIS의 오류정보들과 원활하지 못한 데이터통신에 의한 데이터 누락현상에 의해 VTS 시스템 운용에 막대한 영향을 초래하고 있다. 이러한 인위적인 과실에 의한 AIS의 오류 데이터는 PSC 검사관들의 적극적인 개선의지로 정책적인 계도작업을 수행하고 있으므로 점차 개선될 것으로 기대된다. 따라서 본 연구에서 AIS의 원활하지 못한 통신망에 의한 데이터 누락 현상에 의한 VTS 시스템에서의 영향을 조사 분석하고 이에 따른 개선 방안을 제시하고자 한다.

  • PDF

Missing Pattern Matching of Rough Set Based on Attribute Variations Minimization in Rough Set (속성 변동 최소화에 의한 러프집합 누락 패턴 부합)

  • Lee, Young-Cheon
    • The Journal of the Korea institute of electronic communication sciences
    • /
    • v.10 no.6
    • /
    • pp.683-690
    • /
    • 2015
  • In Rough set, attribute missing values have several problems such as reduct and core estimation. Further, they do not give some discernable pattern for decision tree construction. Now, there are several methods such as substitutions of typical attribute values, assignment of every possible value, event covering, C4.5 and special LEMS algorithm. However, they are mainly substitutions into frequently appearing values or common attribute ones. Thus, decision rules with high information loss are derived in case that important attribute values are missing in pattern matching. In particular, there is difficult to implement cross validation of the decision rules. In this paper we suggest new method for substituting the missing attribute values into high information gain by using entropy variation among given attributes, and thereby completing the information table. The suggested method is validated by conducting the same rough set analysis on the incomplete information system using the software ROSE.

Missing Data Modeling based on Matrix Factorization of Implicit Feedback Dataset (암시적 피드백 데이터의 행렬 분해 기반 누락 데이터 모델링)

  • Ji, JiaQi;Chung, Yeongjee
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.23 no.5
    • /
    • pp.495-507
    • /
    • 2019
  • Data sparsity is one of the main challenges for the recommender system. The recommender system contains massive data in which only a small part is the observed data and the others are missing data. Most studies assume that missing data is randomly missing from the dataset. Therefore, they only use observed data to train recommendation model, then recommend items to users. In actual case, however, missing data do not lost randomly. In our research, treat these missing data as negative examples of users' interest. Three sample methods are seamlessly integrated into SVD++ algorithm and then propose SVD++_W, SVD++_R and SVD++_KNN algorithm. Experimental results show that proposed sample methods effectively improve the precision in Top-N recommendation over the baseline algorithms. Among the three improved algorithms, SVD++_KNN has the best performance, which shows that the KNN sample method is a more effective way to extract the negative examples of the users' interest.

비즈니스 프로세스 서술도구 비교 : 은행 자산건전성 평가업무를 중심으로

  • An, Hyeon-Seop;Kim, Yong-Jae;Ham, Yu-Geun
    • Proceedings of the Korea Society for Industrial Systems Conference
    • /
    • 2008.10b
    • /
    • pp.113-125
    • /
    • 2008
  • In developing information systems, omissions and redundancies of user requirements are too frequent to increase development cost as they need to be remedied at later stages. In order to cope with this problem, various tools describing business processes have been proposed in the past and yet fewer attempts have been made to systematically and categorically evaluate performance of individual tools describing business processes. In this paper, we offer a general framework for appraising competing tools for describing business processes, including ERD, DFD, and Use Case Diagram in terms of ease of use, completeness, chance of having omissions, and. Based on a exemplary business From the measures proposed in this paper for comparing descriptive tools, ERD turns out to stand out over other often-used methodologies. Despite its problem with poor readability, ERD proves to offer relatively higher expressive power and ease of use. Being supplemented by well-formed job descriptions, ERD would remain a better choice in developing business information systems.

  • PDF

Development of Efficient Address Cleaning System for CRM (CRM 위한 효율적인 주소 정제 시스템 개발)

  • Park, Gyu-Jin;Song, Won-Mun;Kim, Eun-Ju;Kim, Myeong-Won;Han, Young-Jin;Rim, Young-Gun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.06c
    • /
    • pp.313-318
    • /
    • 2007
  • 최근 기업들은 인터넷, 이벤트 등의 다양한 매체를 통해 방대한 양의 고객 주소 데이터를 수집하고 있다. 이렇게 수집된 고객 주소 데이터는 DM발송 등을 통한 마케팅 및 캠페인에 활용함으로써 서비스의 질을 향상시키고, 고객의 충성도를 높인다. 그러나 사용자가 입력한 주소의 일부는 띄어쓰기가 정확하지 않은 주소, 정보가 누락된 주소, 오타가 있는 주소, 구주소 등의 입력으로 주소의 표준 형태를 갖지 않거나 일관성이 없다. 또한 2007년 4월부터 부분시행예정인 신주소 체계를 위해 기존의 주소를 적절히 변환해야만 한다. 본 논문에서는 부정확하거나 불완전한 주소를 표준 형태의 정확한 주소로 변경하는 효율적인 주소 정제 시스템을 제안하고 개발한다. 본 시스템은 먼저 입력 주소의 유니코드 분석을 통한 한글 입력 오류 교정과 해쉬테이블을 이용한 건물명의 표준 형태 변환을 수행한다. 이 과정이 완료된 주소들은 주소 트리 모델 구축을 통해 띄어쓰기가 부정확한 주소의 처리, 역주소테이블(inverted address table)을 이용한 누락 주소의 처리(enrichment), 구주소에 대한 트리 모델을 생성한 신주소 변환 처리 등의 프로세스를 통해 정제하게 된다. 실험을 위해 오타와 띄어쓰기, 누락된 정보가 있는 주소를 생성하여 타 정제 시스템과 성능을 비교하였다. 생성된 데이터를 비교한 결과 기존 주소 정제 시스템의 오류율 7.5% 보다 제안된 방법으로 개발된 본 시스템의 오류율이 0.45%로 낮음을 확인하였다.

  • PDF

Ethereum-based deliverables management system design for public information software project (이더리움 기반 공공정보 소프트웨어 사업산출물 관리 시스템 설계)

  • Lee, Eun Ju;Kim, Jin Wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.337-340
    • /
    • 2021
  • 공공정보 소프트웨어(SW) 사업에서 프로젝트관리 방법론의 요구 산출물과 개발 산출물이 일치하지 않아 산출물의 누락이 발생하며, 대금 지급을 위한 별도의 프로세스를 진행해야 한다. 본 논문에서는 이더리움의 스마트 콘트랙트를 활용하여 이더리움 기반 공공정보 소프트웨어 사업산출물 관리 시스템을 설계하였다. 발주사의 요청에 따라 수행사가 등록한 산출물을 해시값으로 관리하여 산출물의 누락을 최소화하고, 요청된 모든 산출물이 승인되면 자동으로 수행사에 대금을 지급할 수 있도록 시스템을 설계하였다.