• 제목/요약/키워드: 누락정보

검색결과 351건 처리시간 0.033초

품질 및 조건 기반 시계열 데이터 선별 활용 방법 (Methods for screening time series data according to data quality and statistical status)

  • 문재원;유미선;오승택;금승우;황지수;이지훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제65차 동계학술대회논문집 30권1호
    • /
    • pp.399-402
    • /
    • 2022
  • 본 논문에서는 불완전한 시계열 데이터를 활용하기 전 데이터를 선별하여 활용하는 방법을 소개한다. 시계열 데이터의 품질은 수집 네트워크와 수집 기기의 시간적 변화와 같은 가변적 상황에 의존적이므로 불규칙적으로 이상 혹은 누락 데이터가 발생한다. 이때 에러를 포함하였다는 이유로 일괄적으로 데이터를 제거하여 활용하지 않거나, 혹은 누락 데이터의 구간을 조건 없이 복원하여 활용한다면 원하지 않는 결과를 초래할 수 있다. 제안하는 방법은 시계열 데이터의 구간에 대한 누락 데이터의 통계적 정보를 축출하고 이에 기반하여 활용 목적과 활용 가능한 품질의 기준에 부합하지 않는다면 활용 불가능한 데이터라고 판별하고 미리 분석 등의 데이터 활용 시 자동 제외하는 구조를 제안하고 실험하였다. 제안하는 방법은 활용 목적과 상황에 적응적으로 누락 값을 포함하는 데이터의 빠른 활용 판단이 가능하며 보다 나은 분석 결과를 얻을 수 있다.

  • PDF

GPS 교통 정보 누락 구간의 실시간 처리 기법에 관한 연구 (A Study on the Technique of Real-time Process for the Sections with Missed GPS Traffic Data)

  • 최진우;김태민;박원식;양영규
    • 한국공간정보시스템학회:학술대회논문집
    • /
    • 한국공간정보시스템학회 2007년도 GIS 공동춘계학술대회 논문집
    • /
    • pp.177-182
    • /
    • 2007
  • 최근 텔레매틱스 분야에서 GPS 수신기를 장착한 probe car를 통해 교통 정보를 수집하는 방법에 대한 연구가 활발히 진행되고 있다. 이 방법은 기존에 교통 정보를 수집하기 위해 활용되고 있던 고정식 검지기들에 비해 수집되는 정보가 높은 신뢰성을 가지고, 도로 환경에 민감하지 않으며, 낮은 유지비용으로 운용할 수 있다는 장점을 가지고 있다. 하지만, probe car는 자신의 위치 정보를 교통 정보 센터로 전송해 주어야 하기 때문에 프라이버시가 노출될 수 있고, 주차되어 있는 시간에는 통행 정보를 보내줄 수가 없다. 이런 이유로 대중 교통차량이나 상업용 차량이 주로 probe car로 활용되어지게 되는데, 그 수가 많지 않을뿐더러 운행 구간이 고르게 분포되지 않아 probe car가 지나지 않는 구간, 즉 교통 정보 누락 구간이 존재할 수 있는 문제점을 가지고 있다. 본 논문에서는 교통 정보 누락 구간의 처리를 위해 과거의 이력 정보로 대체하는 방법, 주변 도로의 구간 정보로 예측하는 방법, 회귀 분석을 통한 예측 방법 등을 기술하고 실제 probe car들로 수집된 서울시 강남대로 구간의 자료로 각 방법에 대한 실험을 실시하여 각각의 방법에 대한 결과를 비교 분석한다.

  • PDF

HNS 물질정보와 대응정보 Database의 문제점과 해결방안 (Problems and solutions for HNS Database for physico-chemical properties and preparation and response information)

  • 박미옥;민승환;이예지;전미해;김형규;천세정;이문진;오상우
    • 해양환경안전학회:학술대회논문집
    • /
    • 해양환경안전학회 2017년도 추계학술발표회
    • /
    • pp.164-164
    • /
    • 2017
  • 국내 해양관련 HNS 데이터베이스의 정보를 구축하는 중에 확인된 문제점들은 크게 두 가지로 요약된다. 첫 번째는 물질정보가 없는 경우로서, 많은 경우 자연물질로 다양한 성분을 함유하고 있으며, 이외에도 이성질체 및 동족체 화합물로서 확인된다. 두 번째로는 국내 HNS DB의 출처가 다양하여, 정제되지 않은 경우인데 물질정보의 환경조건이 상이하거나 같은 조건에서도 서로 다른 정보가 혼재하는 경우이다. 이러한 문제점을 해결하기 위해, 유럽의 GESAMP에서 제시한 보고서와 미국 CAMEO를 참조하여 누락정보를 확보하였으며 두 데이터베이스의 명명법의 차이에서 오는 누락 정보를 두 데이터베이스의 유사명 자료비교와 화학구조를 이용해 확인하였다. 자연물질과 그룹화합물들도 주요성분의 자료를 활용하였으며, 이성질체의 경우 단일성분의 자료를 기입하거나, 위험성이 높은 성분의 자료를 선택해서 기입하였다. 물질정보 중 IMDG 등급의 경우 주위험성외에 부위험성의 중요성을 고려하여 HNS DB에 새로 기입하였으며, 부록으로 HS 번호 부여 및 해양환경거동분류를 첨부하였다. 향후 아직 남아있는 누락정보의 확보를 위해서는 GESAMP circular report를 확보하도록 할 필요성이 있다고 판단된다.

  • PDF

AIS 데이터 손실에 의한 VTS 시스템의 영향 분석

  • 안병옥;김만식;김석재
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2011년도 춘계학술대회
    • /
    • pp.123-125
    • /
    • 2011
  • 울산항은 1996년 9월부터 입출항 선박의 항행안전을 위해 VTS 시스템을 설치운영하고 있으나 많은 선박통항량과 위험화물 운송선박의 잦은 운항으로 여러 가지 위험요소가 상존하고 있는 개항장이다. VTS 시스템은 레이더의 자동물표추적장치에 의한 데이터, PORT-MIS의 선박관련 데이터 등 많은 정보들이 분산 처리되어 관제사에게 제공되고 있으나 최근 선박에 설치 운영되고 있는 선박자동식별장치(AIS)에 의해 선박의 정보들이 더욱 신속하고 정확하게 처리되는 것으로 평가되고 있다. 그러나 인위적인 과실에 의한 AIS의 오류정보들과 원활하지 못한 데이터통신에 의한 데이터 누락현상에 의해 VTS 시스템 운용에 막대한 영향을 초래하고 있다. 이러한 인위적인 과실에 의한 AIS의 오류 데이터는 PSC 검사관들의 적극적인 개선의지로 정책적인 계도작업을 수행하고 있으므로 점차 개선될 것으로 기대된다. 따라서 본 연구에서 AIS의 원활하지 못한 통신망에 의한 데이터 누락 현상에 의한 VTS 시스템에서의 영향을 조사 분석하고 이에 따른 개선 방안을 제시하고자 한다.

  • PDF

속성 변동 최소화에 의한 러프집합 누락 패턴 부합 (Missing Pattern Matching of Rough Set Based on Attribute Variations Minimization in Rough Set)

  • 이영천
    • 한국전자통신학회논문지
    • /
    • 제10권6호
    • /
    • pp.683-690
    • /
    • 2015
  • 러프집합에서 누락된 속성 값들은 Reduct와 Core 계산, 더 나아가서 결정 트리 구축에 있어서 식별 불능의 패턴 부합 문제를 가진다. 현재 누락된 속성 값들의 추정과 관련하여 보편적인 속성 값으로의 대체, 속성들의 모든 가능한 값 할당, 이벤트 포장 방법, C4.5, 특수한 LEM2 알고리즘과 같은 접근방식들이 적용되고 있다. 그렇지만, 이들 접근방식은 결국 전형적으로 자주 등장하는 속성 값 혹은 가장 보편적인 속성 값으로의 단순 대체를 나타내기 때문에, 주요 속성 값들이 누락된 경우에 정보 손실이 큰 의사 결정 규칙들이 유도되기 때문에 의사결정 규칙들의 교차 검증에서 문제가 된다. 본 연구에서는 이러한 문제점을 개선시키기 위해 속성들간에 엔트로피 변동을 활용하여 정보 이득이 높은 방향으로 누락된 속성 값들을 대체하는 방식을 제안한다. 제안된 접근방식에 관한 타당성 검토는 비교적 가까운 유사 관계에 의해 누락 값 대체 방식을 적용하는 ROSE 프로그램과의 비교를 나타낸다.

암시적 피드백 데이터의 행렬 분해 기반 누락 데이터 모델링 (Missing Data Modeling based on Matrix Factorization of Implicit Feedback Dataset)

  • 기가기;정영지
    • 한국정보통신학회논문지
    • /
    • 제23권5호
    • /
    • pp.495-507
    • /
    • 2019
  • 데이터 희소성은 추천 시스템의 주요 과제 중 하나이다. 추천 시스템에서는, 일부분만 관찰된 데이터이고 다른 부분은 데이터가 누락된 대용량 데이터를 포함하고 있다. 대부분의 연구에서는, 데이터 세트에서 무작위로 데이터가 누락되었다고 가정하고, 관찰된 데이터만을 사용하여 추천 모델을 학습함으로써 사용자에게 항목을 추천하고 있다. 그러나, 실제로는 누락된 데이터는 무작위로 손실되었다고 볼 수 없다. 본 연구에서는, 누락 된 데이터를 사용자적 관심의 부정적인 예라고 간주하였다. 또한, 3가지 샘플 접근 방식을 SVD++ 알고리즘과 결합하여 SVD++_W, SVD++_R 그리고 SVD++_KNN 알고리즘을 제안하였다. 실험결과를 통하여, 제안한 3가지 샘플 접근 방식이 기존의 기본적인 알고리즘 보다 Top-N 추천에서 정확성과 회수율을 효과적으로 향상시킬 수 있다는 것을 보였다. 특히, SVD++_KNN 가 가장 우수한 성능을 보였는데, 이는 KNN 샘플 접근 방식이 사용자적 관심의 부정적인 예를 추출하는데 가장 효율적인 방법이라는 것을 보여주었다.

자율운항선박 육상제어를 위한 선박-운항간 교환메세지 경량화 방법에 관한 연구

  • 서원복;박득진;임정빈
    • 한국항해항만학회:학술대회논문집
    • /
    • 한국항해항만학회 2023년도 추계학술대회
    • /
    • pp.84-85
    • /
    • 2023
  • 한나라호 기준 시간당 최대 140만 여건 발생하여 LTE상용망으로 육상제어 센터에 100% 전송이 불가능하여 필수적으로 수신되어야 할 데이터가 누락 되는 현상이 발생하는 것을 발견하였다.

  • PDF

비즈니스 프로세스 서술도구 비교 : 은행 자산건전성 평가업무를 중심으로

  • 안현섭;김용재;함유근
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2008년도 추계 공동 국제학술대회
    • /
    • pp.113-125
    • /
    • 2008
  • 정보시스템의 발전과 함께 현실업무가 더욱 복잡해지면서, 정보시스템 개발 초기단계에서 사용자의 요구사항이 누락되거나 중복되는 경우가 자주 발생하며, 이에 따라 차후에 이를 수정하기 위한 노력이 증대되고 전체개발비용과 기간이 증가하게 된다. 이 문제를 해결하기 위해서 업무 프로세스를 표현하기 위한 다양한 방법론이 제안되어왔지만, 각 방법론의 우열을 어떻게 가릴지에 대한 체계적인 항목별 연구는 이제까지 없었다. 이 연구에서는 사용자가 직관적으로 이해할 수 있고, 분석가가 업무 프로세스를 충분히 표현할 수 있으며 동시에 시스템구축 비용을 최소화할 수 있는 방법론이 가장 이상적이라는 점을 고려해서, 누락도, 중복도, 명확도, 표현력 등의 방법론 평가기준을 제안하며, 이 지표를 은행의 자산건전성 평가업무라는 표준업무에 적용해서 각 방법론의 우위내지는 문제점들을 살펴본다. 프로세스 중심 기법인 자료흐름도와 유즈케이스 다이어그램과 비교할 때, 데이터 중심 기법인 개체관계도가 상대적으로 낮은 함축성과 높은 복잡성에도 불구하고 낮은 누락도와 명확한 표현력을 가지고 있으며, 업무기술서와 병행될 때 프로세스 함축과 누락에 대한 부담을 크게 감소시킬 수 있을 것으로 나타난다.

  • PDF

CRM 위한 효율적인 주소 정제 시스템 개발 (Development of Efficient Address Cleaning System for CRM)

  • 박규진;송원문;김은주;김명원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2007년도 한국컴퓨터종합학술대회논문집 Vol.34 No.1 (C)
    • /
    • pp.313-318
    • /
    • 2007
  • 최근 기업들은 인터넷, 이벤트 등의 다양한 매체를 통해 방대한 양의 고객 주소 데이터를 수집하고 있다. 이렇게 수집된 고객 주소 데이터는 DM발송 등을 통한 마케팅 및 캠페인에 활용함으로써 서비스의 질을 향상시키고, 고객의 충성도를 높인다. 그러나 사용자가 입력한 주소의 일부는 띄어쓰기가 정확하지 않은 주소, 정보가 누락된 주소, 오타가 있는 주소, 구주소 등의 입력으로 주소의 표준 형태를 갖지 않거나 일관성이 없다. 또한 2007년 4월부터 부분시행예정인 신주소 체계를 위해 기존의 주소를 적절히 변환해야만 한다. 본 논문에서는 부정확하거나 불완전한 주소를 표준 형태의 정확한 주소로 변경하는 효율적인 주소 정제 시스템을 제안하고 개발한다. 본 시스템은 먼저 입력 주소의 유니코드 분석을 통한 한글 입력 오류 교정과 해쉬테이블을 이용한 건물명의 표준 형태 변환을 수행한다. 이 과정이 완료된 주소들은 주소 트리 모델 구축을 통해 띄어쓰기가 부정확한 주소의 처리, 역주소테이블(inverted address table)을 이용한 누락 주소의 처리(enrichment), 구주소에 대한 트리 모델을 생성한 신주소 변환 처리 등의 프로세스를 통해 정제하게 된다. 실험을 위해 오타와 띄어쓰기, 누락된 정보가 있는 주소를 생성하여 타 정제 시스템과 성능을 비교하였다. 생성된 데이터를 비교한 결과 기존 주소 정제 시스템의 오류율 7.5% 보다 제안된 방법으로 개발된 본 시스템의 오류율이 0.45%로 낮음을 확인하였다.

  • PDF

이더리움 기반 공공정보 소프트웨어 사업산출물 관리 시스템 설계 (Ethereum-based deliverables management system design for public information software project)

  • 이은주;김진욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.337-340
    • /
    • 2021
  • 공공정보 소프트웨어(SW) 사업에서 프로젝트관리 방법론의 요구 산출물과 개발 산출물이 일치하지 않아 산출물의 누락이 발생하며, 대금 지급을 위한 별도의 프로세스를 진행해야 한다. 본 논문에서는 이더리움의 스마트 콘트랙트를 활용하여 이더리움 기반 공공정보 소프트웨어 사업산출물 관리 시스템을 설계하였다. 발주사의 요청에 따라 수행사가 등록한 산출물을 해시값으로 관리하여 산출물의 누락을 최소화하고, 요청된 모든 산출물이 승인되면 자동으로 수행사에 대금을 지급할 수 있도록 시스템을 설계하였다.