• 제목/요약/키워드: 데이터품질관리

검색결과 855건 처리시간 0.03초

증거로서 신뢰할 수 있는 전자기록의 품질 확보방안 연구 - 기록관리영역과 사법영역에서 다루는 기록과 증거의 품질 개념과 요건 분석을 중심으로 - (A Study on Securing the Quality of Trusted Digital Records as Evidence: Focusing on Analysis of Quality Concept and Requirements for Records and Evidence Respectively Covered in Records Management and Judicial Domain)

  • 이젬마;오경묵
    • 한국비블리아학회지
    • /
    • 제32권3호
    • /
    • pp.217-246
    • /
    • 2021
  • 본 연구에서는 전자기록의 신뢰체계 확보를 위해 증거로서 신뢰할 수 있는 전자기록의 품질 개념을 분석하고 기록관리 영역과 사법영역의 요건을 비교·분석하여 증거력 확보 방안 마련에 필요한 시사점을 도출하고자 하였다. 이를 위해 기록관리 절차, 기록 메타데이터, 기록시스템의 요건, 공공기록물법령을 상호 연계하고 사법영역의 요건을 비교하여 기록관리 영역에서 요구되는 요건을 조사·분석하였고, 전자기록과 디지털 증거의 품질개념간 관계 분석을 통해 법적 증거력 확보를 위해 기록 생산 및 획득 단계에서 기록의 신뢰성 확보를 위한 조치가 요구된다는 점을 도출하였다. 또한, 디지털 증거의 진정성 입증은 전자기록의 진본성 입증과 밀접한 관련성을 가지므로 진본성 입증을 위한 기록 프로세스와 기록 메타데이터, 기록시스템이 가지는 중요성과 이를 위한 조치의 필요성을 제시하였다.

웹로그 분석을 위한 데이터 웨어하우스 시스템 구축 (Building Data Warehouse System for Weblog Analysis)

  • 이주일;백경민;신주한;이원석
    • 한국IT서비스학회:학술대회논문집
    • /
    • 한국IT서비스학회 2010년도 춘계학술대회
    • /
    • pp.291-295
    • /
    • 2010
  • 최근 급격한 하드웨어 기술과 데이터베이스 시스템의 발전은 우리 주변에서 발생하는 다양한 분야의 데이터를 자동으로 수집하는 것을 가능하게 하였다. 흔히 데이터 스트림(data stream)이라고 언급되는 끊임없이 생산되는 대용량의 데이터를 효율적으로 처리하여 유용한 정보를 얻어내는 기술은 이미 많은 응용 분야에서 광범위하게 연구되고 있다. 인터넷은 이러한 데이터 스트림을 양산해 내는 주요 원천 중의 하나이다. 인터넷 비즈니스의 활성화와 더불어 웹로그 데이터 스트림은 마케팅, 전략 수립, 고객관리 등 여러 부분에 광범위하게 활용되기 시작했으며, 보다 정확하고 효율적인 분석에 대한 요구사항도 점점 늘어나고 있다. 데이터 웨어하우스(Data Warehouse)는 수집된 데이터를 주제 기반으로 통합하여 시계열 형태로 적재하는 저장소서 유용한 분석이나 의사결정에 많이 사용되어 왔다. 데이터웨어하우스는 데이터를 요약하고 통합 및 정제하는 기능을 제공하여 대용량의 데이터 처리에 적합하고 데이터의 품질을 향상시키기 때문에 데이터 마이닝 분야에서 전처리 과정으로도 많이 이용되어 왔다. 본 논문에서는 웹로그 데이터 스트림에 대한 데이터 웨어하우스를 구축하여 보다 고품질의 유용한 정보를 효율적으로 얻어내는 시스템을 제안한다.

  • PDF

IoT센서로 수집된 균질 시간 데이터를 이용한 기계학습 기반의 품질관리 및 데이터 보정 (Machine Learning-based Quality Control and Error Correction Using Homogeneous Temporal Data Collected by IoT Sensors)

  • 김혜진;이현수;최병진;김용혁
    • 한국융합학회논문지
    • /
    • 제10권4호
    • /
    • pp.17-23
    • /
    • 2019
  • 본 논문은 온도 등 7 가지의 IoT 센서에서 수집된 기상데이터의 각 기상요소에 대하여 품질관리(Quality Control; QC)를 하였다. 또한, 우리는 측정된 값에 오류가 있는 데이터를 기계학습으로 의미있게 추정하는 방법을 제안한다. 수집된 기상데이터를 기본 QC 결과를 바탕으로 오류 데이터를 선형 보간하여 기계학습 QC를 진행하였으며, 기계학습 기법으로는 대표적인 서포트벡터회귀, 의사결정테이블, 다층퍼셉트론을 사용했다. 기본 QC의 적용 유무에 따라 비교해 보았을 때, 우리는 기본 QC를 거쳐 보간한 기계학습 모델들의 평균절대오차(MAE)가 21% 낮은 것을 확인할 수 있었다. 또한, 기계학습 기법에 따라 비교하여 서포트벡터회귀 모델을 적용하였을 때가, 모든 기상 요소에 대하여 MAE가 평균적으로 다층신경망은 24%, 의사결정테이블은 58% 낮은 것을 알 수 있었다.

AI를 이용한 지반정보 품질관리 방안에 관한 연구 (A Study on the Quality Control Method for Geotechnical Information Using AI)

  • 박가현;김종관;이석형;김민기;이경륜;한진태
    • 한국지반공학회논문집
    • /
    • 제38권11호
    • /
    • pp.87-95
    • /
    • 2022
  • 국토지반정보 포털시스템이 구축된 지반정보는 최근 설계, 시공, 지하안전관리, 재해재난 평가 등 다양한 분야에서 활용되고 있다. 그러나 전국적으로 기 구축된 약 30여만공의 지반정보는 누락되거나 잘못된 정보를 다수 포함하고 있어 데이터 활용시 신뢰도를 확보하기가 어렵다. 따라서 분석 데이터의 신뢰도를 확보하기 위해서는 지반정보를 활용하기 전 단계에서 지반정보의 정제(품질관리)가 반드시 필요하다. 본 연구에서는 딥러닝 기법 중 하나인 인공신경망 기법을 활용하여 지반정보를 자동으로 품질관리 하는 방안에 대하여 제안하였다. 특히, 가장 일반적으로 사용되는 정보인 표준관입시험 결과와 지층정보를 이용하여 지반정보의 이상치를 탐지하였다. 서울시 지반정보 데이터를 이용하여 분석하였으며, 검증데이터에 대한 오분류 비율은 5.4%로 확인되었다. 신경망 모델에서 이상치 분류된 데이터만을 추후에 검사함으로써 효율적으로 이상치를 탐지할 수 있을 것으로 기대된다.

시계열 데이터 특성 기반 품질 관리 방법 연구 (Data Quality Management Method base on Seasonality from Time series Data)

  • 이지훈;문재원;황지수
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2022년도 하계학술대회
    • /
    • pp.93-96
    • /
    • 2022
  • IoT 기기의 보급 및 확산으로 많은 산업군에서 이를 바탕으로 시계열 데이터를 획득하고 분석하려는 시도가 확대되고 있다. 시간의 흐름에 따라 저장된 데이터들은 주기에 따라 특정 패턴을 갖는 경우가 많으며 이러한 패턴을 파악한다면 주요 산업군의 의사 결정에 도움이 된다. 그러나 IoT 기기의 수집 오류 및 네트워크 환경에 의해 대부분의 시계열 데이터들은 누락 데이터, 이상 데이터를 갖고 있으며 이를 처리하지 않고 분석할 경우 오히려 잘못된 결과를 초래한다. 본 논문에서는 패턴 파악을 위해 '시간, 일, 주, 월, 년' 등 시간의 주기를 기준으로 데이터를 분할하며 이에 기반하여 데이터셋을 재구성하고 활용 가능한 데이터와 불가능한 데이터로 구분한다. 선별된 데이터셋은 클러스터링에 적용하였으며, 제안하는 방법을 적용할 경우 주기를 갖는 시계열 데이터를 활용하는 분석 및 학습에서 더 나은 결과를 보임을 확인하였다.

  • PDF

자율주행 영상데이터의 신뢰도 향상을 위한 AI모델 기반 데이터 자동 정제 (AI Model-Based Automated Data Cleaning for Reliable Autonomous Driving Image Datasets)

  • 김가나;김학일
    • 방송공학회논문지
    • /
    • 제28권3호
    • /
    • pp.302-313
    • /
    • 2023
  • 본 연구는 과학기술정보통신부가 2017년부터 1조원 이상을 투자한 'AI Hub 댐' 사업에서 구축된 인공지능 모델 학습데이터의 품질관리를 자동화할 수 있는 프레임워크의 개발을 목표로 한다. 자율주행 개발에 사용되는 AI 모델 학습에는 다량의 고품질의 데이터가 필요하며, 가공된 데이터를 검수자가 데이터 자체의 이상을 검수하고 유효함을 증명하는 데는 여전히 어려움이 있으며 오류가 있는 데이터로 학습된 모델은 실제 상황에서 큰 문제를 야기할 수 있다. 본 논문에서는 이상 데이터를 제거하는 신뢰할 수 있는 데이터셋 정제 프레임워크를 통해 모델의 인식 성능을 향상시키는 전략을 소개한다. 제안하는 방법은 인공지능 학습용 데이터 품질관리 가이드라인의 지표를 기반으로 설계되었다. 한국정보화진흥원의 AI Hub을 통해 공개된 자율주행 데이터셋에 대한 실험을 통해 프레임워크의 유효성을 증명하였고, 이상 데이터가 제거된 신뢰할 수 있는 데이터셋으로 재구축될 수 있음을 확인하였다.

출판사 생성 이용통계 데이터의 품질 평가에 대한 연구 (Evaluation on Quality of Publisher-Generated Usage Statistics)

  • 정영임
    • 정보관리연구
    • /
    • 제43권3호
    • /
    • pp.161-180
    • /
    • 2012
  • 본 논문에서는 최근 연구가 활성화되고 있는 전자저널 이용통계의 개념과 필요성에 대해 알아보고 COUNTER 그룹에 의해 진행 중인 이용 지수 프로젝트(Journal Usage Factor Project)의 동향을 파악하였다. 또 생성 주체별 이용통계 데이터가 가지는 장점 및 한계점을 살펴보았고, 31개 출판사의 실제 이용통계 데이터를 분석하여 다양한 오류와 문제 유형을 발견함으로써 출판사 생성 이용통계 데이터의 품질이 완전히 신뢰할만한 수준이 아님을 지적하였다.

토양수분 측정자료의 품질관리를 위한 ISMN 방식 적용 (Application of ISMN method for quality control of soil moisture data)

  • 신형진;이재남;황선아;옥정훈;이기원;박찬기;임경재
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.254-254
    • /
    • 2022
  • 밭 용수관리 및 가뭄 대응을 위한 토양수분 실측자료의 품질관리가 필수적으로 수행되어야 한다. 토양수분 자료의 체계적인 유지관리를 위해 국제 토양수분 네트워크(International Soil Moisture Network; ISMN)가 설립되었고, 전세계 1,400여개 지점의 토양수분량 자료의 품질관리하고 있다. ISMN 품질관리 방식은 토양특성, 강우에 대한 반응, 토양온도, 시계열특성을 이용한다. 지표면 최상 토층에 저장되어있는 수분인 토양수분은 기후 예측, 홍수 예보, 농업가뭄평가, 수자원 관리, 온실가스 산정, 인프라 보전, 수인성 전염병 모델링 등 다양한 분야에 활용될 수 있다(Dorigo et al., 2011). 본 연구에서는 FDR(Frequency Domain Reflectometry) 기기를 이용한 토양수분 측정자료의 품질관리를 위해 ISMN에서 제시한 총6개의 단계별 품질관리 체계를 적용하였다. 단계는 1) 토양수분이 0 m3m-3보다 작은지, 2) 또는 0.6 m3m-3보다 큰지, 3) 토양수분값이 공극률보다 큰지, 4) 토양온도가 영하인지, 5) 토양수분이 강우 이벤트 없이 증가하는지, 그리고 5) 토양수분 시계열 자료에 spike 가 있는지 6) break나 plateau가 있는지를 검사하여 Quality Flag를 설정하였다. 이를 기반으로 토양수분 데이터 자동 프로그램을 개발하여 이상치를 보정하였다. 향후, ISMN의 Quality Flag (QF1-QF10)를 적용하여 모니터링 자료의 품질관리 자동 프로그램을 개발하고자 한다.

  • PDF

교통정보 신뢰성 향상을 위한 품질특성에 관한 연구 (A study of quality attributes for reliability improvement on traffic information)

  • 정성학
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권5호
    • /
    • pp.133-145
    • /
    • 2013
  • 본 연구의 목적은 교통정보 데이터의 품질특성을 분석하여 신뢰성 있는 교통정보 평가기준을 마련하고, 교통정보 데이터의 평가 프레임 워크와 같은 평가절차를 제공함으로써 효율적인 교통정보센터 운영관리에 기여하고자 한다. 이러한 목적을 달성하기 위하여 체계공학 분야에서 활용되고 있는 교통정보 품질관리를 위한 온톨로지 기법을 통하여 데이터 특성을 분석하고 데이터베이스화 하였다. 본 연구의 지능형 교통체계에서 시스템적인 데이터베이스는 다양한 분야의 부체계 개발 및 구성품 요소설계의 지표 자료로 활용될 것으로 기대한다

고객품질보증을 위한 SLA 관리시스템 (The SLA Management System for Customer Quality Assurance)

  • 유용선;이길행
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.1267-1270
    • /
    • 2006
  • 최근들어 초고속 통신망(xDSL, FTTH, Cable)을 이용하여 Head-End Server에서 가입자 댁내의 셋탑박스를 TV를 이용하여 멀티미디어(다채널 SD/HD 방송, VOD) 및 양방향 인터넷 연동 서비스(T-Portal, T-Communication) 등을 제공하는 것이 가능해 졌다. 더불어 고객들에게 인터넷을 통한 이 서비스의 품질을 보장하는 망 관리 관점에서의 기능도 필요하게 되었다. 고객들은 예전보다 더 나은 통신품질을 제공받기를 기대하고 있다. 따라서, 기존의 PE-to-PE 통신 품질 뿐만 아니라 CE-to-CE 통신 품질도 제공함으로써 고객체감품질 보증의 만족도를 향상시켜야 한다 본 논문에서는 IP 서비스(IPTV, VoIP 등)의 SLA에서 사용될 품질 지표에 관한 연구 및 PE-to-PE구간에서 부터CE-to-CE 구간 까지의 시스템 망 구성도, SLA 관리시스템에 관해 설명한다. 본 논문의 SLA 시스템에서는 가입자 댁내의 셋탑박스에 내장된 품질측정 Agent를 이용하여 통신품질 데이터를 측정한 후, 가공하여 SLA를 적용함으로써, 보다 정확한 고객체감품질 보증 및 고객에게 SLA의 신뢰성을 줄 수 있다. 또한, 서비스 제공자로 하여금 사전에 통신품질을 감시할 수 있는 기능을 제공함으로써 양질의 통신품질을 보장할 수 있도록 하는데 목적이 있다.

  • PDF