• 제목/요약/키워드: 데이터 검증

검색결과 7,195건 처리시간 0.035초

SmartX-mini Center를 통한 NUC 클러스터의 Big Data 처리 가능성 검증 (Feasibility Verification of Big Data Processing employing SmartX-mini Center with NUC Cluster)

  • 송지원;이준기;김승룡;김종원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 춘계학술발표대회
    • /
    • pp.73-74
    • /
    • 2015
  • IoT의 발달로 인해 새롭게 빅데이터와 그의 실시간 처리의 중요성이 증대되고 있다. 본 논문에서는 사물인터넷의 관제 및 데이터 처리 기능을 갖춘 SmartX-mini 센터를 통하여 NUC 클러스터의 빅데이터 처리 가능성을 제시하고, 이를 검증하기 위하여 SmartX-mini 테스트베드를 활용한다. SmartX-mini Center의 Spark 프레임워크를 이용한 실험을 통해 IoT 환경에서의 NUC 클러스터의 빅데이터 처리 가능에 대한 가능성을 검증하였다.

웨이블릿 변환을 이용한 시뮬레이션 모델 검증 방법 (Validation Method of Simulation Model Using Wavelet Transform)

  • 신상미;김연진;이홍철
    • 한국시뮬레이션학회논문지
    • /
    • 제19권2호
    • /
    • pp.127-135
    • /
    • 2010
  • 시뮬레이션에서 모델의 검증 문제는 그 모델의 신뢰성을 의미하며, 그에 따라 모형의 정당성을 입증하는 가장 중요한 열쇠 중 하나이다. 하지만 지금까지 연구된 다양한 방법들 중 시계열형태의 자료를 이용한 검증 방법론은 개념적인 측면에서는 정립되었으나 구체적인 기법에 대한 연구는 부족한 상태이다. 그리하여 본 연구에서는 Wavelet 변환과 Power Spectrum을 이용한 시계열 데이터의 시뮬레이션 검증 방법을 제시하고자 한다. 이를 위해 첫 번째로 비주기적인 신호분리가 가능한 Wavelet 변환을 이용하여 스펙트럼을 추출하고, 두 번째로 스펙트럼 분석을 이용하여 실제 시스템에서 출력 데이터의 패턴이 시뮬레이션을 통해 나온 패턴과 일치하는지의 여부를 Coherence를 이용해 검정하였다. 실제 사례를 통하여 다른 검증방법들과 비교한 결과, 시뮬레이션 모델링의 완성도에 따른 모델의 일치도 여부를 보다 명확하게 검증하였다. 본 연구에서 제시한 방법을 통해, 하나의 통계량을 통한 검증이 아닌 한 구간별 검증을 통해 지금까지의 획일적인 타당성 검증 방법에서는 할 수 없었던 다양한 상황에서의 시뮬레이션 모형의 타당성 검증이 가능하게 하였다.

데이터품질관리 성숙도모델에 대한 연구 (A Study of Data Quality Management Maturity Model)

  • 김찬수;박주석
    • 정보관리학회지
    • /
    • 제20권4호통권50호
    • /
    • pp.249-275
    • /
    • 2003
  • 오늘날 정보화 사회에서 경쟁하는 기업들에 있어서 데이터품질 저하는 기업경쟁력 하락과 새로운 비용창출이라는 부정적인 영향요인으로써 작용하고 있다. 이러한 데이터품질 저하의 문제를 해결하기 위해 데이터품질에 대한 많은 선행연구들이 진행되어 왔으며, 데이터품질의 측면 중 결과적 이고 현상적인 품질개념인 데이터 값의 품질과 데이터서비스의 품질에 대해 주로 연구되어 왔다. 이에 반해 본 연구에서는 원인적인 데이터품질 개념인 데이터의 구조적 품질을 메타데이터 관리의 관점에서 연구하였으며, 이를 통해 평가와 개선을 위한 관리의 관점이 적용된 데이터품질관리 성숙도모델을 제시하였다. 또한 본 연구에서 제시한 데이터품질관리 성숙도모델의 타당성 검증을 위해 데이터품질 관리단계가 성숙될수록 데이터품질수준이 높아지게 된다는 것을 실증적으로 검증하였다.

비행시험 데이터를 통한 추진제탱크 가압가스 요구량 예측 프로그램 검증 (Verification of Required Pressurant Mass Prediction Program for Propellant Tank through Flight Test Data)

  • 권오성;한상엽;조인현;고영성
    • 한국추진공학회:학술대회논문집
    • /
    • 한국추진공학회 2010년도 제35회 추계학술대회논문집
    • /
    • pp.723-725
    • /
    • 2010
  • 추진제탱크의 가압에 소요되는 가압가스 요구량을 예측하기 위해 개발된 프로그램을 비행시험 데이터를 통해 검증하였다. 개발된 예측 프로그램은 이미 지상에서의 시험데이터를 통해 검증되었으나, 프로그램의 신뢰성을 높이기 위하여 2002년 발사된 3단형과학로켓(KSR-III)의 비행시험 데이터와 비교하였다. 비행시험에서는 추진제탱크로 유입되는 가압가스의 온도를 측정하지 않았으므로 데이터 분석을 통하여 적절한 온도를 가정하였다. 수치해석 프로그램과 비행시험 데이터 비교 결과 가압가스 요구량에 있어 약 6%의 오차를 보여줌으로써 예측 프로그램의 유효성을 입증하였다.

  • PDF

연관 규칙 분석 알고리즘을 활용한 영작문 형태.통사 오류 자동 발견 (Automatic Error Detection of Morpho-syntactic Errors of English Writing Using Association Rule Analysis Algorithm)

  • 김동성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-8
    • /
    • 2010
  • 본 연구에서는 일련의 연구에서 수집된 영작문 오류 유형의 정제된 자료를 토대로 연관 규칙을 생성하고, 학습을 통해서 효용성이 검증된 연관 규칙을 활용해서 영작문 데이터의 형태 통사 오류를 자동으로 탐지한다. 영작문 데이터에서 형태 통사 오류를 찾아내는 작업은 많은 시간과 자원이 소요되는 작업이므로 자동화가 필수적이다. 기존의 연구들이 통계적 모델을 활용한 어휘적 오류에 치중하거나 언어 이론적 틀에 근거한 통사 처리에 집중하는 반면에, 본 연구는 데이터 마이닝을 통해서 정제된 데이터에서 연관 규칙을 생성하고 이를 검증한 후 형태 통사 오류를 감지한다. 이전 연구들에서는 이론적 틀에 맞추어진 규칙 생성이나 언어 모델 생성을 위한 대량의 코퍼스 데이터와 같은 다량의 지식 베이스 생성이 필수적인데, 본 연구는 적은 양의 정제된 데이터를 활용한다. 영작문 오류 유형의 형태 통사 연관 규칙을 생성하기 위해서 Apriori 알고리즘을 활용하였다. 알고리즘을 통해서 생성된 연관 규칙 중 잘못된 규칙이 생성될 가능성이 있으므로, 상관성 검정, 코사인 유사도와 같은 규칙 효용성의 통계적 검증을 활용해서 타당한 규칙만을 학습하였다. 이를 통해서 축적된 연관 규칙들을 영작문 오류를 자동으로 탐지하는 실험에 활용하였다.

  • PDF

채팅 메신저 사용자 검증을 위한 그래프 랜덤 워크 분석 (Graph Random Walk Analysis for Chat Messenger User Verification)

  • 이다영;조환규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.79-84
    • /
    • 2021
  • 메신저 사용의 증가와 함께 관련 범죄와 사고가 증가하고 있어 메시지 사용자 검증의 필요성이 대두되고 있다. 본 연구에서는 그래프 기반의 인스턴트 메세지 분석 모델을 제안하여 채팅 사용자를 검증하고자 한다. 사용자 검증은 주어진 두 개의 텍스트의 작성자가 같은지 여부를 판단하는 문제다. 제안 모델에서는 사용자의 이전 대화를 토대로 n-gram 전이 그래프를 구축하고, 작성자를 알 수 없는 메세지를 이용해 전이 그래프를 순회한 랜덤워크의 특성을 추출한다. 사용자의 과거 채팅 습관과 미지의 텍스트에 나타난 특징 사이의 관계를 분석한 모델은 10,000개의 채팅 대화에서 86%의 정확도, 정밀도, 재현율로 사용자를 검증할 수 있었다. 전통적인 통계 기반 모델들이 명시적 feature를 정의하고, 방대한 데이터를 이용해 통계 수치로 접근하는데 반해, 제안 모델은 그래프 기반의 문제로 치환함으로써 제한된 데이터 분량에도 안정적인 성능을 내는 자동화된 분석 기법을 제안했다.

  • PDF

SLR 데이터를 사용하기 위한 효율적인 정밀궤도결정 전략

  • 김영록;박상영;최규홍
    • 한국우주과학회:학술대회논문집(한국우주과학회보)
    • /
    • 한국우주과학회 2009년도 한국우주과학회보 제18권2호
    • /
    • pp.27.2-27.2
    • /
    • 2009
  • SLR (Satellite Laser Ranging) 데이터의 높은 거리측정 정밀도는 위성 추적 시스템의 검증 및 보정, 위성의 정밀궤도결정, 지구와 관련된 물리 상수 및 모델 검증, 우주파편과 같은 우주물체의 추적 및 감시 등에 활용이 가능하다. 특히 위성의 정밀궤도결정에 SLR 데이터를 활용하는 것은 고정밀 지구관측 위성 및 독자적인 항법 시스템 운영에 필수적인 부분이다. SLR 시스템은 위성 관측 가능 시간 및 지역이 한정되어 있기 때문에 정밀궤도 결정에 활용하는 것이 쉽지 않다. 따라서 이 연구에서는 SLR 데이터를 사용하기 위한 효율적인 정밀궤도결정 전략에 대해서 알아보았다. 동역학 및 관측 모델, 지상국의 개수, 초기 궤도 오차, 필터링 방법, 고도각에 따른 관측 데이터 선택 등의 기준을 선정하고 각각의 경우에 대해 정밀궤도결정을 수행하고 결과를 분석하였다. 정밀궤도결정 테스트를 위해서는 YLPODS (Yonsei Laser-ranging Precision Orbit Determination System)과 SLR정규점 (Normal Point) 데이터를 사용하였다. 이를 통해서 SLR 데이터를 사용하기 위한 효율적인 정밀궤도결정 전략에 대해 고찰해보았다.

  • PDF

크라우드소싱 드론 영상의 기하학적 품질 자동 검증 (Automatic Validation of the Geometric Quality of Crowdsourcing Drone Imagery)

  • 이동호;최경아
    • 대한원격탐사학회지
    • /
    • 제39권5_1호
    • /
    • pp.577-587
    • /
    • 2023
  • 크라우드소싱(crowdsourcing) 공간 데이터 활용 연구가 활발히 진행되고 있으나 데이터 품질의 불확실성으로 인한 문제점이 제기되고 있다. 특히 드론 영상 데이터셋에 품질이 낮은 데이터가 포함될 경우, 출력되는 공간 정보의 품질이 저하될 수 있다. 이를 위해 본 연구에서는 크라우드소싱된 영상의 기하학적 품질을 자동으로 검증하는 방법론을 제안하였다. 주요 품질 요소로는 영상의 공간해상도, 해상도 변화량, 매칭점 재투영 오차, 번들 조정 결과 등을 입력변수로 활용하였다. 공간 정보 생성에 적합한 영상을 분류하기 위해 학습 및 검증 데이터를 구축하고, radial basis function (RBF) 기반의 support vector machine (SVM) 모델로 학습을 진행하였다. 학습된 SVM 모델의 분류 정확도는 99.1%를 기록하였다. 품질 검증 모델 효과를 확인하기 위해 학습 및 검증에 사용하지 않은 드론 영상에 대하여 해당 모델을 적용하기 전후의 영상 데이터셋으로 각각 정사영상을 생성하고 비교하였다. 그 결과 모델 적용을 통하여 정사영상에 포함될 수 있는 다양한 왜곡을 줄이고 객체 식별력을 증대시키는 것을 확인하였다. 제안된 품질 검증 방법론은 다양한 품질의 크라우드소싱 데이터를 입력으로 받아 양질의 정보만을 자동 선별하게 함으로써 공간정보 생성에서의 활용 가능성을 증대시킬 것으로 기대한다.

웹기반 의료영상 표준 데이터셋 변환 및 관리 시스템 구축 (Construction of Web-Based Medical Imgage Standard Dataset Conversion and Management System)

  • 김지언;임동욱;유영주;노시형;이충섭;김태훈;정창원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 춘계학술발표대회
    • /
    • pp.282-284
    • /
    • 2021
  • 최근 4차 산업혁명으로 의료빅데이터 기반으로 한 AI 기술이 급속도로 발전하고 있다. 특히, 의료영상을 기반으로 병변을 탐색, 분활 및 정량화 그리고 자동진단 및 예측 관련된 기술이 AI 제품으로 출시되고 있다. AI 기술개발은 많은 학습데이터가 요구되며, 임상검증에 단일기관에서 2개 이상 기관의 검증이 요구되고 있다. 그러나 아직까지도 단일기관에서 학습용 데이터와 테스트, 검증용 데이터를 달리하여 기술개발에 활용하고 있다. 본 논문은 AI 기술개발에 필요한 영상데이터에 대한 표준화된 데이터셋 변환 및 관리를 위한 시스템에 대해 기술한다. 다기관 데이터를 수집하기 위해서는 각 기관의 의료영상 데이터 수집 및 저장하는 기준이 명확하지 않아 표준화 작업이 필요하다. 제안한 시스템은 기관 또는 다기관 연구 그룹의 의료영상데이터를 표준화하여 저장할 수 있을 뿐만 아니라 의료영상 뷰어 및 의료영상 리스트를 통해 연구자가 원하는 의료영상 데이터 셋을 검색하여 다양한 데이터셋으로 제공할 수 있기 때문에 수집 및 변환 그리고 관리까지 지원할 수 있는 시스템으로 영상기반의 머신러닝 연구에 활력을 불어넣을 수 있을 것으로 기대하고 있다.

AI 기반 복합센서 사전검증시스템을 활용한 약품투입량 분석 및 예측모델 개발 (Development of Drug Input Analysis and Prediction Model Using AI-based Composite Sensors Pre-Verification System)

  • 성민석;김국일;안상병;홍성택
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 추계학술대회
    • /
    • pp.559-561
    • /
    • 2022
  • 수돗물 생산·공급의 안정성을 확보하기 위하여 AI 기반 복합센서를 실증지인 정수장에 적용하기 전에 사전검증할 수 있는 시스템을 구축하였으며, 2019년 12월부터 2021년 12월까지 약 2년간의 고령정수장 생활용수의 약품투입량 관련된 데이터를 수집·분석하여 약품투입량 예측모델을 개발하고자 하였다. 이상치 제거와 파생변수 생성 등 데이터 전처리를 통해 각 Tag의 이상치를 제거하고 1분 주기 데이터를 60분 구간 평균 데이터로 주기를 설정하고 PLS 모형을 사용하여 모델을 학습시켰으며, 각 모델들의 예측 정도를 비교·검증하였다.

  • PDF