• Title/Summary/Keyword: 데이터 질 관리 알고리즘

Search Result 57, Processing Time 0.026 seconds

An Efficient Algorithm for Incremental View Maintenance In a Data Warehouse (데이터 웨어하우스에서 점진적 뷰 유지를 위한 효율적인 알고리즘)

  • 이현창;김충석;김경창
    • The Journal of Korean Institute of Communications and Information Sciences
    • /
    • v.25 no.8A
    • /
    • pp.1265-1272
    • /
    • 2000
  • A data warehouse is able to accommodate efficient data mining query processing and subsequent response by providing information needed for decision making. In such an environment, the data warehouse stores materialized view derived from various sources to enhance query processing. The compensating algorithm to maintain materialized view is well known for a single source site environment. In the compensating algorithm, several problems arise to get results in view maintenance. The problems are due to the overhead in query management within the data warehouse, increased complexity to manage queries in the warehouse as updates occur and increased volume of message traffic between the data source and the warehouse. In this paper, we propose a new algorithm that reduces the overhead in managing queries for new maintenance and that enhances the correctness. We also measured the performance of the new algorithm by evaluating the performance of the existing recomputing view and compensating algorithm and comparing the results with the proposed algorithm.

  • PDF

Developing data quality management algorithm for Hypertension Patients accompanied with Diabetes Mellitus By Data Mining (데이터 마이닝을 이용한 고혈압환자의 당뇨질환 동반에 관한 데이터 질 관리 알고리즘 개발)

  • Hwang, Kyu-Yeon;Lee, Eun-Sook;Kim, Go-Won;Hong, Sung-Ok;Park, Jong-Son;Kwak, Mi-Sook;Lee, Ye-Jin;Im, Chae-Hyuk;Park, Tae-Hyun;Park, Jong-Ho;Kang, Sung-Hong
    • Journal of Digital Convergence
    • /
    • v.14 no.7
    • /
    • pp.309-319
    • /
    • 2016
  • There is a need to develop a data quality management algorithm in order to improve the quality of health care data. In this study, we developed a data quality control algorithms associated diseases related to diabetes in patients with hypertension. To make a data quality algorithm, we extracted hypertension patients from 2011 and 2012 discharge damage survey data. As the result of developing Data quality management algorithm, significant factors in hypertension patients with diabetes are gender, age, Glomerular disorders in diabetes mellitus, Diabetic retinopathy, Diabetic polyneuropathy, Closed [percutaneous] [needle] biopsy of kidney. Depending on the decision tree results, we defined Outlier which was probability values associated with a patient having diabetes corporal with hypertension or more than 80%, or not more than 20%, and found six groups with extreme values for diabetes accompanying hypertension patients. Thus there is a need to check the actual data contained in the Outlier(extreme value) groups to improve the quality of the data.

The spatial data manager using extended peer-to-peer computing method for balancing the cost of server side (서버 처리 비용 분산을 위해 확장된 Peer-to-peer 방식을 사용한 공간데이터 관리기)

  • 김호석;강동재;정보홍;김재홍;배해영
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.04b
    • /
    • pp.28-30
    • /
    • 2001
  • 클라이언트-서버 환경에서 공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터 처리 시 발생하는 서버 I/O 연산의 수행 비용과 질의 처리비용 및 결과 데이터의 전송 비용이 서버 사이드의 병목 현상과 질의 처리속도의 저하라는 문제점을 유발한다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 서버 처리비용의 분산을 위한 확장된 Peer-to-peer를 지원하는 방식을 제안하며, 이러한 확장 된 Peer-to-peer방식을 지원할 수 있는 공간데이터 관리기의 설계 및 구현상황을 제안한다. 공간데이터 관리기는 서버에 접속된 클라이언트의 정보와 클라이언트에 캐쉬된 데이터의 정보를 관리하는 공간데이터 관리기의 CIT(Client Information Table)와 이 CIT에 가용한 데이트를 캐쉬한 클라이언트가 여럿인 경웨 대상 클라이언트의 선정이 요구되며, 적은 비용으로 처리 가능한 클라인트의 선정의 위한 알고리즘과 클라이언트 사이의 확장된 Peer-to-peer 방식을 지원하기 위한 서버와 클라이언트간의 데이터 일관성 유지를 위한 데이터 유효성 관리를 제안한다.

  • PDF

Computing Average Iceberg Query by Dynamic Partition (동적 분할에 의한 평균 빙산 질의 처리)

  • 배진욱;이석호
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 1999.10a
    • /
    • pp.126-128
    • /
    • 1999
  • 평균 빙산 질의란 대용량의 데이터들에 의해 avg 집단 함수를 수행한 뒤 임계값 이상인 데이터들을 결과로 출력하는 연산을 의미한다. 이 때 데이터 도메인의 크기가 메모리에 생성할 수 있는 카운터의 수보다 크기 때문에 연산 처리가 어렵다. 지난 연구에서 빙산 질의에 대해 제안한 해시 카운터는 avg 연사의 경우 착오누락이 발생한다는 문제점이 존재한다. 그래서 이런 문제점들을 해결하며 효율적으로 연산을 수행하기 위해, 데이터베이스를 분할하며 카운터를 관리하는 '메모리 Full 분할', '후보 Full 분할'의 두 알고리즘을 제안한다. 실험결과 두 알고리즘은 메모리크기, 데이터 분포, 데이터 순서에 영향을 받았는데, 데이터들이 정렬이 되어 있거나 데이터분포가 정규분포를 이룰 때 우수한 성능을 보였다.

  • PDF

A High-Speed Data Processing Algorithm for RFID Input Data Stream Using Multi-Buffer (RFID 입력 테이터 스트림에 대한 다중 버퍼 기반의 고속 데이터 처리 알고리즘)

  • Han, Soo;Shin, Seung-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10b
    • /
    • pp.302-307
    • /
    • 2007
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터를 정확하게 실시간으로 처리하고 응용 서비스에서 질의하는 결과를 획득해서 전달하여야 한다. 이와 같은 지속적으로 입력되는 대량의 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)을 개발하기 위한 연구가 진행되고 있다. 기존에 연구되는 데이터 스트림에 대한 알고리즘은 대부분 연속 질의 결과들 사이의 평균 오차를 줄이고, 부하 발생 시 데이터의 우선순위에 따라 버리는 것에 초점이 맞추어져 있다. 본 논문에서는 RFID EPC 라는 데이터 특성에 맞추어 다중버퍼를 이용함으로써 고속의 데이터 처리 능력을 얻고, 각 버퍼마다 일정한 규칙을 통해 질의에 있어서도 빠른 대응을 할 수 있는 알고리즘을 제안한다. 본 논문은 현재 DSMS의 관련 연구와 고속 데이터 처리의 필요성을 말하고, 제안하는 알고리즘 설명과 시뮬레이션을 통해 단일버퍼와 다중버퍼일 경우 데이터 처리 속도 성능 평가와 제안한 알고리즘에 맞도록 버퍼가 생성 되는지 테스트하는 것으로 구성된다.

  • PDF

Fast Twig Query Processing for Streaming XML Data (스트리밍 XML 데이터에 대한 빠른 트윅 질의 처리 기법)

  • Ryu, Byung-Gul;Park, Sang-Hyun;Ha, Jong-Woo;Lee, SangKeun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.11a
    • /
    • pp.65-68
    • /
    • 2010
  • 스트리밍 XML 데이터는 고정된 저장소에 유지되지 않고 사용자 측으로 계속적으로 데이터가 전송된다는 특성을 지닌다. 이러한 스트리밍 XML에 대한 질의 처리를 위해서는 효과적인 메모리 관리와 빠른 질의 처리 성능이 요구된다. 최근 최소한의 메모리 사용으로 효과적으로 트윅 질의를 처리하기 위한 기법인 StreamTX가 제안되었으나 반복적인 질의 처리 알고리즘 호출로 인해 불필요한 질의 처리시간이 발생한다. 따라서, 본 논문에서는 이러한 불필요한 질의 처리 시간을 줄이기 위해 실시간으로 질의와 무관한 노드를 제거하여 보다 효과적인 질의 처리를 수행 기법을 제안한다. 제안된 기법은 기존 연구와 유사한 메모리 사용량을 가지면서도 빠른 질의 처리 속도를 가짐을 성능평가를 통해 검증한다.

The Multiple Continuous Query Fragmentation for the Efficient Sensor Network Management (효율적인 센서 네트워크 관리를 위한 다중 연속질의 분할)

  • Park Jung-Up;Jo Myung-Hyun;Son Jin-Hyun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2006.05a
    • /
    • pp.43-46
    • /
    • 2006
  • 최근 센서네트워크에 관련된 많은 연구가 진행되고 있다. 특히, 센서의 전력 보전을 위한 많은 기술들이 개발되고 있는데, 본 논문에서는 센서 네트워크의 불필요한 전력 소비를 줄이는 다중 연속질의 최적화에 관련된 방법을 제시한다. 우리는 센서 네트워크에서 전송되는 데이터의 횟수나 전송량의 원천적 문제가 되는 다중 연속 질의의 중복성 문제를 해결하는 분할 알고리즘을 제안한다. 분할 알고리즘은 새롭게 생성된 사용자 질의와 기존의 질의 들 사이에 질의 중첩 질의 영역을 제거하기 위해, QR-트리 기반의 질의 인덱스를 통해 하나의 질의를 둘 이상의 질의로 분할하는 알고리즘이다. QR-트리는 효율적인 질의 분할을 위해, $R^*$-트리를 본 논문의 구조에 맞게 개량한 것이다.

  • PDF

A K-Nearest Neighbour Query Processing Algorithm for Encrypted Spatial Data in Road Network (도로 네트워크 환경에서 암호화된 공간데이터를 위한 K-최근접점 질의 처리 알고리즘)

  • Jang, Mi-Young;Chang, Jae-Woo
    • Spatial Information Research
    • /
    • v.20 no.3
    • /
    • pp.67-81
    • /
    • 2012
  • Due to the recent advancement of cloud computing, the research on database outsourcing has been actively done. Moreover, the number of users who utilize Location-based Services(LBS) has been increasing with the development in w ireless communication technology and mobile devices. Therefore, LBS providers attempt to outsource their spatial database to service provider, in order to reduce costs for data storage and management. However, because unauthorized access to sensitive data is possible in spatial database outsourcing, it is necessary to study on the preservation of a user's privacy. Thus, we, in this paper, propose a spatial data encryption scheme to produce outsourced database from an original database. We also propose a k-Nearest Neighbor(k-NN) query processing algorithm that efficiently performs k-NN by using the outsourced database. Finally, we show from performance analysis that our algorithm outperforms the existing one.

An Efficient Top-k Query Processing Algorithm over Encrypted Outsourced-Data in the Cloud (아웃소싱 암호화 데이터에 대한 효율적인 Top-k 질의 처리 알고리즘)

  • Kim, Jong Wook;Suh, Young-Kyoon
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.4 no.12
    • /
    • pp.543-548
    • /
    • 2015
  • Recently top-k query processing has been extremely important along with the explosion of data produced by a variety of applications. Top-k queries return the best k results ordered by a user-provided monotone scoring function. As cloud computing service has been getting more popular than ever, a hot attention has been paid to cloud-based data outsourcing in which clients' data are stored and managed by the cloud. The cloud-based data outsourcing, though, exposes a critical secuity concern of sensitive data, resulting in the misuse of unauthorized users. Hence it is essential to encrypt sensitive data before outsourcing the data to the cloud. However, there has been little attention to efficient top-k processing on the encrypted cloud data. In this paper we propose a novel top-k processing algorithm that can efficiently process a large amount of encrypted data in the cloud. The main idea of the algorithm is to prune unpromising intermediate results at the early phase without decrypting the encrypted data by leveraging an order-preserving encrypted technique. Experiment results show that the proposed top-k processing algorithm significantly reduces the overhead of client systems from 10X to 10000X.

Query Optimization Scheme using Query Classification in Hybrid Spatial DBMS (하이브리드 공간 DBMS에서 질의 분류를 이용한 최적화 기법)

  • Chung, Weon-Il;Jang, Seok-Kyu
    • The Journal of the Korea Contents Association
    • /
    • v.8 no.1
    • /
    • pp.290-299
    • /
    • 2008
  • We propose the query optimization technique using query classification in hybrid spatial DBMS. In our approach, user queries should to be classified into three types: memory query, disk query, and hybrid query. Specialty, In the hybrid query processing, the query predicate is divided by comparison between materialized view creating conditions and user query conditions. Then, the deductions of the classified queries' cost formula are used for the query optimization. The optimization is mainly done by the selection algorithm of the smallest cost data access path. Our approach improves the performance of hybrid spatial DBMS than traditional disk-based DBMS by $20%{\sim}50%$.