• Title/Summary/Keyword: 중복 데이터

Search Result 1,018, Processing Time 0.028 seconds

Management Strategy of Hotspot Temporal Data using Minimum Overlap (최소 중복을 이용한 Hotspot 시간 데이터의 관리)

  • Yun Hong-won;Lee Jung-hwa
    • Journal of the Korea Institute of Information and Communication Engineering
    • /
    • v.9 no.4
    • /
    • pp.877-882
    • /
    • 2005
  • We propose a strategy to manage temporal data which are occurred on scientific applications. Firstly, We define LB and RB to separate temporal data, and entity versions to be stored in past, current, future segments. Also, We describe an algorithm to migrate temporal data with hotspot distribution among segments. The performance evaluation of average response time and space utilization is conducted. Average response time between two methods is similar, and space is saved in proposed method.

Deduplication Technique for Smartphone Application Update Scenario (스마트폰의 어플리케이션 업데이트 패턴을 고려한 데이터 중복제거 기법 연구)

  • Park, Dae-Jun;Choi, Dong-Soo;Shin, Dong-Kun
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.364-366
    • /
    • 2012
  • 스마트폰의 어플리케이션은 어플리케이션 생태계의 발전에 따라 그 수가 많아지고, 업데이트 또한 잦아졌다. 어플리케이션의 업데이트는 낸드 플래시 메모리에 이전 버전을 삭제하고, 새로운 버전의 어플리케이션에 대한 쓰기 명령을 내린다. 따라서 사용자는 낸드 플래시 메모리에서의 상대적으로 느린 쓰기 명령에 의해 스마트폰의 성능의 저하를 느끼고 낸드 플래시 메모리는 반복되는 지우기/쓰기 동작에 의해 수명이 단축된다. 본 논문에서는 업데이트 되는 스마트폰 어플리케이션 데이터가 이전 버전과 큰 차이가 없다는 것에 착안하여 데이터 중복제거를 통해 업데이트 성능을 향상시키고 낸드 플래시 메모리의 수명을 향상시키는 기법을 제안하고 있으며, 실험을 통해서 어플리케이션들에 대한 중복 제거율을 관찰하였다.

Query Plan Reordering Techinque for Dynamic Optimization of Stream Queries (스트림 질의의 동적 최적화를 위한 질의 계획 재구성 기법)

  • 이원근;이상돈
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.716-718
    • /
    • 2003
  • 최근 들어 데이터가 연속적으로 생성되므로 인해 디스크에 저장된 형태로 모델링되기 어려운 특성을 갖는 데이터 응용환경에 대한 관심이 증대하고 있다. 스트림 데이터를 대상으로 이루어지는 스트림 질의는 저장된 릴레이션 내의 데이터를 대상으로 한번 적용되고 마는 기존의 데이터 응용에서와는 달리, 한번 등록이 되면 계속적으로 입력 데이터 스트림을 감시하다가 질의를 만족시키는 투플이 발생될 때마다 결과를 출력하는 연속성을 갖는다. 이러한 데이터 스트림 처리 시스템에서 성능 향상을 위한 질의 계획 최적화에 대한 연구가 이루어지고 있으며, 이를 위한 하나의 방법으로 현재 사용중인 질의 계획에서 질의 계획의 일부를 재구성하기 위해서 최적화 대상 질의 계획으로의 입력을 중단하고 최적화된 새로운 질의 계획으로 바꾸어 임시 저장된 데이터를 새로운 질의 계획에 입력하는 방법이 이용되고 있다. 그러나 이 방법을 사용하는 경우 입력 데이터 버퍼링을 위한 저장공간에 대한 비용이 증가하고. 부정확한 갑을 산출을 유발할 수 있는 등 몇 가지 문제점을 안고 있다. 본 논문에서는 이러한 문제를 해결하기 위하여 최적화 대상이 되는 질의 계획을 일시적으로 중복시켜 최적화가 진행되고 있는 과정 중에도 기존의 질의 계획이 입력 스트림을 계속 처리하고, 최적화된 새로운 질의 계획으로 입력 스트림을 처리하도록 하는 일시 중복을 이용한 동적 질의 계획 재구성 기법을 제시하였다.

  • PDF

File Deduplication System Using Logical Partition (논리 파티션을 이용한 파일 중복 제거 시스템)

  • Kong, Jin-San;Jung, Ho-Min;Ko, Young-Woong
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2012.06a
    • /
    • pp.285-287
    • /
    • 2012
  • 기존의 타깃(target) 기반 중복제거 시스템은 저장된 모든 파일에 대하여 각각 중복 제거를 수행한다. 이러한 중복제거 시스템의 문제점은 파일의 크기가 작고 파일의 개수가 많아지는 경우에 해시 값을 구하는 시간과 메타 데이터를 유지하는데 오버헤드가 증가한다. 이러한 문제점을 해결하기 위해 본 논문에서는 논리 파티션을 이용하여 개별 파일들을 묶어서 중복 제거를 수행하는 시스템을 설계 및 구현하였다. 실험 결과 논리 파티션의 용량이 50% 이상일 때 기존 중복제거 기법에 비해서 중복 제거 비율 및 시간적인 측면에서 더 효율적임을 보였다.

High Available De-Duplication Algorithm (고가용성 중복제거(De-Duplication) 기법)

  • Lee, Choelmin;Kim, Jai-Hoon;Kim, Young Gyu
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.274-277
    • /
    • 2012
  • 중복 제거(De-duplication) 기법은 파일시스템 내에서 동일한 내용의 데이터 블록이나 파일의 중복을 제거하여 유일한 내용만을 보관함으로써, 저장장치의 낭비를 막을 수 있다. 상반된 개념으로 결함극복을 위하여 동일한 파일시스템이나 시스템 구성요소를 복제(이중화)함으로써, 일부 시스템 결함시 복제(이중화)된 다른 시스템을 이용하여 신뢰성과 가용도를 향상시킬 수 있다. 그러나 결함 극복을 위한 파일시스템의 이중화는 저장장치의 낭비화 복제된 파일시스템의 일치성 유지에 비용이 소요된다. 본 논문에서는 일정 수준의 가용도를 유지하기 위한 중복제거 기법을 제안하고 성능을 평가하였다. 제안하는 고가용도 중복제거 기법에서는 요구되는 가용도를 유지할 수 있는 범위내에서 중복을 제거하며, 필요에 따라 선택적으로 중복을 유지할 수 있도록 한다.

Non Duplicated Extract Method of Heterogeneous Data Sources for Efficient Spatial Data Load in Spatial Data Warehouse (공간 데이터웨어하우스에서 효율적인 공간 데이터 적재를 위한 이기종 데이터 소스의 비중복 추출기법)

  • Lee, Dong-Wook;Baek, Sung-Ha;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.2
    • /
    • pp.143-150
    • /
    • 2009
  • Spatial data warehouses are a system managing manufactured data through ETL step with extracted spatial data from spatial DBMS or various data sources. In load period, duplicated spatial data in the same subject are not useful in extracted spatial data dislike aspatial data and waste the storage space by the feature of spatial data. Also, in case of extracting source data on heterogeneous system, as those have different spatial type and schema, the spatial extract method is required for them. Processing a step matching address about extracted spatial data using a standard Geocoding DB, the exiting methods load formal data set. However, the methods cause the comparison operation of extracted data with Geocoding DB, and according to integrate spatial data by subject it has problems which do not consider duplicated data among heterogeneous spatial DBMS. This paper proposes efficient extracting method to integrate update query extracted from heterogeneous source systems in data warehouse constructer. The method eliminates unnecessary extracting operation cost to choose related update queries like insertion or deletion on queries generated from loading to current point. Also, we eliminate and integrate extracted spatial data using update query in source spatial DBMS. The proposed method can reduce wasting storage space caused by duplicate storage and support rapidly analyzing spatial data by loading integrated data per loading point.

  • PDF

A Study on the Duplicate Records Detection in the Serials Union Catalog (연속간행물 종합목록의 중복레코드 최소화 방안 연구)

  • Lee, Hye-jin;Choi, Ho-nam;Kim, Wan-jong;Kim, Soon-young
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2007.11a
    • /
    • pp.445-448
    • /
    • 2007
  • A Serials Union Catalog is an essential Bibliographic Control tool for integrated and shared the serials information which is scattered to the domestic libraries. It provides reliable informations about serials to user through creating optimized catalogs and holding informations. It is important of the consistency of the bibliographic record and the record's duplication ratio is an important criterion about Database Quality Assessment. This paper checks bibliographic data elements and proposes the duplicate detection process to improve union catalog quality for minimizing duplicate detection.

  • PDF

A Study on the Collection Use and Overlap of Regional Collaborative Library System in Public Libraries (공공도서관의 지역통합시스템 운영이 장서의 이용 및 중복에 미치는 영향에 관한 연구)

  • Park, Hyun-Kyung;Noh, Dong-Jo
    • Journal of the Korean BIBLIA Society for library and Information Science
    • /
    • v.29 no.4
    • /
    • pp.251-267
    • /
    • 2018
  • In this research, a sample was selected from a public library in Paju city, which operates a regional collaborative library system. They collected data on materials, usage, and acquisition. An analysis of book collection data and usage data was also conducted in order to evaluate the correlation between the usage and acquisition by comparing overlap of purchased materials. As a result, circulations and the interlibrary loan (ILL) borrowing requests were differentiated by topics according to targeted materials, and that these characteristics affect the overlap of purchased materials. The study suggested that public libraries in the region collaborative library system need to consider the paradigm of collection and access when purchasing books.

A Study on the MetaData Searching and Transmission Component based on COM/CORBA for OpenGIS (개방형GIS를 위한 COM/CORBA 기반의 메타 데이터 검색 및 전송 컴포넌트에 관한 연구)

  • 차정숙;김명구;이혜선;김성룡;김성규
    • Proceedings of the KSRS Conference
    • /
    • 2001.03a
    • /
    • pp.35-37
    • /
    • 2001
  • 공간데이터의 특성은 양이 방대하고 복잡하여 구축하는데 많은 시간과 비용이 요구되어진다. 이러한 GIS데이터들은 각자의 요구사항을 준수하여 여러 포맷으로 구축되어지기 때문에 현실적으로 동일한 공간 데이터들이 중복해서 구축되는 문제점들이 존재해왔다. 이러한 문제점을 해결하기 위해서 OGC(OpenGIS Consortium)에서는 구축되어 있는 공간 데이터들을 유통할 수 있는 방법에 대해 제안하였고, 이를 정의한 Catalog 명세서가 1999년에 발표되었다. 데이터 유통을 통하여 공간 데이터 중복투자 방지 및 활용을 촉진하기 위해 서비스를 제공하는 카탈로그 서버를 구축하여 사용자들이 원하는 데이터들을 검색, 접근할 수 있도록 하는 것이 본 논문의 목적이다.

  • PDF

Financial Integrated Master Data Management System using Zachman Framework (자크만 프레임워크를 활용한 금융권 통합 마스터 데이터 관리시스템)

  • Kim, Tae-Won;Kim, Hyun-Jun;Choi, Won-Seok;Nah, Yun-Mook
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06c
    • /
    • pp.131-134
    • /
    • 2011
  • 오늘날 국내 금융시장은 정택 및 규제에 대한 변화와 구조조정 및 인수 합병을 통한 금융회사의 대형화와 금융상품간의 복합 및 연계된 종합금융서비스를 제공하는 등의 급격한 환경 변화를 겪고 있다. 이러한 환경변화 속에서 금융 시스템 운영의 주체가 되는 마스터 데이터가 각각의 시스템에 개별적으로 관리되고 있어 이로 인해 금융 데이터의 품질 관리에 어려움이 생기게 되고 데이터의 중복 및 일관성에 문제가 생기게 되었다. 본 논문에서는 자크만 프레임워크를 활용한 통합 마스터 데이터 관리시스템을 제안한다. 이러한 마스터 데이터 관리를 통해 데이터 중복 및 데이터 정합성 보장, 시스템 연계간의 유연성을 확보하는 기대 효과를 예상할 수 있다.