• 제목/요약/키워드: top-k query processing

검색결과 38건 처리시간 0.04초

그리드 인덱스 기반 뷰 선택 기법을 이용한 효율적인 Top-k 질의처리 알고리즘 (Efficient Top-k Query Processing Algorithm Using Grid Index-based View Selection Method)

  • 홍승태;윤들녁;장재우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권1호
    • /
    • pp.76-81
    • /
    • 2015
  • 최근 대용량 데이터의 분석을 위한 top-k 질의처리 알고리즘에 대한 관심이 고조되고 있다. 그러나 기존 top-k 질의처리 알고리즘은 효율적인 인덱스 구조를 제공하지 않기 때문에, 높은 탐색 비용을 야기하며, 아울러 다양한 질의 유형을 지원하지 못하는 문제점이 존재한다. 이러한 문제점을 해결하기 위해, 본 논문에서는 그리드 인덱스 기반 뷰 선택 기법을 이용한 top-k 질의처리 알고리즘을 제안한다. 제안하는 기법은 그리드 인덱스 기반의 뷰 선택 기법을 통해 주어진 질의 영역에 대하여 최소한의 그리드 셀만을 탐색함으로써 질의처리 시간을 감소시킨다. 마지막으로, 성능 평가를 통해 제안하는 top-k 질의처리 알고리즘이 기존 알고리즘에 비해 질의처리 시간 및 질의 결과 정확도 측면에서 우수함을 나타낸다.

센서 네트워크를 위한 데이터 인지 우선순위 기반의 에너지 효율적인 Top-k 질의 처리 (Data-Aware Priority-Based Energy Efficient Top-k Query Processing in Sensor Networks)

  • 여명호;성동욱;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권3호
    • /
    • pp.189-197
    • /
    • 2009
  • Top-k 질의는 많은 센서 네트워크 응용 분야에서 중요하게 사용된다. 기존에 제안된 필터 기반의 Top-k 질의 처리 기법은 질의 결과에 영향을 미치는 값만을 수신하기 위해 각 센서 노드의 측정 허용 범위를 필터로 설정함으로써 센서 데이타의 전송 횟수를 줄인다. 하지만, 센서 데이타의 재검증과 필터의 재배포 과정에서 추가적인 에너지를 소모한다. 또한, 질의 결과값이 빈번히 변경될수록 필터의 재배포 횟수가 증가하여 에너지의 소모가 더욱 증가한다. 본 논문에서는 Top-k 질의를 처리하기 위해서 측정한 데이타를 기반으로 우선 순위를 결정하고, 우선 순위에 따라 최소한의 센서 데이타를 수집하는 새로운 Top-k 질의 처리 기법을 제안한다. 제안하는 기법의 우수성을 보이기 위해서 시뮬레이션을 통한 성능 평가를 수행하였으며, 그 결과 기존 필터 기반의 기법에 비해 네트워크의 수명이 크게 향상되었다.

무선 센서 네트워크에서 클러스터 기반의 Top-k 질의 처리 (A Cluster-Based Top-k Query Processing Algorithm in Wireless Sensor Networks)

  • 여명호;성동욱;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제36권4호
    • /
    • pp.306-313
    • /
    • 2009
  • 센서 네트워크 응용 분야에서 Top-k 질의는 가장 높은 혹은 가장 낮은 k개의 센서에 대한 유용한 정보를 제공한다. Top-k 질의 처리 시 에너지 소모를 줄이기 위한 많은 연구들이 진행되었다. FILA의 경우, 필터를 이용하여 불필요한 결과의 갱신을 제거하였으며, PRIM의 경우, 센싱된 데이타의 우선 순위를 부여하여 센서 데이타의 전송을 최소화하는 방법을 제안한다. 하지만, 같은 데이타 범위(프레임)에 속한 모든 데이타를 수집하기 때문에 데이타의 집중이 발생하면 많은 False Positive 데이타를 전송하는 문제가 발생한다. 본 논문에서는 Top-k 결과의 False Positive 데이타를 효과적으로 제거하기 위한 클러스터 기반의 새로운 Top-k 질의 처리 기법을 제안한다. 질의 처리 과정은 클러스터 레벨과 트리 레벨로 나누어지며, 각 레벨의 네트워크 토폴로지의 특성을 활용하여 False Positive 데이타를 효과적으로 필터링 한다. 성능 평가 결과, 기존 Top-k 질의 처리 기법에 비해 False Positive 데이타의 수가 70% 감소하고, 네트워크 수명이 약 105% 연장된다.

Efficient Top-k Join Processing over Encrypted Data in a Cloud Environment

  • Kim, Jong Wook
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제10권10호
    • /
    • pp.5153-5170
    • /
    • 2016
  • The benefit of the scalability and flexibility inherent in cloud computing motivates clients to upload data and computation to public cloud servers. Because data is placed on public clouds, which are very likely to reside outside of the trusted domain of clients, this strategy introduces concerns regarding the security of sensitive client data. Thus, to provide sufficient security for the data stored in the cloud, it is essential to encrypt sensitive data before the data are uploaded onto cloud servers. Although data encryption is considered the most effective solution for protecting sensitive data from unauthorized users, it imposes a significant amount of overhead during the query processing phase, due to the limitations of directly executing operations against encrypted data. Recently, substantial research work that addresses the execution of SQL queries against encrypted data has been conducted. However, there has been little research on top-k join query processing over encrypted data within the cloud computing environments. In this paper, we develop an efficient algorithm that processes a top-k join query against encrypted cloud data. The proposed top-k join processing algorithm is, at an early phase, able to prune unpromising data sets which are guaranteed not to produce top-k highest scores. The experiment results show that the proposed approach provides significant performance gains over the naive solution.

요약된 Partitioned-Layer Index: Partitioned-Layer Index의 임의 접근 횟수를 줄이는 Top-k 질의 처리 방법 (Abstracted Partitioned-Layer Index: A Top-k Query Processing Method Reducing the Number of Random Accesses of the Partitioned-Layer Index)

  • 허준석
    • 한국멀티미디어학회논문지
    • /
    • 제13권9호
    • /
    • pp.1299-1313
    • /
    • 2010
  • Top-k 질의는 데이터베이스에서 사용자가 가장 원하는 k개의 객체를 구하는 질의이다. Top-k 질의를 효율적으로 처리하는 대표적인 연구로 Partitioned-Layer Index (간단히, PL-index) 방법이 있다. PL-index는 데이터베이스를 여러 개의 더 작은 데이터베이스로 분할하고 각 분할된 데이터베이스에 대해 sublayer들의 list (간단히, sublayer list)를 구성한다. 이때, 분할된 데이터베이스에 대해서 top-i 결과가 될 수 있는 객체들을 그 분할된 데이터베이스에 대한 i번째 sublayer로 구성한다. 그리고 주어진 질의에 맞춰 그 sublayer list들을 병합함으로써 질의 결과를 구한다. PL-index는 질의 처리 시 데이터베이스로부터 읽어 들이는 객체의 개수가 매우 작다는 장점을 가지지만, sublayer list들을 병합할 때에 임의 접근(random access)이 많이 발생하기 때문에 디스크 기반의 데이터베이스 환경에서 질의 처리 성능이 저하된다. 이에 본 논문에서는 임의 접근 횟수를 줄임으로써 디스크 기반의 데이터베이스 환경에서 PL-index의 질의 처리 성능을 크게 향상시키는 요약된(Abstracted) Partitioned-Layer Index (간단히, APL一index)를 제안한다. 먼저, PL-index의 각 sublayer를 가상의 (점) 객체로 요약함으로써 sublayer list들을 이러한 점 객체들의 list들(즉, APL-index)로 변형한다. 그리고 APL-index에 대해 질의 처리를 가상으로 수행하여 실제 질의 처리 시 접근할 sublayer를 예측한다, 그리고 예측된 sublayer들을 sublayer list별로 한꺼번에 읽어 들임으로 PL-index에서 발생하는 임의 접근 횟수를 줄인다. 합성 데이터와 실제 데이터에 대한 실험을 통하여 제안한 APL-index가 PL-index의 임의 접근 횟수를 크게 줄일 수 있음을 보인다.

택시 데이터에 대한 효율적인 Top-K 빈도 검색 (Finding Frequent Route of Taxi Trip Events Based on MapReduce and MongoDB)

  • ;안성아;;정한유;권준호
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권9호
    • /
    • pp.347-356
    • /
    • 2015
  • IoT(사물인터넷) 기술의 빠른 개발로 인하여 기존의 택시들은 디스패처와 위치 시스템을 통해 서로 연결되고 있다. 일반적으로 현대의 택시들은 경로 정보를 획득하기 위한 목적으로 GPS(Global Positioning System)를 탑재하고 있다. 택시 운행 데이터들의 경로 빈도를 분석하여, 주어진 질의 시간에 해당하는 빈번한 경로를 찾을 수 있다. 그러나 위치 데이터의 용량이 매우 크고 복잡하기 때문에 택시의 운행 이벤트의 위치 데이터를 분석된 빈도 정보로 변환할 때에 확장성 문제가 발생한다. 이 문제를 해결하기 위하여, NoSQL 데이터베이스에 기반한 택시 운행 데이터에 대한 Top-K 질의 시스템을 제안한다. 첫째, 원시 택시 운행 이벤트를 분석하고 모든 경로들의 빈도 정보를 추출한다. 추출한 경로 정보는 NoSQL 문서-지향 데이터베이스인 MongoDB에 해시 기반의 인덱스 구조로 저장한다. 주로 발생하는 경로에 대한 효율적인 Top-K 질의 처리는 몽고DB의 상에서 이루어진다. 미국 뉴욕시의 실제 택시 운행 데이터를 이용한 실험을 통하여 알고리즘의 효율성을 검증하였다.

S-XML 데이터의 효율적인 X-Path 처리를 위한 색인 구조 (An Index Structure for Efficient X-Path Processing on S-XML Data)

  • 장기;장용일;박순영;오영환;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.51-54
    • /
    • 2005
  • This paper proposes an index structure which is used to process X-Path on S-XML data. There are many previous index structures based on tree structure for X-Path processing. Because of general tree index's top-down query fashion, the unnecessary node traversal makes heavy access and decreases the query processing performance. And both of the two query types for X-Path called single-path query and branching query need to be supported in proposed index structure. This method uses a combination of path summary and the node indexing. First, it manages hashing on hierarchy elements which are presented in tag in S-XML. Second, array blocks named path summary array is created in each node of hashing to store the path information. The X-Path processing finds the tag element using hashing and checks array blocks in each node to determine the path of query's result. Based on this structure, it supports both single-path query and branching path query and improves the X-Path processing performance.

  • PDF

아웃소싱 암호화 데이터에 대한 효율적인 Top-k 질의 처리 알고리즘 (An Efficient Top-k Query Processing Algorithm over Encrypted Outsourced-Data in the Cloud)

  • 김종욱;서영균
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권12호
    • /
    • pp.543-548
    • /
    • 2015
  • 최근 다양한 분야에서 생산되는 데이터의 양이 폭발적으로 증가함에 따라 사용자가 가장 관심 있어 하는 몇 개의 데이터를 검색하는 top-k 질의에 대한 관심이 고조되고 있다. Top-k 질의는 사용자의 점수 함수를 이용하여, 사용자가 원하는 모든 조건을 만족시키는 데이터들 중에서 최상위 (또는 최하위) 점수를 가지는 k개의 데이터를 사용자에게 반환한다. 최근 들어 클라우드 컴퓨팅 서비스의 대중화로 인하여 사용자의 대용량 데이터를 클라우드에 아웃소싱하여 경제적으로 저장 및 관리하는 데이터 아웃소싱이 크게 주목받고 있다. 그러나 데이터 아웃소싱으로 인하여 사용자의 민감한 데이터가 클라우드 서비스 제공자에게 노출될 수 있다는 위험이 존재하며, 이러한 문제를 방지하기 위해서는 사용자의 민감한 데이터를 암호화하여 클라우드에 저장하는 것이 필수적으로 요구된다. 본 논문은 클라우드 컴퓨팅 환경에서 암호화된 데이터에 대한 top-k 질의를 효율적으로 처리하는 알고리즘을 제안한다. 제안되는 알고리즘은 순서보존 암호화 기법을 이용하여, 암호화된 데이터만을 대상으로 top-k 질의 결과에 포함되지 않을 것으로 예상되는 중간 결과들을 클라우드 내에서 미리 제거함으로써 효율적인 top-k 질의 처리가 가능하게 한다. 논문의 실험 결과는 제안된 top-k 질의 처리 알고리즘이 단순 방법과 비교하여 사용자 시스템의 부하를 10배~10000배 줄일 수 있음을 증명한다.

대용량 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법 (Approximate Top-k Subgraph Matching Scheme Considering Data Reuse in Large Graph Stream Environments)

  • 최도진;복경수;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제20권8호
    • /
    • pp.42-53
    • /
    • 2020
  • 소셜 네트워크 서비스의 발전과 함께 다양한 응용에서 객체 간의 관계를 표현하기 위한 그래프 자료구조가 자주 활용되고 있다. 최근에는 실시간 그래프 스트림에서 서브 그래프 매칭의 요구가 늘어나고 있다. 따라서 실시간 그래프 스트림에서 높은 응답성을 위한 효율적인 근사 Top-k 매칭 기술이 필요하다. 본 논문에서는 그래프 스트림 환경에서 데이터 재사용을 고려한 근사 Top-k 서브 그래프 매칭 기법을 제안한다. 제안하는 기법은 대용량 스트림을 효율적으로 처리하기 위해서 기존 분산 스트림 처리 플랫폼인 스톰을 활용하고 스트림 처리 비용을 감소시키기 위한 기존 데이터 재사용 방법을 활용한다. Top-k 결과 생성을 위해서 거리 기반의 요약 색인 기법을 제안한다. 제안하는 요약 색인은 사전에 선택된 정점 간의 거리 값만을 저장하기 때문에 색인의 부하가 적다. 제안하는 요약 색인에서의 근사 Top-k를 수행하여 사용자에게 근사한 k개의 결과를 제공한다. 제안하는 기법의 우수성을 입증하기 위해 다양한 실세계 그래프 데이터 집합에서의 성능 평가를 수행한다.

Convex hull을 사용하는 Top-k 질의처리 방법에 관한 분석 (An Survey on Top-k Query Processing using Convex Hulls)

  • 이지현;박영호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1073-1074
    • /
    • 2012
  • 최근 인터넷의 발달과 사용량의 증가로 데이터의 양이 급증함에 따라 대용량 데이터를 효율적으로 검색하는 top k 질의 처리가 중요시 되고 있다. Layer 기반 방법은 가장 잘 알려진 top k 질의처리 방법이며, 객체의 모든 속성의 값들을 이용하여 객체들을 layer들의 리스트로 구성하는 방법이다. 본 논문에서는 그 중에서 convex hull을 사용하여 layer list를 생성하는 기존 연구를 조사하고 문제점을 파악한다.