• Title/Summary/Keyword: query processing algorithms

Search Result 112, Processing Time 0.029 seconds

지오센서 네트워크의 다중 공간질의 최적화를 위한 공간질의처리비용 예측 알고리즘 연구 (A Study on Cost Estimation of Spatial Query Processing for Multiple Spatial Query Optimization in GeoSensor Networks)

  • 김민수;장인성;이기준
    • Spatial Information Research
    • /
    • 제21권2호
    • /
    • pp.23-33
    • /
    • 2013
  • 최근 IoT (Internet of Things) 기술의 발전과 더불어 무선 환경에서 특정 영역에 위치하는 센서노드의 위치-센서정보를 에너지 효율적으로 수집하는 센서 네트워크 기반 공간질의처리에 대한 관심이 크게 증가하고 있다. 그리하여 센서노드에서 공간 필터링을 직접 수행하여 센서노드들 간의 통신 횟수를 감소시켜 에너지 소모를 최소화하는 다양한 공간질의처리 알고리즘 및 분산 공간색인방법들이 제안되어 왔다. 그러나 단일 공간질의처리 최적화에 중점을 두었던 기존 공간색인방법 및 알고리즘들은 IoT 환경에서 다수 사용자에 의하여 요청되는 다중 공간질의를 최적화하여 수행하기에는 한계가 있었다. 이에 본 논문에서는 센서 네트워크에서 다중 공간질의를 에너지 효율적으로 처리할 수 있는 최적화 알고리즘을 제안하고 있다. 제안된 다중 공간질의 최적화 알고리즘은 인접 영역에 주어지는 공간질의들을 통합하여 수행하는 '질의통합' 개념을 기본으로 하고 있다. 최적화 과정에서 질의들의 통합 또는 개별 수행에 대한 판단은 각 수행비용을 예측하여 결정하며, 본 논문에서는 질의처리 비용 예측 방법을 추가적으로 제안하고 있다. 끝으로, 성능평가에서는 GR-tree, SPIX, CPS의 공간색인방법에 대한 비교 실험을 통하여 제안된 알고리즘의 성능 분석결과를 제시하고 있다.

이동객체궤적에 대한 효율적인 최근접이웃검색 (Efficient Nearest Neighbor Search on Moving Object Trajectories)

  • 김규재;박영희;조우현
    • 한국정보통신학회논문지
    • /
    • 제18권12호
    • /
    • pp.2919-2925
    • /
    • 2014
  • 스마트폰과 같은 이동 통신 매체의 발달과 LTE, NFC, RFID 등 무선통신의 발달로 실시간으로 이동 객체의 위치데이터를 수집하여 활용하는 위치 기반의 서비스들이 다방면의 개발에 이용되고 있다. 이에 따라 대용량의 이동객체 위치 데이터들을 효율적으로 저장하는 방법과 여러 질의를 좀 더 빠르게 처리할 수 있는 방법들에 대한 연구들이 진행 중이다. 본 논문에서는 Douglas-Peucker 알고리즘을 응용하여 대용량의 이동객체궤적 데이터를 단순화하여 색인구조를 생성하고 이 색인 구조를 이용하여 최근접이웃검색 질의를 효율적으로 처리할 수 있는 알고리즘을 제안한다. 제안된 방법으로 대용량의 데이터가 더 적은 양의 데이터로 단순화 되고 얼마나 더 효율적으로 질의를 처리하는지 실험을 통하여 확인하였다.

택시 데이터에 대한 효율적인 Top-K 빈도 검색 (Finding Frequent Route of Taxi Trip Events Based on MapReduce and MongoDB)

  • ;안성아;;정한유;권준호
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권9호
    • /
    • pp.347-356
    • /
    • 2015
  • IoT(사물인터넷) 기술의 빠른 개발로 인하여 기존의 택시들은 디스패처와 위치 시스템을 통해 서로 연결되고 있다. 일반적으로 현대의 택시들은 경로 정보를 획득하기 위한 목적으로 GPS(Global Positioning System)를 탑재하고 있다. 택시 운행 데이터들의 경로 빈도를 분석하여, 주어진 질의 시간에 해당하는 빈번한 경로를 찾을 수 있다. 그러나 위치 데이터의 용량이 매우 크고 복잡하기 때문에 택시의 운행 이벤트의 위치 데이터를 분석된 빈도 정보로 변환할 때에 확장성 문제가 발생한다. 이 문제를 해결하기 위하여, NoSQL 데이터베이스에 기반한 택시 운행 데이터에 대한 Top-K 질의 시스템을 제안한다. 첫째, 원시 택시 운행 이벤트를 분석하고 모든 경로들의 빈도 정보를 추출한다. 추출한 경로 정보는 NoSQL 문서-지향 데이터베이스인 MongoDB에 해시 기반의 인덱스 구조로 저장한다. 주로 발생하는 경로에 대한 효율적인 Top-K 질의 처리는 몽고DB의 상에서 이루어진다. 미국 뉴욕시의 실제 택시 운행 데이터를 이용한 실험을 통하여 알고리즘의 효율성을 검증하였다.

범주형 데이터에 대한 스카이라인 질의 알고리즘 (Skyline Query Algorithm in the Categoric Data)

  • 이우기;최중호;송종수
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제16권7호
    • /
    • pp.819-823
    • /
    • 2010
  • 스카이라인 질의는 다차원, 대량의 데이터 검색에서 효율적인 방법이다. '지배한다'의 개념을 활용하여 약 95%이상으로 알려진 불필요한 데이터 집합을 검색 대상에서 제외하고 필요한 데이터에 집중하게 만들기 때문이다. 지금까지의 스카이라인 질의 알고리즘들은 데이터 집합이 모두 수치형 데이터일 경우에만 한정하여 개발되었다. 따라서 데이터베이스 등에 저장된 대부분의 텍스트 데이터들은 기존 스카이라인 질의 알고리즘을 사용하여 결과를 얻을 수 없었다. 본 연구는 스카이라인 질의의 대상을 범주형 데이터라는 전혀 새로운 영역을 개척한 점에서 의미가 있다. 우선 범주형 데이터 거리를 2종류를 개발하고 이를 스카이라인 질의에 적용하였고, 실험에서는 ACM의 실제 논문데이터를 사용하여 처리시간 및 정확도 비율 등에서 그 효과성을 입증하였다.

TAKES: Two-step Approach for Knowledge Extraction in Biomedical Digital Libraries

  • Song, Min
    • Journal of Information Science Theory and Practice
    • /
    • 제2권1호
    • /
    • pp.6-21
    • /
    • 2014
  • This paper proposes a novel knowledge extraction system, TAKES (Two-step Approach for Knowledge Extraction System), which integrates advanced techniques from Information Retrieval (IR), Information Extraction (IE), and Natural Language Processing (NLP). In particular, TAKES adopts a novel keyphrase extraction-based query expansion technique to collect promising documents. It also uses a Conditional Random Field-based machine learning technique to extract important biological entities and relations. TAKES is applied to biological knowledge extraction, particularly retrieving promising documents that contain Protein-Protein Interaction (PPI) and extracting PPI pairs. TAKES consists of two major components: DocSpotter, which is used to query and retrieve promising documents for extraction, and a Conditional Random Field (CRF)-based entity extraction component known as FCRF. The present paper investigated research problems addressing the issues with a knowledge extraction system and conducted a series of experiments to test our hypotheses. The findings from the experiments are as follows: First, the author verified, using three different test collections to measure the performance of our query expansion technique, that DocSpotter is robust and highly accurate when compared to Okapi BM25 and SLIPPER. Second, the author verified that our relation extraction algorithm, FCRF, is highly accurate in terms of F-Measure compared to four other competitive extraction algorithms: Support Vector Machine, Maximum Entropy, Single POS HMM, and Rapier.

커쉬함수를 이용한 효율적인 비디오 클립 정합 알고리즘 (An Efficient Video Clip Matching Algorithm Using the Cauchy Function)

  • 김상현
    • 융합신호처리학회논문지
    • /
    • 제5권4호
    • /
    • pp.294-300
    • /
    • 2004
  • 디지털 미디어의 증가로 비디오 클립을 효율적으로 정합하기 위한 다양한 알고리즘이 제안되었다. 기존의 비디오 검색 알고리즘에서는 주로 프레임 단위의 질의에 관한 검색 알고리즘이 연구되었으나 비디오 클립 단위의 질의에 관한 정합 알고리즘 연구는 미진하였다. 본 논문에서는 비디오 클립 질의에 관한 효율적인 비디오 색인과 검색 알고리즘을 제안한다. 시퀀스 정합의 정확도와 성능 향상을 위하여 연속되는 프레임의 히스토그램간의 유사도 함수로 커쉬함수를 사용하였으며 기존의 방법에 비해 높은 성능을 나타내었다. 비디오 샷들로부터 추출된 키프레임들은 샷묶음 뿐만 아니라 비디오 시퀀스 정합이나 브라우징에도 사용되며 여기서 키프레임은 이전 프레임들과 중요한 차이를 보이는 프레임을 나타낸다. 실험 영상을 이용한 실험결과 제안한 방법은 기존의 방법에 비해 적은 계산량으로 높은 정합 성능을 보였다.

  • PDF

실체뷰 캐쉬 기법을 이용한 XML 질의 처리 시스템의 구현 (Implementation of XML Query Processing System Using the Materialized View Cache-Answerability)

  • 문찬호;박정기;강현철
    • 정보처리학회논문지D
    • /
    • 제11D권2호
    • /
    • pp.293-304
    • /
    • 2004
  • 데이터베이스 기반의 웹 응용을 위한 캐슁 기법이 최근 많이 연구되고 있다. 자주 제기되는 질의의 결과를 캐쉬 해두면 반복 질의를 위한 재사용은 물론 관련 질의의 처리에 이용될 수 있다. 웹 상에서 데이터 교환의 표준으로 XML이 등장한 이래 현재 웹 응용들은 네트워크 상의 원격 XML소스로부터 데이터 검색을 수행하는 경우가 많아졌는데 이의 효율적인 지원을 위해 검색 결과를 캐쉬 하는 것은 유용하다. 본 논문은 XML 질의를 관련 XML 캐쉬를 이용하여 처리하는 시스템의 구현 및 성능 평가에 관한 것이다. XML 질의로 XQuery, XPath, XQL 등과 같은 모든 XML 질의어의 핵심 요소인 경로 표현식을 대상으로 하였고, XML 캐쉬는 XML 실체뷰를 고려하였고, 캐쉬를 이용한 XML 질의 변환 알고리즘은 [13]에 제시된 것을 대상으로 하였다. [13]의 질의 변환 알고리즘을 지원하는 프로토타입 XML저장 시스템이 관계 DBMS를 이용하여 구현되어 다양한 성능 실험에 이용되었다. 구현의 주요 이슈에 대하여 자세히 기술한다. 성능 실험 결과를 통해 캐쉬를 이용한 XML질의 처리의 효율성을 확인하였고, 기존 연구와의 성능 비교도 기술하였다.

거대언어모델과 문서검색 알고리즘을 활용한 한국원자력연구원 규정 질의응답 시스템 개발 (Development of a Regulatory Q&A System for KAERI Utilizing Document Search Algorithms and Large Language Model)

  • 김홍비;유용균
    • 한국산업정보학회논문지
    • /
    • 제28권5호
    • /
    • pp.31-39
    • /
    • 2023
  • 최근 자연어 처리(NLP) 기술, 특히 ChatGPT를 비롯한 거대 언어 모델(LLM)의 발전으로 특정 전문지식에 대한 질의응답(QA) 시스템의 연구개발이 활발하다. 본 논문에서는 거대언어모델과 문서검색 알고리즘을 활용하여 한국원자력연구원(KAERI)의 규정 등 다양한 문서를 이해하고 사용자의 질문에 답변하는 시스템의 동작 원리에 대해서 설명한다. 먼저, 다수의 문서를 검색과 분석이 용이하도록 전처리하고, 문서의 내용을 언어모델에서 처리할 수 있는 길이의 단락으로 나눈다. 각 단락의 내용을 임베딩 모델을 활용하여 벡터로 변환하여 데이터베이스에 저장하고, 사용자의 질문에서 추출한 벡터와 비교하여 질문의 내용과 가장 관련이 있는 내용들을 추출한다. 추출된 단락과 질문을 언어 생성 모델의 입력으로 사용하여 답변을 생성한다. 본 시스템을 내부 규정과 관련된 다양한 질문으로 테스트해본 결과 복잡한 규정에 대하여 질문의 의도를 이해하고, 사용자에게 빠르고 정확하게 답변을 제공할 수 있음을 확인하였다.

효율적인 XML질의 처리를 위한 XQuery 질의의 정규화 (Normalization of XQuery Queries for Efficient XML Query Processing)

  • 김서영;이기훈;황규영
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권5호
    • /
    • pp.419-433
    • /
    • 2004
  • XML이 웹 상에서의 정보 표현, 통합, 교환을 위한 표준이 됨에 따라 다양한 XML 질의 언어들이 제안되었으며, World Wide Web Consortium(W3C)은 XQuery를 XML 질의 언어의 표준으로 권고하였다. XQuery는 SQL과 유사하게 중첩 질의를 허용하므로, 중첩된 XQuery 질의를 동일한 의미를 가지면서 보다 효율적으로 실행될 수 있는 질의로 변환하는 정규화 규칙들이 제안되었다. 하지만 제안된 정규화 규칙들은 제한적인 형태의 중첩 질의에만 적용되는 문제점을 가지고 있다. 특히, FLWR 표현식의 where 절에 있는 중첩을 처리할 수 없다. 본 논문에서는 SQL 질의의 정규화 규칙들을 확장하여 XQuery 질의의 정규화 규칙들을 제안한다. 제안한 정규화 규칙들은 FLWR 표현식의 모든 절에 나타나는 중첩을 처리할 수 있다. 본 논문의 주요 공헌은 다음과 같다. 첫째, 상관과 집계의 유무에 따라 XQuery 질의의 중첩 유형을 분류하고, 각 유형 별로 정규화 규칙들을 제안한다. 둘째, 중첩된 XQuery 질의에 정규화 규칙들을 적용하는 세부 알고리즘들을 제안한다.

XSTAR: XML 질의의 SQL 변환 알고리즘 (XSTAR: XQuery to SQL Translation Algorithms on RDBMS)

  • 홍동권;정민경
    • 한국지능시스템학회논문지
    • /
    • 제17권3호
    • /
    • pp.430-433
    • /
    • 2007
  • XML이 다양한 분야에 널지 이용되면서 대용량의 XML을 효과적으로 관리하는 여러 가지 방법들이 연구되고 있다. 특히 지금가지 상업적, 기술적으로 성공적인 데이터 모델인 관계형 데이터베이스를 기반으로 한 여러 가지 방법들이 연구되고 있다. 본 논문은 관계형 DBMS를 사용하여 XML 질의어인 XQuery를 SQL로 변환하는 알고리즘인 XSTAR(XQuery to SQL Translation Algorithms on RDBMS)를 설계 및 구현한다. 본 연구의 XSTAR 알고리즘은 기본적인 XPath 뿐만 아니라 XQuery FLWOR 표현식, XQuery함수, 그리고 전문 검색(Fulltext 검색[8])과 관련된 몇몇 특수한 기능을 효율적으로 지원할 수 있으며, 질의의 결과 값을 XML 형태로 재생성하여 사용자에게 반환한다. 본 논문에서 제안하는 XSTAR 알고리즘은 현재 웹 상에서 공개적으로 시범 운용되고 있는 XML 문서의 관리 및 질의 처리 시스템인 XPERT(XML Query Processing Engine using Relational Technologies, http://dblab.kmu.ac.kr/project.jsp")의 질의 처리 엔진으로 사용되고 있다.