• Journal of Information Processing Systems
• /
• 제17권1호
• /
• pp.37-50
• /
• 2021

Query applications based on nested data, the most commonly used form of data representation on the web, especially precise query, is becoming more extensively used. MapReduce, a distributed architecture with parallel computing power, provides a good solution for big data processing. However, in practical application, query requests are usually concurrent, which causes bottlenecks in server processing. To solve this problem, this paper first combines a column storage structure and an inverted index to build index for nested data on MapReduce. On this basis, this paper puts forward an optimization strategy which combines query execution service tree and frequent sub-query trajectory to reduce the response time of frequent queries and further improve the efficiency of multi-user concurrent queries on large scale nested data. Experiments show that this method greatly improves the efficiency of nested data query.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
• /
• pp.3-5
• /
• 2007

Many continuous queries are important to be process efficiently in a data stream environment. It is applied a query index technique that takes linear performance irrespective of the number and width of intervals for processing many continuous queries. Previous researches are not able to support the dynamic insertion and deletion to arrange intervals for constructing an index previously. It shows that the insertion and search performance is slowed by the number and width of interval inserted. Many intervals have to be inserted and searched linearly in a data stream environment. Therefore, we propose Hashed Multiple Lists in order to process continuous queries linearly. Proposed technique shows fast linear search performance. It can be utilized the systems applying a sensor network, and preprocessing technique of spatiotemporal data mining.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제3권2호
• /
• pp.73-80
• /
• 2014

맵리듀스는 빅데이터 분석 및 처리에 널리 사용되는 프로그래밍 모델이다. 빅데이터 분석을 위해 흔히 사용되는 질의 중 하나는 집계 질의(aggregate query)이다. 본 논문에서는 여러 사용자가 동시에 여러 집계 질의를 계속해서 요청하는 경우, 맵리듀스를 사용하여 이들 질의를 효율적으로 처리하는 방법을 제안한다. 제안 방법은 각 집계 질의를 개별적으로 처리하지 않고, 여러 집계 질의를 묶어 하나의 최적화된 맵리듀스 잡(job)으로 만들어 일괄 처리한다. 그 결과로 제안 방법은 단순 방법에 비해 시간당 처리하는 질의 수를 크게 증가시킨다. 성능 평가를 통해, 제안 방법은 단순 방법에 비해 질의 처리 속도를 크게 향상시킴을 보인다.

• ETRI Journal
• /
• 제38권6호
• /
• pp.1197-1206
• /
• 2016

Performing continuous skyline queries of dynamic data sets is now more challenging as the sizes of data sets increase and as they become more volatile due to the increase in dynamic updates. Although previous work proposed support for such queries, their efficiency was restricted to small data sets or uniformly distributed data sets. In a production database with many concurrent queries, the execution of continuous skyline queries impacts query performance due to update requirements to acquire exclusive locks, possibly blocking other query threads. Thus, the computational costs increase. In order to minimize computational requirements, we propose a method based on a multi-layer grid structure. First, relational data object, elements of an initial data set, are processed to obtain the corresponding multi-layer grid structure and the skyline influence regions over the data. Then, the dynamic data are processed only when they are identified within the skyline influence regions. Therefore, a large amount of computation can be pruned by adopting the proposed multi-layer grid structure. Using a variety of datasets, the performance evaluation confirms the efficiency of the proposed method.

• 한국전자통신학회논문지
• /
• 제18권1호
• /
• pp.157-164
• /
• 2023

현대 사회에서 스마트홈은 사람들의 일상생활의 한 부분이 되고 있다. 전통적인 스마트홈 시스템은 보안, 데이터 집중화, 위변조 같은 문제들을 내포하고 있으며, 이러한 문제들을 해결하는 기술로서 블록체인이 각광 받고 있다. 본 논문은 홈과 블록체인 네트워크 부분으로 구성된 블록체인 기반 스마트홈 시스템을 제안한다. 8개의 노드로 구성된 블록체인 네트워크는 도커 환경에서 하이퍼레저 패브릭 플랫폼에서 구현된다. 데이터 전송 보안을 위하여 ECC 암호화 기술이 사용되고, RBAC가 네트워크 회원의 인증을 관리한다. Raft 의사 결정 알고리즘은 분산처리 시스템의 모든 노드에서 데이터 일관성을 유지하고, 블록 발생 시간을 줄인다. 노드들이 스마트홈 데이터를 안전하고 효율적으로 접근하도록 스마트 컨트랙트가 쿼리와 데이터 전송을 제어한다. 실험 결과는 많은 동시 접근 하에서 안전한 평균 쿼리와 서브밋 시간이 84.5 [ms]와 93.67 [ms]로 유지되고, 모의 패킷캡쳐 공격에서 전송 데이터가 안전하다는 것을 보여준다.

• 한국문헌정보학회지
• /
• 제52권3호
• /
• pp.289-334
• /
• 2018

웹상에서 영어 이외의 언어들로 이루어진 정보가 빠르게 증가하고 있지만, 여전히 영어 정보가 가장 큰 비중을 차지함에 따라 공통어(lingua franca)로서의 지배적인 영향을 미치고 있다. 따라서 영어가 비모어인 이용자들이 보다 다양하고 풍부한 정보를 획득할 수 있도록 하기 위해서는 비영어권 화자의 모어 정보검색행위와 영어 정보검색행위에 대한 조사를 통해 주요 특징 및 차이점을 살펴볼 필요가 있다. 본 연구에서는 국내 한 사립대학의 대학생 24명을 대상으로 동시적 사고구술 기법을 적용한 정보검색 실험을 실시해 한글 정보검색행위 및 영어 정보검색행위와 인지과정을 조사하였다. 관찰데이터 및 사고구술데이터의 정성적 데이터를 기반으로, 검색 언어에 따른 웹 정보검색행위의 양상 차이에 대한 빈도분석을 실시하였다. 연구 결과, 한글 검색에서 능동적이고 적극적이며 독립적인 특성의 양상이, 영어 검색에서 수동적이고 소극적이며 의존적인 특성의 양상이 나타났다. 한글 검색에서는 이용자, 태스크, 시스템 등 다양한 출처에서 용어를 추출 조합한 검색어 구성, 여러 수준에서의 검색범위 조정, 검색엔진 검색결과페이지 내 탐색대상 아이템의 선택과 관련한 원활한 필터링, 다수 아이템의 탐색 및 비교, 웹 페이지의 전체 내용 브라우징 등이 주요 특징으로 확인되었다. 반면, 영어 검색에서는 주로 태스크 추출 용어 중심 검색어 구성, 제한된 검색범위 선호, 카테고리나 링크 등 아이템과 아이템 간 관련성에 의존한 탐색 대상 아이템 선택, 동일 아이템의 반복적 탐색, 웹 페이지의 일부 내용 브라우징, 그리고 사전 및 번역기와 같은 언어지원도구의 빈번한 사용 등이 두드러진 특징으로 파악되었다.

• 한국정보처리학회논문지
• /
• 제7권11호
• /
• pp.3534-3543
• /
• 2000

정보서비스 관점에서 대규모 정보 서비스 시스템을 개발하기 가장 좋은 방법중의 하나가 웹의 서비스 능력과 데이터베이스 관리시스템의 유용한 기능을 상호 보완적 측면에서 통합하는 것이다. 웹과 데이터베이스 관리시스템 통합의 핵심 요소가 웹-DBMS 통로이다. 웹-DBMS 통로는 데이터베이스 관리시스템에 대한 요청을 웹의 기술을 이용하여 데이터베이스 관리시스템에 접근하고, 데이터베이스 관리시스템의 처리 결과를 웹서버에게 전한다. 바다/웹은 웹의 서비스 능력과 객체지향 데이터베이스 관리시스템인 바다-III를 서로 보완적 측면에서 통합한 웹-DBMS 통로이다. 이 논문에서는 웹과 바다-III를 통합하기 위한 설계와 구현상의 경험을 설명하고, 데이터베이스에 대한 질의들을 통해 바다/웹의 효과를 분석했다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제1권3호
• /
• pp.159-168
• /
• 2012

SNS, 클라우드, Web3.0과 같은 새로운 IT환경은 '관계(relation)'가 중요한 요소가 되고 있다. 그리고 이들 관계(relation)는 거래, 즉, 트랜잭션을 발생시킨다. 그러나 우리가 사용하고 있는 관계형 데이터베이스(RDBMS)나 그래프 데이터베이스는 관계(relation)를 나타내는 그래프 구조와 트랜잭션을 동시에 처리하지 못한다. 본 논문은 확장 가능한 복잡 네트워크 시스템에서 활용할 수 있는 그래프 구조와 트랜잭션을 동시에 처리할 수 있는 방법을 제안한다. 제안 기법은 토픽맵의 데이터 모델을 응용하여 그래프 구조와 트랜잭션을 동시에 저장하고 탐색한다. 토픽맵은 시멘틱 웹(Web3.0)을 구현하는 온톨로지 언어 중 하나로써, 정보자원들 사이의 연관 '관계(relation)'를 통해 정보의 네비게이터로써 활용되고 있다. 또한 본 논문에서는 컬럼형 데이터베이스인 카산드라를 이용하여 제안 기법의 아키텍처를 설계, 구현하였다. 이는 분산처리를 이용하여 빅데이터 레벨의 데이터까지 처리할 수 있도록 하기 위함이다. 마지막으로 대표적인 RDBMS인 오라클과 제안 기법을 동일한 데이터 소스, 동일한 질문에 대해 저장 및 질의를 하는 과정을 실험으로 보였다. 이는 조인(join) 없이 관계(relation)를 표현함으로써 RDBMS의 역할까지 충분히 대체 가능함을 보이고자 한다.