• 제목/요약/키워드: group-by query

검색결과 49건 처리시간 0.036초

맵리듀스에서 빅데이터 분석을 위한 다중 Group-by 질의의 효율적인 처리 기법 (Efficient Processing of Multiple Group-by Queries in MapReduce for Big Data Analysis)

  • 박은주;박소정;오소현;최혜진;이기용;심준호
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제21권5호
    • /
    • pp.387-392
    • /
    • 2015
  • 맵리듀스(MapReduce)는 대용량의 데이터를 다수의 컴퓨터로 병렬 처리하기 위해 사용되는 프레임워크이다. Group-by 질의는 데이터를 지정된 애트리뷰트들의 값에 따라 그룹화하고, 각 그룹에 대해 지정된 집계 함수 값을 구하는 질의이다. 본 논문에서는 둘 이상의 group-by 질의가 동시에 요청되었을 때, 이들을 맵리듀스를 사용하여 효율적으로 처리하는 기법을 제안한다. 제안 기법은 각 group-by 질의를 독립적으로 계산하는 대신, 총 수행비용을 줄이기 위해 하나 이상의 맵리듀스 잡을 통해 단계적으로 계산한다. 성능 평가 실험을 통해, 제안 기법이 각 group-by 질의를 독립적으로 계산하는 단순 방법에 비해 좋은 성능을 가짐을 보인다.

How Query by humming, a Music Information Retrieval System, is Being Used in the Music Education Classroom

  • Bradshaw, Brian
    • Journal of Multimedia Information System
    • /
    • 제4권3호
    • /
    • pp.99-106
    • /
    • 2017
  • This study does a qualitative and quantitative analysis of how music by humming is being used by music educators in the classroom. Music by humming is part division of music information retrieval. In order to define what a music information retrieval system is first I need to define what it is. Berger and Lafferty (1999) define information retrieval as "someone doing a query to a retrieval system, a user begins with an information need. This need is an ideal document- perfect fit for the user, but almost certainly not present in the retrieval system's collection of documents. From this ideal document, the user selects a group of identifying terms. In the context of traditional IR, one could view this group of terms as akin to expanded query." Music Information Retrieval has its background in information systems, data mining, intelligent systems, library science, music history and music theory. Three rounds of surveys using question pro where completed. The study found that there were variances in knowledge, training and level of awareness of query by humming, music information retrieval systems. Those variance relationships where based on music specialty, level that they teach, and age of the respondents.

GOPES: Group Order-Preserving Encryption Scheme Supporting Query Processing over Encrypted Data

  • Lee, Hyunjo;Song, Youngho;Chang, Jae-Woo
    • Journal of Information Processing Systems
    • /
    • 제14권5호
    • /
    • pp.1087-1101
    • /
    • 2018
  • As cloud computing has become a widespread technology, malicious attackers can obtain the private information of users that has leaked from the service provider in the outsourced databases. To resolve the problem, it is necessary to encrypt the database prior to outsourcing it to the service provider. However, the most existing data encryption schemes cannot process a query without decrypting the encrypted databases. Moreover, because the amount of the data is large, it takes too much time to decrypt all the data. For this, Programmable Order-Preserving Secure Index Scheme (POPIS) was proposed to hide the original data while performing query processing without decryption. However, POPIS is weak to both order matching attacks and data count attacks. To overcome the limitations, we propose a group order-preserving data encryption scheme (GOPES) that can support efficient query processing over the encrypted data. Since GOPES can preserve the order of each data group by generating the signatures of the encrypted data, it can provide a high degree of data privacy protection. Finally, it is shown that GOPES is better than the existing POPIS, with respect to both order matching attacks and data count attacks.

데이터베이스 아웃소싱 환경에서 순서 보존 암호화 기법을 이용한 질의 결과 무결성 검증 기법 (A Query Result Integrity Assurance Scheme Using an Order-preserving Encryption Scheme in the Database Outsourcing Environment)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권1호
    • /
    • pp.97-106
    • /
    • 2015
  • 최근 데이터베이스 아웃소싱(Outsourcing) 환경에서 데이터 보호를 위한 암호화 기법 및 질의 결과 검증 기법에 대한 관심이 고조되고 있다. 그러나 기존 아웃소싱 데이터 암호화 기법들은 원본 데이터베이스 도메인 정보를 알고 있는 공격자에 의한 순서 매칭 공격 및 카운팅 공격에 취약한 문제점을 지닌다. 기존 질의 결과 무결성 검증 기법은 질의 결과 검증 데이터 전송 오버헤드 문제를 지닌다. 따라서, 본 논문에서는 데이터 보호를 위한 그룹 순서 보존 암호화 인덱스 및 이를 기반으로 한 질의 결과 무결성 검증 기법을 제안한다. 제안하는 기법은 순서 보존 암호화 인덱스를 통해 데이터를 암호화 하고, 복호화 없이 질의를 수행한다. 또한, 힐버트 커브를 통해 그룹 정보를 은닉함으로써, 질의 수행 과정에서 데이터 그룹 정보가 유출되는 것을 방지한다. 마지막으로, 주기함수 기반 그룹 분할 및 그룹 기반 인증을 통해 질의 결과 무결성 검증을 위한 데이터 크기를 감소시킨다. 성능평가를 통해, 제안하는 기법이 기존 버킷 기반 인증 기법에 비해 질의 처리 시간 측면에서 평균 1.6배, 검증 데이터 오버헤드 측면에서 최대 20배의 성능을 개선함을 보인다.

A Method of Chinese and Thai Cross-Lingual Query Expansion Based on Comparable Corpus

  • Tang, Peili;Zhao, Jing;Yu, Zhengtao;Wang, Zhuo;Xian, Yantuan
    • Journal of Information Processing Systems
    • /
    • 제13권4호
    • /
    • pp.805-817
    • /
    • 2017
  • Cross-lingual query expansion is usually based on the relationship among monolingual words. Bilingual comparable corpus contains relationships among bilingual words. Therefore, this paper proposes a method based on these relationships to conduct query expansion. First, the word vectors which characterize the bilingual words are trained using Chinese and Thai bilingual comparable corpus. Then, the correlation between Chinese query words and Thai words are computed based on these word vectors, followed with selecting the Thai candidate expansion terms via the correlative value. Then, multi-group Thai query expansion sentences are built by the Thai candidate expansion words based on Chinese query sentence. Finally, we can get the optimal sentence using the Chinese and Thai query expansion method, and perform the Thai query expansion. Experiment results show that the cross-lingual query expansion method we proposed can effectively improve the accuracy of Chinese and Thai cross-language information retrieval.

A Query Randomizing Technique for breaking 'Filter Bubble'

  • Joo, Sangdon;Seo, Sukyung;Yoon, Youngmi
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권12호
    • /
    • pp.117-123
    • /
    • 2017
  • The personalized search algorithm is a search system that analyzes the user's IP, cookies, log data, and search history to recommend the desired information. As a result, users are isolated in the information frame recommended by the algorithm. This is called 'Filter bubble' phenomenon. Most of the personalized data can be deleted or changed by the user, but data stored in the service provider's server is difficult to access. This study suggests a way to neutralize personalization by keeping on sending random query words. This is to confuse the data accumulated in the server while performing search activities with words that are not related to the user. We have analyzed the rank change of the URL while conducting the search activity with 500 random query words once using the personalized account as the experimental group. To prove the effect, we set up a new account and set it as a control. We then searched the same set of queries with these two accounts, stored the URL data, and scored the rank variation. The URLs ranked on the upper page are weighted more than the lower-ranked URLs. At the beginning of the experiment, the difference between the scores of the two accounts was insignificant. As experiments continue, the number of random query words accumulated in the server increases and results show meaningful difference.

오픈소스 DBMS의 성능 품질 평가 (Evaluating the Performance Quality of Open Source Database Management Systems)

  • 민미경
    • 품질경영학회지
    • /
    • 제45권4호
    • /
    • pp.933-942
    • /
    • 2017
  • Purpose: The purpose of this paper is to evaluate the performance quality of the open source DBMSs. Performance quality is defined as processing time for Join queries. Query processing time is measured and compared in the most widely used open source DBMSs and commercial DBMS. Methods: By varying the number of tuples of two relations to be joined, the average processing time(seconds) of a Join query in each DBMS was obtained experimentally. ANOVA and Tukey HSD test were used in order to compare the performance quality of DBMSs. Results: There was a significant difference between the performance qualities of the three DBMSs at all experimental levels where the number of tuples was 100, 1,000, 2,000, 10,000, and 50,000. As a result of the Tukey HSD test, two open source DBMSs (MariaDB, MySQL) were classified in the same group only at the tuple level of 100. The commercial DBMS (MS-SQL Server) belonged to another group. At level of more than 1,000 tuples, all three DBMSs belonged to different groups. Conclusion: Within the open source DBMS group, MariaDB showed the better performance quality except for a small number of tuples. Thus the results show that MariaDB can be the alternative to MySQL which is currently most widely used. Between open source DBMS and commercial DBMS groups, MS-SQL Server always shows the best performance quality, but the less number of tuples, the less the difference.

XQuery에서의 XML 데이터 특성을 고려한 group by 지원을 위한 질의 표현 기법에 대한 연구 (Research on supporting the group by clause reflecting XML data characteristics in XQuery)

  • 이민수;조혜영;오정선;김윤미;송수경
    • 정보처리학회논문지D
    • /
    • 제13D권4호
    • /
    • pp.501-512
    • /
    • 2006
  • 현재 널리 채택되고 있는 XML은 플랫폼에 의존하지 않는 데이터 표현 형식으로 B2B 응용 프로그램이나 워크플로우 상황에서처럼 느슨하게 연결된(loosely coupled) 이기종 시스템 간에 정보를 교환하는 데 매우 유용하게 사용되고 있다. XML의 이러한 장점 때문에 점차 증가하는 XML에 대한 관리 및 검색에 대한 요구 사항에 대처할 수 있도록 강력한 질의 언어인 XQuery가 만들어졌다. 문서의 검색을 위한 질의 언어인 XQuery는 다양한 데이터 소스로부터 가져온 XML 데이터를 고유한 구조를 가진 질의 결과로 구성할 수 있도록 설계되었으며 현재 XML 질의 언어의 표준이다. XQuery는 반복문 등을 포함하는 강력한 검색 기능을 지원하나 데이터를 그룹화 하는 경우에는 질의 표현이 상대적으로 어렵고, 복잡한 형태를 취한다. 따라서 본 논문에서는 XQuery에 그룹화 처리를 위한 명시적인 groupby절을 도입한 질의 표현 기법을 모색함으로써 XML 데이터의 재구성과 집계 함수 처리를 위한 그룹화를 보다 효율적으로 처리할 수 있도록 하였다. 이를 위해서 XQuery에 groupby절을 도입하기 위한 EBNF(Extended Backus-Naur Form)를 제안하고, 네이티브 XML 데이터베이스인 eXist 기반의 XQuery 그룹화 질의 처리 시스템을 구현하였다.

Robust Syntactic Annotation of Corpora and Memory-Based Parsing

  • Hinrichs, Erhard W.
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2002년도 Language, Information, and Computation Proceedings of The 16th Pacific Asia Conference
    • /
    • pp.1-1
    • /
    • 2002
  • This talk provides an overview of current work in my research group on the syntactic annotation of the T bingen corpus of spoken German and of the German Reference Corpus (Deutsches Referenzkorpus: DEREKO) of written texts. Morpho-syntactic and syntactic annotation as well as annotation of function-argument structure for these corpora is performed automatically by a hybrid architecture that combines robust symbolic parsing with finite-state methods ("chunk parsing" in the sense Abney) with memory-based parsing (in the sense of Daelemans). The resulting robust annotations can be used by theoretical linguists, who lire interested in large-scale, empirical data, and by computational linguists, who are in need of training material for a wide range of language technology applications. To aid retrieval of annotated trees from the treebank, a query tool VIQTORYA with a graphical user interface and a logic-based query language has been developed. VIQTORYA allows users to query the treebanks for linguistic structures at the word level, at the level of individual phrases, and at the clausal level.

  • PDF

클러스터링 환경에서 효율적인 공간 질의 처리를 위한 로드 밸런싱 기법의 설계 및 구현 (Design and Implementation of Load Balancing Method for Efficient Spatial Query Processing in Clustering Environment)

  • 김종훈;이찬구;정현민;정미영;배영호
    • 한국멀티미디어학회논문지
    • /
    • 제6권3호
    • /
    • pp.384-396
    • /
    • 2003
  • 웹 GIS에서 인터넷 서비스 이용자의 집중 현상으로 발생하는 서버의 과부하 현상을 막기 위한 대표적인 방법으로 클라이언트와 서버가 모두 질의에 참여하는 하이브리드(Hybrid) 질의 처리 방식이 있다. 그러나 하이브리드 질의 처리 방식은 서버 확장에 제약이 존재하기 때문에 근본적인 해결책이 되지 못한다. 따라서 웹 GIS 서버의 안정적인 서비스 제공을 위해서는 웹 클러스터링 기술의 도입이 필요하다. 본 논문에서는 웹 GIS클러스터링 시스템을 위한 질의 영역의 인접성을 이용한 로드 밸런싱 기법을 제안한다. 제안하는 기법은 공간 데이터를 관리하는 타일을 기반으로 인접한 타일 그룹을 생성하여 각 서버에 할당하며, 질의 영역 및 공간 연산을 고려하여 서버에서 질의가 처리되는 동안 버퍼 재사용율이 최대가 되도록 클라이언트의 질의 요청을 서버에 전달한다. 제안하는 기법은 서버의 버퍼를 공간 인덱스 탐색에 최적화함으로써 서버의 버퍼 재사용율을 높이고, 클러스터링 시스템에서 디스크의 접근 횟수를 낮추어 전체적인 서버 시스템의 처리 능력을 향상시킨다.

  • PDF