• Title/Summary/Keyword: 조인 알고리즘

Search Result 939, Processing Time 0.037 seconds

Design and Performance Analysis of MapReduce-based kNN join Query Processing Algorithm (맵리듀스 기반 kNN join 질의처리 알고리즘의 설계 및 성능평가)

  • Kim, TaeHoon;Lee, HyunJo;Chang, JaeWoo
    • Annual Conference of KIPS
    • /
    • 2014.11a
    • /
    • pp.733-736
    • /
    • 2014
  • 최근 대용량 데이터에 대한 효율적인 데이터 분석 기법이 활발히 연구되고 있다. 대표적인 기법으로는 맵리듀스 환경에서 보로노이 다이어그램을 이용한 k 최근접점 조인(VkNN-join) 알고리즘이 존재한다. VkNN-join 알고리즘은 부분집합 Ri에 연관된 부분집합 Sj만을 후보탐색 영역으로 선정하여 질의를 처리하기 때문에 질의처리 시간을 감소시킨다. 그러나 VkNN-join은 색인 구축 비용이 높으며, kNN 연산 오버헤드가 큰 문제점이 존재한다. 이를 해결하기 위해, 본 논문에서는 대용량 데이터 분석을 위한 맵리듀스 기반 kNN join 질의처리 알고리즘을 제안한다. 제안하는 알고리즘은 시드 기반의 동적 분할을 통해 색인구조 구축비용을 감소시킨다. 또한 시드 간 평균 거리를 기반으로 후보 영역을 선정함으로써, 연산 오버헤드를 감소시킨다. 아울러, 성능 평가를 통해 제안하는 기법이 질의처리 시간 측면에서 기존 기법에 비해 우수함을 나타낸다.

유한체에서의 이산로그 알고리즘과 구현

  • 조인호;임종인;서광석
    • Review of KIISC
    • /
    • v.1 no.3
    • /
    • pp.30-34
    • /
    • 1991
  • 유한체의 이사로그 문제는pne-way 함수의 특성을 잘 나타내고 있어, 암호 시스템 에 많이 응용되고 있다. 본 논문에서는 기존의 이산로그와 관련된 알고리즘들을 분석 약술 하고 그중 가장 효율적인 알고리즘으로 평가되는 Coppersmity알고리즘을 4GF({2^127})$ 에서 구현한 결과를 일부분 공개한다.

  • PDF

A Study on Assessment Method for Surveillance Algorithm (감시알고리즘 평가방법에 대한 연구)

  • Seong, Jeong-Hyeon;Jo, Dae-Won;Choe, Yeong-Hwan
    • 한국항공운항학회:학술대회논문집
    • /
    • 2015.11a
    • /
    • pp.167-169
    • /
    • 2015
  • A-SMGCS를 구성하는 핵심 알고리즘 중 감시(Surveillance)알고리즘은 레이더로부터 수신한 항공기 좌표정보를 토대로 정확한 항공기의 위치정보를 확정하는 역할을 수행하는데, 감시알고리즘의 좌표 보정 성능을 평가하기 위한 방법으로 단순회귀 직선을 제시하고 이의 타당성을 검토한다.

  • PDF

A Study on the Precise Lineament Recovery of Alluvial Deposits Using Satellite Imagery and GIS

  • 이수진;황종선;이동천;김정우;석동우
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2003.04a
    • /
    • pp.62-62
    • /
    • 2003
  • Landsat TM 영상을 이용, 명암차가 높은 산악 지역에 적용해왔던 알고리즘을 개선하여 비교적 명암차가 낮고 넓게 분포하는 충적층 지역의 선구조를 추출하는 알고리즘을 개발하였다. 수치지형모델(OEM)에 대하여 Local Enhancement 를 이용해서 평탄한 지역을 선정하여 이로부터 충적층을 추출하였다. Zevenbergen & Thorno's Method를 3×3 moving windowing을 통해서 최대 경사방향과 경사를 구해서 충적층을 지나는 선구조 요소를 추출하고 다시 Hough 변환을 이용해서 1차 선구조를 추출하였다 이를 이용하여 충적층의 직각방향의 지형단면의 경사를 유추해서 spline 보간법을 이용해 단면의 최저점을 구하고 이 구해진 점들을 다시 Hough 변환을 이용해서 최종 선구조를 추출하였다. 본 연구에서 사용한 알고리즘은 기존 알고리즘에서 사용된 소창문보다 훨씬 큰 충적층이 분포하는 지역의 지형 경사가 수렴하는 부분에 선구조가 뚜렷이 나타남을 볼 수 있다. 최대경사방향과 경사를 구해서 얻어진 1 차선구조와 최종 선구조에서 선구조 방향이 다소 차이를 보인다. 1 차 선구조의 수직방향 지형단면의 자료를 이용함에 있어, 지형 단면의 시작정과 끝지점을 임의적으로 결정하는 것이 아니라, 충적층을 가로질러 최고점까지 또는 다음 충적층이 나을 때까지의 자료를 이용해서 보간법을 사용하였고, 충적층의 넓이에 따라 보간할 자료량의 차이에 의한 오차가 발생할 수 있다. 넓은 충적층에서 선구조가 잘 추출되는 반면에 좁은 충적층이 분포하거나 계곡에 해당하는 지역에l서는 경사수렴부와 일치하지 않는 선구조가 추출되었다. 이는 향후 계속적으로 연구해서 보완되어야 할 것으로 사료된다.페클 잡영 제거 정도에 있어 다른 필터들과 큰 차이가 없지만 경계선보존지수는 다른 필터들에 비하여 가장 우수함을 확인할 수 있었다.rbon 탐식효율을 조사한 결과 B, D 및 E 분획에서 유의적인 효과를 나타내었다. 이상의 결과를 종합해볼 때, ${\beta}$-glucan은 고용량일 때 직접적으로 또는 $IFN-{\gamma}$ 존재시에는 저용량에서도 복강 큰 포식세로를 활성화시킬 뿐 아니라, 탐식효율도 높임으로써 면역기능을 증진 시키는 것으로 나타났고, 그 효과는 crude ${\beta}$-glucan의 추출조건에 따라 달라지는 것을 알 수 있었다.eveloped. Design concepts and control methods of a new crane will be introduced in this paper.and momentum balance was applied to the fluid field of bundle. while the movement of′ individual material was taken into account. The constitutive model relating the surface force and the deformation of bundle was introduced by considering a representative prodedure that stands for the bundle movement. Then a fundamental equations system could be simplified considering a steady state of the process. On the basi

  • PDF

Algorithm for Improving Visibility under Ambient Lighting Using Deep Learning (딥러닝을 이용한 외부 조도 아래에서의 시인성 향상 알고리즘)

  • Lee, Hee Jin;Song, Byung Cheol
    • Journal of Broadcast Engineering
    • /
    • v.27 no.5
    • /
    • pp.808-811
    • /
    • 2022
  • Display under strong ambient lighting is perceived darker than it really is. Existing techniques for solving the problem in terms of software show limitations in that image enhancement techniques are applied regardless of ambient lighting or chrominance is not improved compared to luminance. Therefore, this paper proposes a visibility enhancement algorithm using deep learning to adaptively respond to ambient lighting values and an equation to restore optimal chrominance for luminance. The algorithm receives an ambient lighting value with the input image, and then applies a deep learning model and chrominance restoration equation to generate an image to minimize the difference between the degradation modeling of enhanced image and the input image. Qualitative evaluation proves that the algorithm shows excellent performance in improving visibility under strong ambient lighting through comparison of images applied with degradation modeling.

Strategy and Cost Model of Spatial Data Stream Joins (공간 데이터스트림 조인 전략과 비용 모델)

  • Yoo, Ki-Hyun;Ha, Tae-Suk;Nam, Kwang-Woo
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.67-74
    • /
    • 2008
  • 현재의 센서 네트워크 시스템은 공간적 정보를 배제한 센서 데이터스트림에 대한 저장 및 검색 방안에 대한 연구에 치중되어 있다. 하지만, 이러한 센서 네트워크가 공간적 정보와 결합하게 되면 훨씬 더 많은 응용과 의미 있는 데이터로 가공될 수 있다. 본 논문은 GeoSensor Network에서 공간적 정보와 데이터스트림이 결합된 공간 데이터스트림 정의 및 공간 데이터스트림간 조인 전략들과 그에 따른 조인 전략들 간의 비용을 추정하는 비용 모델을 제시하였다. 공간 데이터스트림간 조인 전략을 위해 Nested Loop 조인, Grid File, R-tree 알고리즘을 사용하였고, 단방향 Nested Loop 조인, 단방향 Grid 조인, 단방향 R-tree 조인 기법들을 조합하여 조인 전략들 간의 비용을 추정하였다.

  • PDF

Virtual Directory Extendible Hash index: An Economic Hash Index Using New Directory Structure (가상 디렉토리 확장 해시 색인: 확장 해싱에서의 새로운 디렉토리 구조를 이용한 저비용 해시 색인)

  • Park, Sang-Keun;Park, Soon-Young;Kim, Myung-Keun;Bae, Hae-Young
    • Annual Conference of KIPS
    • /
    • 2003.11c
    • /
    • pp.1493-1496
    • /
    • 2003
  • 데이터베이스 관계 연산자 중 프로젝션(projection)과 집단 연산(aggregate function)시 사용되는 GROUP BY절, 그리고 동등 조인(equi join)에 대한 질의 처리는 중복된 튜플 중복된 GROUP BY 필드, 조인 중 발생하는 임시결과에 대한 제거나 집단 연산, 임시 결과의 저장을 위해 정렬이나 해싱 기반 알고리즘을 적용하고 있다. 이 중 해싱 기반 알고리즘은 데이터에 대한 직접적인 접근 방법과 정렬비용이 없다는 장점으로 인해 자주 사용하게 된다. 그러나 이러한 해싱(extendible hashing)[1] 기반 알고리즘은 키 값이 저장되는 버켓(bucket) 페이지의 넘침(overflow)으로 인해 분할(split)이 발생하는 경우, 분할을 야기시킨 버켓 페이지에 대한 정보를 제외한 동일한 내용의 기존 디렉토리 구조를 배로 확장해야 하는 공간 확장과, 확장된 디렉토리 구조의 유지를 위해 많은 비용을 소모하게 된다. 본 논문에서는 다량의 데이터에 대한 접근 기법과 디렉토리 구조의 저장공간, 유지 비용 절감 및 중복 해시 값을 지니는 데이터를 처리하기위한 해시 색인인 가상 디렉토리 확장 해시 색인을 제안한다. 가상 디렉토리 확장 해시 색인은 디렉토리 구조를 다단계 구조로 유지함으로써, 넓은 저장 공간을 필요로 하는 다량의 데이터에 대한 접근경로 문제를 해결하였고, 가상 디렉토리 레벨이라는 새로운 구조를 통해, 기존 디렉토리 구조의 공간 낭비 및 유지 비용을 최소화 시켰으며, 버켓 페이지를 리스트(list) 구조로 유지함으로써 중복 해시 값에 의한 디렉토리 구조의 연쇄적 분할 문제를 해결하였다.

  • PDF

High Utility Itemset Mining Using Transaction Utility of Itemsets (항목집합의 트랜잭션 유틸리티를 이용한 높은 유틸리티 항목집합 마이닝)

  • Lee, Serin;Park, Jong Soo
    • KIPS Transactions on Software and Data Engineering
    • /
    • v.4 no.11
    • /
    • pp.499-508
    • /
    • 2015
  • High utility itemset(HUI) mining refers to the discovery of itemsets with high utilities which are not less than a user-specified minimum utility threshold, by considering both the quantities and weight factors of items in a transaction database. Recently the utility-list based HUI mining algorithms have been proposed to avoid numerous candidate itemsets and the algorithms need the costly join operations. In this paper, we propose a new HUI mining algorithm, using the utility-list with additional attributes of transaction utility and common utility of itemsets. The new algorithm decreases the number of join operations and efficiently prunes the search space. Experimental results on both synthetic and real datasets show that the proposed algorithm outperforms other recent algorithms in runtime, especially when datasets are dense or contain many long transactions.

Implementing Hash Join through Prefetching on Mulit-core Architecture (멀티코어 아키텍처에서 프리페칭 기법을 통한 해시조인 구현)

  • Shin, Jae-Hyun;Kim, Jae-Myung;Lee, Sang-Won
    • Annual Conference of KIPS
    • /
    • 2012.04a
    • /
    • pp.1109-1112
    • /
    • 2012
  • 해시 조인 알고리즘 성능 개선에 관한 연구는 이미 많은 연구자에 의해 수행된 바 있다. 새로운 알고리즘을 추가하는 연구에서부터 컴퓨팅 환경에 맞는 최적화 솔루션을 제시하는 연구에 이르기까지 해시 조인의 성능을 향상시키는 연구는 다양하게 찾아 볼 수 있었다. 이 논문에서는 2004년 ICDA에서 발표한 [1]의 연구를 최신의 컴퓨팅 환경에서도 똑같이 작동하는지 확인해 보고자 한다.

Reducing Cache Misses in Hash Join Probing Phase By Pre-sorting Strategy (정렬을 통한 해시 조인 탐색 단계에서의 캐시미스 감소 기법)

  • Oh, Gi Hwan;Kim, Jae Myung;Kang, Woon Hak;Lee, Sang Won
    • Annual Conference of KIPS
    • /
    • 2012.04a
    • /
    • pp.1131-1133
    • /
    • 2012
  • 메모리 가격이 저렴해 짐에 따라 대용량의 데이터베이스 연산이 메모리 안에서 처리될 수 있다. 그에 반해 메모리의 접근속도는 과거에 비해 크게 향상되지 않았기 때문에, 효율적인 캐시 활용이 전체 성능을 결정하는 중요한 요소가 된다. 멀티코어 환경에서 효율적 캐시와 높은 동시성을 모두 만족시키기는 쉽지 않다. 이 논문에서는 알려진 메모리 기반 해시 알고리즘을 비교하고, 각각에 대해 탐색 단계에서 조인 키를 기준으로 정렬 알고리즘을 적용하여 수행 시간과 캐시 미스 감소를 비교한다.