• Title/Summary/Keyword: 중복제거기법

Search Result 221, Processing Time 0.024 seconds

Efficient Parallel Spatial Join Method In Shared-Nothing Spatial Database Cluster (비공유 공간 데이터베이스 클러스터에서 효율적인 병렬 공간 조인 기법)

  • Kim, Jong-Hyun;Kim, Myung-Keun;Kim, Jae-Hong;Bae, Hae-Young
    • Annual Conference of KIPS
    • /
    • 2002.11c
    • /
    • pp.1871-1874
    • /
    • 2002
  • 최근 인터넷 환경에서 지리 정보 서비스를 제공받으려는 사용자들의 지속적인 증가로 인해 저비용의 여러 개의 단일 노드를 고속의 네트워크로 연결하여 고성능을 제공하는 클러스터 기반의 공간 데이터베이스에 대한 연구가 활발하게 진행되고 있다. 이러한 공간 데이터베이스 클러스터에서 사용자가 요구한 공간 질의를 빠르게 처리하기 위해서는 고비용의 공간 조인 연산을 효율적으로 처리하기 위한 기법이 요구된다. 본 논문에서는 비공유 공간 데이터베이스 클러스터 환경하에서 공간 조인 연산 수행 시 효율적인 병렬 처리를 위한 영역 분할 기법 및 병렬 공간 조인 기법을 제안한다. 기존의 병렬 공간 데이터베이스 시스템에서의 분할 기반 병렬 공간 조인 기법들은 병렬로 수행할 작업 분배 및 할당과 분할 경계선 상에 존재하는 공간 객체들에 대한 중복 조인 연산 및 중복 결과 제거 등의 추가적인 연산을 해야 한다는 문제점들이 있다. 제안된 기법은 공간 릴레이션들을 일정 영역들로 분할하여 비공유 공간 데이터베이스 클러스터의 각 노드에서 중복없이 저장, 관리하도록 하며 분할 영역의 경계선 상에 위치하는 공간 데이터에 대해서만 중복 저장을 허용하여 병렬 공간 조인 연산 시 누락되는 공간 데이터가 없도록 한다. 본 기법은 공간 조인 연산 시 병렬 처리를 위한 별도의 작업 할당 과정을 거치지 않고 각 노드에서 병렬적으로 공간 조인 연산을 수행하며, 분할 경계선 상에 존재하는 공간 객체들은 여과 과정을 거쳐 한번만 공간 조인이 수행되므로 중복 결과들을 제거하기 위한 별도의 연산이 필요없는 특징을 갖는다. Ad Hoc망의 위상변화에 대한 적응성을 높일 수 있도록 한다. SQL Server 2000 그리고 LSF를 이용하였다. 그리고 구현 환경과 구성요소에 대한 수행 화면을 보였다.ool)을 사용하더라도 단순 다중 쓰레드 모델보다 더 많은 수의 클라이언트를 수용할 수 있는 장점이 있다. 이러한 결과를 바탕으로 본 연구팀에서 수행중인 MoIM-Messge서버의 네트워크 모듈로 다중 쓰레드 소켓폴링 모델을 적용하였다.n rate compared with conventional face recognition algorithms. 아니라 실내에서도 발생하고 있었다. 정량한 8개 화합물 각각과 총 휘발성 유기화합물의 스피어만 상관계수는 벤젠을 제외하고는 모두 유의하였다. 이중 톨루엔과 크실렌은 총 휘발성 유기화합물과 좋은 상관성 (톨루엔 0.76, 크실렌, 0.87)을 나타내었다. 이 연구는 톨루엔과 크실렌이 총 휘발성 유기화합물의 좋은 지표를 사용될 있고, 톨루엔, 에틸벤젠, 크실렌 등 많은 휘발성 유기화합물의 발생원은 실외뿐 아니라 실내에도 있음을 나타내고 있다.>10)의 $[^{18}F]F_2$를 얻었다. 결론: $^{18}O(p,n)^{18}F$ 핵반응을 이용하여 친전자성 방사성동위원소 $[^{18}F]F_2$를 생산하였다. 표적 챔버는 알루미늄으로 제작하였으며 본 연구에서 연구된 $[^{18}F]F_2$가스는 친핵성 치환반응으로 방사성동위원소를 도입하기 어려운 다양한 방사성의 약품개발에 유용하게 이

  • PDF

Effective Resolving of the Performance Bottleneck in Time-Series Subsequence Matching (시계열 서브시퀀스 매칭에서 발생하는 성능 병목의 효과적인 해결 방안)

  • 김상욱;오세봉
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.530-532
    • /
    • 2003
  • 서브시퀀스 매칭은 주어진 질의 시퀀스와 변화의 추세가 유사한 서브시퀀스들을 시계열 데이터베이스로부터 검색하는 연산이다. 본 논문에서는 서브시퀀스 매칭 처리의 성능 병목을 파악하고, 이를 해결함으로써 전체 서브시퀀스 매칭의 성능을 크게 개선하는 방안에 관하여 논의한다. 먼저, 사전 실험을 통하여 후처리 단계가 서브시퀀스 매칭의 성능 병목이며, 후처리 단계의 최적화가 기존의 서브시퀀스 매칭 기법들이 간과한 매우 중요한 이슈임을 지적한다. 이러한 서브시퀀스 매칭의 성능 병목을 해결하기 위하여 후처리 단계를 최적으로 처리할 수 있는 간단하면서도 매우 효과적인 기법을 제안한다. 제안된 기법은 후처리 단계에서 후보 서브시퀀스들이 질의 시퀀스와 실제로 유사한가를 판단하는 순서를 조정함으로써 기존의 후처리 단계의 처리에서 발생하는 많은 디스크 액세스의 중복과 CPU 처리의 중복을 완전히 제거할 수 있다. 실제 데이터와 생성 데이터를 이용한 다양한 실험들을 통하여 제안된 기법의 성능 개선 효과를 정량적으로 검증한다.

  • PDF

Priority-based Hint Management Scheme for Improving Page Sharing Opportunity of Virtual Machines (가상머신의 페이지 공유 기회를 향상시키기 위한 우선순위 큐 기반 힌트 관리 기법)

  • Nam, Yeji;Lee, Minho;Lee, Dongwoo;Eom, Young Ik
    • Journal of KIISE
    • /
    • v.43 no.9
    • /
    • pp.947-952
    • /
    • 2016
  • Most data centers attempt to consolidate servers using virtualization technology to efficiently utilize limited physical resources. Moreover, virtualized systems have commonly adopted contents-based page sharing mechanism for page deduplication among virtual machines (VMs). However, previous page sharing schemes are limited by the inability to effectively manage accumulated hints which mean sharable pages in stack. In this paper, we propose a priority-based hint management scheme to efficiently manage accumulated hints, which are sent from guest to host for improving page sharing opportunity in virtualized systems. Experimental results show that our scheme removes pages with low sharing potential, as compared with the previous schemes, by efficiently managing the accumulated pages.

Efficiency Algorithm of Multispectral Image Compression in Wavelet Domain (웨이브릿 영역에서 다분광 화상 데이터의 효율적인 압축 알고리듬)

  • Park, Gyeong Nam;Kim, Yeong Chun;Jang, Jong Guk;Lee, Geon Il
    • Journal of the Institute of Electronics Engineers of Korea SP
    • /
    • v.38 no.4
    • /
    • pp.38-38
    • /
    • 2001
  • 본 논문에서는 웨이브릿 영역에서의 영역 분류와 대역간 예측 및 선택적 벡터 양자화를 이용한 다분광 화상테이타 압축 기법을 제안하였다. 이 방법에서는 각 대역을 웨이브릿 변환 후, 각 대역의 기저밴드의 대역별 특성을 이용하여 영역 분류를 행하였다. 그리고, 다른 대역과 해상도가 동일하고 공간적 분산이 작으며 분광적 상관성이 큰 기준대역 (reference channel)을 결정한 뒤, 이를 영역별 스칼라 및 분류별 가변 벡터 양자화를 행하여 부호화 하였다. 또한 기준대역과의 대역간 상관성이 큰 대역들에 대해서는 영역별 대역간 예측을 행한 후, 활동도가 높은 블록에 대해서만 선택적 벡터 양자화로 부호화를 행하였다. 이때, 활동도가 높은 블록들의 위치정보는 기준대역으로부터 얻어지는 임계치 지도 (threshold map; THMAP)를 이용하였다. 즉, 제안한 방법에서는 각 대역에 대해 웨이브릿 영역에서의 영역 분류 후 영역별 대역간 예측을 행함으로써 다분광 화상데이타에 존재하는 대역간 중복성을 제거하고 선택적 벡터 양자화를 행함으로써 대역내 중복성을 효과적으로 제거하여 압축효율을 향상시킨다. 실제 원격 센싱된 인공위성 화상데이타에 대한 실험을 통하여 제안한 기법의 부호화 효율이 기존의 기법에 비하여 우수함을 확인하였다.

Cluster-based MV-HEVC Coding Mode Decision for MPEG Immersive Video (MPEG 몰입형 비디오를 위한 클러스터 기반 MV-HEVC 부호화 모드 결정)

  • Han, Chang-Hee;Jeong, Jong-Beom;Ryu, Eun-Seok
    • Proceedings of the Korean Society of Broadcast Engineers Conference
    • /
    • fall
    • /
    • pp.189-192
    • /
    • 2021
  • three degree of freedom (3DoF), three degree of freedom plus (3DoF+), six degree of freedom(6DoF) 등 몰입형 비디오의 높은 몰입감을 제공하기 위해 다중 비디오 영상을 효율적으로 처리하는 기법이 활발히 연구되고 있다. 이를 위해 원본의 몰입형 비디오가 입력되면 기본 시점 영상과 추가 시점 영상에서의 중복을 제거하고 기본 시점(basic view)에서는 보이지 않지만 추가 시점(additional view)에서는 보이는 영역을 추출하는 프루닝 과정이 이뤄지는 부호기에서의 부호화 모드 결정은 매우 중요하다. 본 논문은 test model for immersive video (TMIV)의 모드 중 하나인 MPEG immersive video (MIV) view mode 를 통해 만들어진 프루닝 (pruning) 그래프에서 선택된 시점들을 활용하여 뷰 간 중복성을 제거할 수 있는 효율적인 부호화 구조로 클러스터를 기반으로 병렬적으로 부호화하는 클러스터 기반 정렬 기법을 제안한다. 선택된 시점들을 인덱스 순서에 따라 부호화하는 기존 방법에 비해 제안하는 방법은 peak signal-to-noise ratio (Y-PSNR)에서 평균 3.9%의 BD-rate 절감을 보여주었다. 본 연구는 또한 더 객관적인 품질 측정을 위해 immersive video peak signal-to-noise ratio (IV-PSNR)에 의한 비교 결과도 함께 제공하며, 참조 순서에 맞게 정렬한 프루닝 기반 정렬 기법과의 비교도 함께 제공한다.

  • PDF

Redundant and Abnormal Data Processing Scheme in Large-scale IoT Environment (대규모 IoT 환경에서의 중복 및 비정상 데이터 처리 기법)

  • Kim, Min-Woo;Lee, Tae-Ho;Lee, Byung-Jun;Kim, Kyung-Tae;Youn, Hee-Yong
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.109-110
    • /
    • 2019
  • 최근 IoT 환경에서는 고밀도로 노드가 분포되어진다. 이러한 센서 노드들은 데이터 전송 시 혼잡을 초래하는 중복 데이터를 생성하여 데이터의 정확도를 저하시킨다. 이에 따라 본 연구에서는 데이터 집중으로 인해 발생하는 네트워크의 정체 문제를 해결하기 위해 제안 기법은 사 분위(Interquatile, IRQ) 분석과 코사인 유사도 함수를 통해 데이터의 이상치와 중복성을 측정하여 중복 데이터 및 특이치를 제거한다. 본 연구를 통하여 최적의 데이터 전송을 통하여 IoT의 통신 성능을 향상시킬 수 있으며 결과적으로 데이터 감소율, 네트워크 수명 및 에너지의 효율성을 높일 수 있다.

  • PDF

인용문헌의 효율적인 검색을 위한 KSCI 시스템 설계

  • Lee, Gye-Jun
    • Journal of Scientific & Technological Knowledge Infrastructure
    • /
    • s.7
    • /
    • pp.113-127
    • /
    • 2001
  • 인용문헌정보의 효율적인 저장과 검색을 위하여 인용한 문헌과 인용된 문헌들의 구성요소를 추출하고 상호 인용관계에 대한 논리정보와 구조정보를 재구성을 통해 표현하고, 패스인코딩 색인기법에 의해 구성요소의 중복을 제거하였으며, 관련 있는 데이터베이스들과의 연계를 위하여 XML을 기반으로 하는 KSCI(Korea Science Citation Index)시스템을 설계하였다.

  • PDF

Blocking Elimination Method Using Graph Clustering In Influence Propagation (그래프 클러스터링을 이용한 영향력 전파에서의 블로킹 제거 방법)

  • Lee, Rich. Chul-Ghi;Lee, Wookey
    • Annual Conference of KIPS
    • /
    • 2015.04a
    • /
    • pp.706-709
    • /
    • 2015
  • 영향력 전파 문제는 주어진 네트워크 환경에서 영향력을 최대화 할 수 있는 top-k 노드를 찾는 문제로 데이터 마이닝 분야에서 활발히 연구되어왔다. 본 논문에서는 그래프 클러스터링 기법을 사용하여 영향력을 전파하는 방법을 제안하고자 한다. 이러한 방법에는 두 가지 이점이 있는데 먼저 서로 다른 시드 사이에 영향력이 중복되는 블로킹 현상을 제거하여 수행시간을 단축시킬 수 있다. 다음으로는 유 방향 그래프인 경우 기존의 탐욕 알고리즘보다 더 많은 노드에 전파를 가능하게 한다.

A Perceptual Audio Coder Based on Temporal-Spectral Structure (시간-주파수 구조에 근거한 지각적 오디오 부호화기)

  • 김기수;서호선;이준용;윤대희
    • Journal of Broadcast Engineering
    • /
    • v.1 no.1
    • /
    • pp.67-73
    • /
    • 1996
  • In general, the high quality audio coding(HQAC) has the structure of the convertional data compression techniques combined with moodels of human perception. The primary auditory characteristic applied to HQAC is the masking effect in the spectral domain. Therefore spectral techniques such as the subband coding or the transform coding are widely used[1][2]. However no effort has yet been made to apply the temporal masking effect and temporal redundancy removing method in HQAC. The audio data compression method proposed in this paper eliminates statistical and perceptual redundancies in both temporal and spectral domain. Transformed audio signal is divided into packets, which consist of 6 frames. A packet contains 1536 samples($256{\times}6$) :nd redundancies in packet reside in both temporal and spectral domain. Both redundancies are elminated at the same time in each packet. The psychoacoustic model has been improved to give more delicate results by taking into account temporal masking as well as fine spectral masking. For quantization, each packet is divided into subblocks designed to have an analogy with the nonlinear critical bands and to reflect the temporal auditory characteristics. Consequently, high quality of reconstructed audio is conserved at low bit-rates.

  • PDF

Non Duplicated Extract Method of Heterogeneous Data Sources for Efficient Spatial Data Load in Spatial Data Warehouse (공간 데이터웨어하우스에서 효율적인 공간 데이터 적재를 위한 이기종 데이터 소스의 비중복 추출기법)

  • Lee, Dong-Wook;Baek, Sung-Ha;Kim, Gyoung-Bae;Bae, Hae-Young
    • Journal of Korea Spatial Information System Society
    • /
    • v.11 no.2
    • /
    • pp.143-150
    • /
    • 2009
  • Spatial data warehouses are a system managing manufactured data through ETL step with extracted spatial data from spatial DBMS or various data sources. In load period, duplicated spatial data in the same subject are not useful in extracted spatial data dislike aspatial data and waste the storage space by the feature of spatial data. Also, in case of extracting source data on heterogeneous system, as those have different spatial type and schema, the spatial extract method is required for them. Processing a step matching address about extracted spatial data using a standard Geocoding DB, the exiting methods load formal data set. However, the methods cause the comparison operation of extracted data with Geocoding DB, and according to integrate spatial data by subject it has problems which do not consider duplicated data among heterogeneous spatial DBMS. This paper proposes efficient extracting method to integrate update query extracted from heterogeneous source systems in data warehouse constructer. The method eliminates unnecessary extracting operation cost to choose related update queries like insertion or deletion on queries generated from loading to current point. Also, we eliminate and integrate extracted spatial data using update query in source spatial DBMS. The proposed method can reduce wasting storage space caused by duplicate storage and support rapidly analyzing spatial data by loading integrated data per loading point.

  • PDF