• 제목/요약/키워드: 다차원의 저주

검색결과 13건 처리시간 0.023초

동적 비트 할당을 통한 다차원 벡터 근사 트리 (Multi-Dimensional Vector Approximation Tree with Dynamic Bit Allocation)

  • 복경수;허정필;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제4권3호
    • /
    • pp.81-90
    • /
    • 2004
  • 최근 컴퓨팅 환경의 급속한 발전으로 다양한 응용에서 다차원 데이터에 대한 활용이 증가되고 있다. 본 논문에서는 내용 기반 다차원 데이터 검색을 위한 벡터 관사 트리를 제안한다 제안하는 색인 구조는 공간 분할 방식과 벡터 근사화 기법을 이용하여 영역 정보를 표현하기 때문에 하나의 노드 안에 많은 영역 정보를 저장하여 트리의 높이를 감소시킨다 또한 다차원의 데이터 공간에 동적인 비트로 할당하여 다차원색인 구조의 문제점인 '차원의 저주 현상'을 해결한다. 또한 군집화된 데이터에 대해서 효과적인 표현 기법을 제공한다. 자식 노드의 영역 정보는 부모 노드를 기준으로 상대적으로 표현함으로서 좀더 정확한 영역을 표현할 수 있다. 제안하는 색인 구조의 우수성을 보이기 위해 실험을 통해 기존에 제안된 색인구조와의 비교 분석을 수행한다.

  • PDF

다차원 데이터의 효과적인 유사도 검색을 위한 색인구조 (Index Structure for Efficient Similarity Search of Multi-Dimensional Data)

  • 복경수;허정필;유재수
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.97-99
    • /
    • 2004
  • 본 논문에서는 다차원 데이터의 유사도 검색을 효과적으로 수행하기 위한 색인 구조를 제안한다. 제안하는 색인 구조는 차원의 저주 현상을 극복하기 위한 벡터 근사 기반의 색인 구조이다. 제안하는 색인 구조는 부모 노드를 기준으로 KDB-트리와 유사한 영역 분할 방식으로 분할하고 분할된 각 영역은 데이터의 분포 특성에 따라 동적 비트를 할당하여 벡터 근사화된 영역을 표현한다. 따라서, 하나의 노드 안에 않은 영역 정보를 저장하여 트리의 깊이를 줄일 수 있다. 또한 다차원의 특징 벡터 공간에 상대적인 비트를 할당하기 때문에 군집화되어 있는 데이터에 대해서 효과적이다 제안하는 색인 구조의 우수성을 보이기 위해 다양한 실험을 통하여 성능의 우수성을 입증한다.

  • PDF

물류 데이터의 연속 질의 처리를 위한 다차원 색인 기법 (Multi dimensional index technique for continuous Query of logistics data)

  • 추병조;홍봉희;김기홍
    • 한국GIS학회:학술대회논문집
    • /
    • 한국GIS학회 2008년도 공동춘계학술대회
    • /
    • pp.82-88
    • /
    • 2008
  • EPCglobal은 기업 간의 물류 활동 촉진과 글로벌 유통물류 시스템 구축을 위하여 EPCglobal Architecture Framework을 제시 하였다. EPCglobal Architecture Framework의 한 구성요소인 EPCIS(Electronic Product Code Information Services)는 EPC 기반 물류 관련 정보에 대한 저장 및 검색 서비스를 제공한다. EPCIS는 단발성 질의(poll)와 연속 질의(subscribe) 검색 서비스를 제공한다. EPCIS의 연속 질의는 시스템 자동화 및 재고 관리, 공급망 관리를 위해 다양한 응용에서 활용이 가능하다. 일반적으로 연속 질의의 성능을 향상시키기 위해서는 질의 색인을 사용한다. 그러나 EPCIS는 13차원의 도메인과 모든 데이터 필드가 필수 조건이 아니라는 것으로 인해, 차원의 저주 및 무한 영역 질의 문제를 발생 시킨다. 본 논문에서는 EPCIS의 물류 데이터의 연속 질의 처리를 위한 다차원 색인 기법을 제안한다. 13차원의 도메인을 여러 개의 질의 색인으로 구성하고, 등록된 질의 및 입력되는 데이터에 의해 변경되는 동적 질의 실행 계획을 제안함으로써, 차원의 저주와 무한 영역 질의의 문제를 해결하고, EPCIS에서 다수의 연속 질의 등록 시 효율적으로 처리가 가능하도록 한다.

  • PDF

시계열 데이터베이스에서 DFT-기반 다차원 인덱스를 위한 물리적 데이터베이스 설계 (Physical Database Design for DFT-Based Multidimensional Indexes in Time-Series Databases)

  • 김상욱;김진호;한병일
    • 한국멀티미디어학회논문지
    • /
    • 제7권11호
    • /
    • pp.1505-1514
    • /
    • 2004
  • 시퀀스 매칭은 시계열 데이터베이스로부터 질의 시퀀스와 변화의 추세가 유사한 데이터 시퀀스들을 검색하는 연산이다. 기존의 대부분의 연구에서는 효과적인 시퀀스 매칭을 위하여 다차원 인덱스를 사용하며, 데이터 시퀀스를 이산 푸리에 변환(Discrete Fourier Transform: DFT)한 후, 단순히 앞의 두 개 내지 세 개의 DFT 계수만을 구성 속성 (organizing attributes)으로 사용함으로써 고차원의 경우 발생하는 차원 저주(dimensionality curse) 문제를 해결한다. 본 논문에서는 기존의 단순한 기법이 가지는 성능 상의 문제점들을 지적하고, 이러한 문제점들을 해결하는 최적의 다차원 인덱스 구성 기법을 제안한다. 제안된 기법은 대상이 되는 시계열 데이터베이스의 특성을 사전에 분석함으로써 변별력이 뛰어난 요소들을 다차원 인덱스의 구성 속성으로 선정하며, 비용 모델(cost model)을 기반으로 한 시퀀스 매칭 비용의 추정을 통하여 다차원 인덱스에 참여하는 최적의 구성 속성의 수를 결정한다. 제안된 기법의 우수성을 규명하기 위하여 실험을 통한기존 기법과의 성능 비교를 수행하였다 실험 결과에 의하면, 제안된 기법은 기존의 기법에 비교하여 매우 큰 성능 개선 효과를 가지는 것으로 나타났다.

  • PDF

초분광 영상 라이브러리에서 피라미드 색인 기법의 영역 질의를 이용한 스펙트럴 매칭 (Spectral matching using Range Queries based on Pyramid-Technique in Hyperspectral Image Library)

  • 유재환;김덕환
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2011년도 춘계 종합학술대회 논문집
    • /
    • pp.83-84
    • /
    • 2011
  • 초분광 영상은 기존의 다중분광 영상보다 많은 밴드를 통해 넓은 범위의 파장 영역에 대한 반사율을 담고 있는 고차원 데이터이다. 이와 같은 고차원 데이터를 기존의 R-Tree, X-Tree와 같은 다차원 색인 방법을 사용하게 되면 차원의 저주(Course of Dimensionality)라는 문제가 발생한다. 본 논문에서는 차원의 저주 문제를 해결하기 위해 피라미드 기법을 사용하여 초분광 영상 라이브러리의 색인을 구축하였다. 파라미드 기법은 D차원의 데이터를 2D차원의 피라미드에 사상하고, B+-트리를 이용하여 1차원적으로 색인하는 방법이다. 실험 결과 스펙트럼 매칭을 위한 영역질의 방법이 후보자 추출 시간, 데이터 접근 빈도 측면에서 순차적 접근 방법보다 좋은 성능을 나타냈다.

  • PDF

모양 정보의 회귀추정에 의한 내용 기반 이미지 검색 기법 (Contents-based Image Retrieval Using Regression of Shape Features)

  • 송준규;최황규
    • 디지털콘텐츠학회 논문지
    • /
    • 제2권2호
    • /
    • pp.157-166
    • /
    • 2001
  • 본 논문은 내용 기반 이미지 검색 시스템에서 이미지의 위치 및 모양 정보에 의한 회귀선을 추정하여 효율적으로 특징 벡터 추출함과 동시에 같은 도메인상의 특징 벡터가 일정 수준보다 많아질 경우 효율적으로 특징 벡터의 차원을 줄이는 기법을 제안한다. 특히, 특징 벡터의 차원을 줄이는 제안된 기법은 특징 벡터의 수에 관계없이 특정한 n개의 특징 벡터로의 변환이 가능하다. 본 논문에서 제안된 기법들은 실제 내용 기반 이미지 검색 시스템의 구현을 통해 기존의 방법보다 효율적인 검색은 물론 다차원 특징 벡터를 특정 n차원의 특징 벡터로 변환함으로써 다차원 색인 기법이 가지고 있는 가장 큰 단점인 '차원의 저주' 문제를 근본적으로 해결할 수 있는 방법임을 보인다.

  • PDF

다차원 데이타를 위한 공간 분할 및 적응적 비트 할당 기반 색인 구조 (An Index Structure based on Space Partitions and Adaptive Bit Allocations for Multi-Dimensional Data)

  • 복경수;김은재;유재수
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권5호
    • /
    • pp.509-525
    • /
    • 2005
  • 본 논문에서는 다차원 데이타의 유사도 검색을 효율적으로 지원하기 위한 벡터 근사 기반의 색인 구조를 제안한다. 제안하는 색인 구조는 공간 분할 방식으로 영역을 분할하고 실제 데이타들이 존재하는 영역에 대해 동적 비트를 할당하여 영역을 표현한다. 따라서, 분할된 영역들 사이에 겹침이 발생하지 않으며 하나의 중간 노드에 많은 영역 정보를 저장할 수 있어 트리의 깊이를 감소시킨다. 또한, 특정 영역에 군집화되어 있는 데이타에 대해서 효과적인 표현 기법을 제공하며 자식 노드의 영역 정보는 부모 노드의 영역 정보를 이용하여 상대적으로 표현함으로써 영역 표현에 대한 정확성을 보장한다. 이를 통해 검색성능 향상을 제공한다. 제안하는 색인 구조의 우수성을 보이기 위해 기존에 제안된 다차원 색인 구조와의 다양한 실험을 통하여 성능의 우수성을 입증한다. 성능 평가 결과를 통해 제안하는 색인 구조가 기존 색인 구조보다 $40\%$정도 검색 성능이 향상됨을 증명한다.

Earth Mover's Distance 기반 M-트리의 성능 분석 (A Performance Analysis on the M-tree with the Earth Mover's Distance)

  • 이원조;하성대;정교성;장민희;김상욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.1232-1233
    • /
    • 2011
  • Earth mover's distance(EMD)는 내용 기반 데이터 검색을 위한 거리 함수로서 정확도가 매우 높은 검색 결과를 가져오지만, 계산 복잡도가 높아 대용량 데이터베이스에서 사용하기 어렵다. 이러한 문제를 해결하기 위한 방법으로 다차원 인덱스인 M-트리를 사용하여 데이터 비교 횟수를 크게 줄일 수 있다. 그러나 고차원의 데이터에 인덱스를 사용하면 차원의 저주 문제로 인해 검색 성능이 크게 저하될 수 있다. 본 논문에서는 이러한 문제를 정량적으로 검증하기 위하여 고차원 데이터를 대상으로 EMD 기반 M-트리를 구축한 후 다양한 실험을 수행한다. 실험 결과, 고차원 데이터에서도 차원의 저주는 일어나지 않는 것으로 나타났다. 이러한 공헌은 EMD의 검색 성능 개선을 위한 정책을 고안하는데, 중요한 실마리를 제공할 수 있을 것이다.

데이터 마이닝에서의 폴리클라스 (Polyclass in Data Mining)

  • 구자용;박헌진;최대우
    • 응용통계연구
    • /
    • 제13권2호
    • /
    • pp.489-503
    • /
    • 2000
  • 다양한 형태의 데이터로부터 의사 결정에 유용한 정보 및 지식을 발견하려는 일련의 데이터분석 및 모형 선정과정을 데이터 마이닝(Data Mining)이라고 할 수 있다. 데이터 마이닝의 적용 예로는 신규고객에 대한 신용평가, 고객이탈방지 등과 같은 분야에서 발생하는 스코링 문제를 들 수 있는데 신용평가에서는 신용이 나쁠 가능성을 스코어로 나타내고 스코어가 높은 고객을 대상으로 특별관리를 할 수 있을 것이며 고객이탈방지에서는 이탈가능성을 스코어로 나타내고 스코어가 높은 고객을 대상으로 이탈 방지 캠페인을 벌일 수 있을 것이다. 본 논문에서는 스코링 문제를 사후확률에 대한 모형화 문제로 파악하였다. 폴리클라스를 스코링 문제에 적용하는 방법을 소개한 후 이를 독일 신용 데이터, 국내 모 PC통신회사 데이터 및 국내 모 이동통신 데이터에 적용하였다. 스코링의 성능은 이득률을 이용하여 평가하고자 하는데 나무 모형에 비하여 폴리클라스 방법이 우수함을 확인하였다.

  • PDF

유전자알고리즘을 이용한 웨이블릿분석 및 인공신경망기법의 통합모형구축 (A Hybrid System of Wavelet Transformations and Neural Networks Using Genetic Algorithms: Applying to Chaotic Financial Markets)

  • Shin, Taeksoo;Han, Ingoo
    • 한국데이타베이스학회:학술대회논문집
    • /
    • 한국데이타베이스학회 1999년도 춘계공동학술대회: 지식경영과 지식공학
    • /
    • pp.271-280
    • /
    • 1999
  • 인공신경망을 시계열예측에 적용하는 경우에 고려되어야 할 문제중, 특히 모형에 적합한 입력변수의 생성이 중요시되고 있는데, 이러한 분야는 인공신경망의 모형생성과정에서 입력변수에 대한 전처리기법으로써 다양하게 제시되어 왔다. 가장 최근의 입력변수 전처리기법으로써 제시되고 있는 신호처리기법은 전통적 주기분할처리방법인 푸리에변환기법(Fourier transforms)을 비롯하여 이를 확장시킨 개념인 웨이블릿변환기법(wavelet transforms) 등으로 대별될 수 있다. 이는 기본적으로 시계열이 다수의 주기(cycle)들로 구성된 상이한 시계열들의 집합이라는 가정에서 출발하고 있다. 전통적으로 이러한 시계열은 전기 또는 전자공학에서 주파수영역분할, 즉 고주파 및 저주파수를 분할하기 위한 기법에 적용되어 왔다. 그러나, 최근에는 이러한 연구가 다양한 분야에 활발하게 응용되기 시작하였으며, 그 중의 대표적인 예가 바로 경영분야의 재무시계열에 대한 분석이다 전통적으로 재무시계열은 장, 단기의사결정을 가진 시장참여자들간의 거래특성이 시계열에 각기 달리 가격으로 반영되기 때문에 이러한 상이한 집단들의 고유한 거래움직임으로 말미암아 예를 들어, 주식시장이 프랙탈구조를 가지고 있다고 보기도 한다. 이처럼 재무시계열은 다양한 사회현상의 집합체라고 볼 수 있으며, 그만큼 예측모형을 구축하는데 어려움이 따른다. 본 연구는 이러한 시계열의 주기적 특성에 기반을 둔 신호처리분석으로서 기존의 시계열로부터 노이즈를 줄여 주면서 보다 의미 있는 정보로 변환시켜 줄 수 있는 웨이블릿분석 방법론을 새로운 필터링기법으로 사용하여 현재 많은 연구가 진행되고 있는 인공신경망과의 모형결합을 통해 기존연구와는 다른 새로운 통합예측방법론을 제시하고자 한다. 본 연구에서 제시하는 통합방법론은 크게 2단계 과정을 거쳐 예측모형으로 완성이 된다. 즉, 1차 모형단계에서 원시 재무시계열은 먼저 웨이블릿분석을 통해서 노이즈가 필터링 되는 동시에, 과거 재무시계열의 프랙탈 구조, 즉 비선형적인 움직임을 보다 잘 반영시켜 주는 다차원 주기요소를 가지는 시계열로 분해, 생성되며, 이렇게 주기에 따라 장단기로 분할된 시계열들은 2차 모형단계에서 신경망의 새로운 입력변수로서 사용되어 최종적인 인공 신경망모델을 구축하는 데 반영된다.

  • PDF