• Title/Summary/Keyword: multidimensional data processing

검색결과 93건 처리시간 0.024초

디지털 영상 처리를 위한 Quincunx 표본화가 사용된 이중 트리 이산 웨이브렛 변환 (Dual-tree Wavelet Discrete Transformation Using Quincunx Sampling For Image Processing)

  • 신종홍
    • 디지털산업정보학회논문지
    • /
    • 제7권4호
    • /
    • pp.119-131
    • /
    • 2011
  • In this paper, we explore the application of 2-D dual-tree discrete wavelet transform (DDWT), which is a directional and redundant transform, for image coding. DDWT main property is a more computationally efficient approach to shift invariance. Also, the DDWT gives much better directional selectivity when filtering multidimensional signals. The dual-tree DWT of a signal is implemented using two critically-sampled DWTs in parallel on the same data. The transform is 2-times expansive because for an N-point signal it gives 2N DWT coefficients. If the filters are designed is a specific way, then the sub-band signals of the upper DWT can be interpreted as the real part of a complex wavelet transform, and sub-band signals of the lower DWT can be interpreted as the imaginary part. The quincunx lattice is a sampling method in image processing. It treats the different directions more homogeneously than the separable two dimensional schemes. Quincunx lattice yields a non separable 2D-wavelet transform, which is also symmetric in both horizontal and vertical direction. And non-separable wavelet transformation can generate sub-images of multiple degrees rotated versions. Therefore, non-separable image processing using DDWT services good performance.

다차원 데이터 처리를 위한 맵리듀스 기반의 그리드 파일 생성기법에 관한 연구 (A Study on The Grid File Construction Method based on MapReduce for Multidimensional Data Processing)

  • 정주혁;이상호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.77-80
    • /
    • 2014
  • 최근 컴퓨터와 인터넷 이용의 확산, 스마트폰을 포함한 스마트 기기의 보급과 소셜 네트워크 이용의 확대, 위치 기반의 다양한 서비스 확대 등으로 처리해야 할 데이터 크기가 증가하는 추세이다. 이에 따라 대용량 데이터에 대한 처리가 큰 이슈로 떠오르고 있다. 그로 인해 대용량 데이터 처리를 위한 큰 규모의 분산 컴퓨팅 환경을 지원하는 프레임워크인 하둡이 개발되었으며 많은 기업에서 이를 활용하고 있는 추세이다. 하지만 대용량 데이터 중 영상, 의료, 센서 데이터 등 다차원 데이터 처리에 관한 연구는 미비한 상태이다. 기존의 다차원 데이터 처리를 위해 다양한 다차원 인덱스가 제안되었지만, 대용량 다차원 데이터 처리는 단일머신에서는 비효율적인 단점이 있다. 본 논문에서는 다차원 인덱스 기법인 그리드 파일을 하둡의 분산 병렬 처리 모델인 맵리듀스를 기반으로 생성하는 기법을 제안한다. 또한 앞서 생성된 그리드 파일을 가지고 맵리듀스를 이용한 질의처리 방법을 제안 한다. 이로 인해 단일머신에서의 그리드 파일 생성을 병렬처리 함으로써 생성 시간을 단축시키고 질의 처리 또한 맵리듀스를 이용하여 병렬 처리 함으로써 질의 시간 단축을 예상한다.

시계열 데이터베이스에서 DFT-기반 다차원 인덱스를 위한 물리적 데이터베이스 설계 (Physical Database Design for DFT-Based Multidimensional Indexes in Time-Series Databases)

  • 김상욱;김진호;한병일
    • 한국멀티미디어학회논문지
    • /
    • 제7권11호
    • /
    • pp.1505-1514
    • /
    • 2004
  • 시퀀스 매칭은 시계열 데이터베이스로부터 질의 시퀀스와 변화의 추세가 유사한 데이터 시퀀스들을 검색하는 연산이다. 기존의 대부분의 연구에서는 효과적인 시퀀스 매칭을 위하여 다차원 인덱스를 사용하며, 데이터 시퀀스를 이산 푸리에 변환(Discrete Fourier Transform: DFT)한 후, 단순히 앞의 두 개 내지 세 개의 DFT 계수만을 구성 속성 (organizing attributes)으로 사용함으로써 고차원의 경우 발생하는 차원 저주(dimensionality curse) 문제를 해결한다. 본 논문에서는 기존의 단순한 기법이 가지는 성능 상의 문제점들을 지적하고, 이러한 문제점들을 해결하는 최적의 다차원 인덱스 구성 기법을 제안한다. 제안된 기법은 대상이 되는 시계열 데이터베이스의 특성을 사전에 분석함으로써 변별력이 뛰어난 요소들을 다차원 인덱스의 구성 속성으로 선정하며, 비용 모델(cost model)을 기반으로 한 시퀀스 매칭 비용의 추정을 통하여 다차원 인덱스에 참여하는 최적의 구성 속성의 수를 결정한다. 제안된 기법의 우수성을 규명하기 위하여 실험을 통한기존 기법과의 성능 비교를 수행하였다 실험 결과에 의하면, 제안된 기법은 기존의 기법에 비교하여 매우 큰 성능 개선 효과를 가지는 것으로 나타났다.

  • PDF

데이터 큐브 모델과 SVM을 이용한 철도 선로전환기의 교체시기 탐지 (Replacement Condition Detection of Railway Point Machines Using Data Cube and SVM)

  • 최용주;오지영;박대희;정용화;김희영
    • 스마트미디어저널
    • /
    • 제6권2호
    • /
    • pp.33-41
    • /
    • 2017
  • 철도 선로전환기는 열차의 진로를 현재의 궤도에서 다른 궤도로 제어하는 장치이다. 선로전환기의 노후화로 인한 이상 상황은 탈선 등과 같은 심각한 문제를 발생할 수 있기 때문에, 선로전환기의 적절한 교체시기를 결정하는 것은 매우 중요하다. 본 논문에서는 국내 철도 현장에서 획득한 선로전환기의 전류신호로부터 다차원 데이터 큐브를 구성하고 OLAP(On-Line Analytical Processing) 분석을 통하여 체계적으로 "교체가 필요한 데이터"와 "교체 시점이 아닌 데이터" 집합을 정제하여 분류하였다. 또한 선로전환기의 교체시기 탐지 문제를 이진 분류 문제로 해석하여 이진 분류기의 대표적 모델인 SVM(Support Vector Machine)을 탐지기로 설계함으로써 선로전환기의 노후화에 따른 적절한 교체시기를 탐지하는 시스템을 제안한다. 이때, 입력되는 전류 신호를 DWT(Discrete Wavelet Transform)와 PCA(Principal Components Analysis) 기법으로 고차원의 특징벡터 신호를 정보의 손실을 최소화하면서 저차원의 특징벡터로 변환한다. 실제 국내에서 운행 중인 선로전환기의 이상상황 정보가 포함된 대규모의 전류 신호를 이용하여 제안하는 시스템의 성능을 실험적으로 검증한 바 98%를 넘는 탐지 정확도를 확인하였다.

시퀀스 데이터베이스를 위한 타임 워핑 기반 유사 검색 (A Method for Time Warping Based Similarity Search in Sequence Databases)

  • 김상욱;박상현
    • 산업기술연구
    • /
    • 제20권B호
    • /
    • pp.219-226
    • /
    • 2000
  • In this paper, we propose a new novel method for similarity search that supports time warping. Our primary goal is to innovate on search performance in large databases without false dismissal. To attain this goal, we devise a new distance function $D_{tw-lb}$ that consistently underestimates the time warping distance and also satisfies the triangular inequality. $D_{tw-lb}$ uses a 4-tuple feature vector extracted from each sequence and is invariant to time warping. For efficient processing, we employ a multidimensional index that uses the 4-tuple feature vector as indexing attributes and $D_{tw-lb}$ as a distance function. We prove that our method does not incur false dismissal. To verify the superiority of our method, we perform extensive experiments. The results reveal that our method achieves significant speedup up to 43 times with real-world S&P 500 stock data.

  • PDF

교통이력 데이터의 품질 개선과 What-If 분석을 위한 자료처리 기법의 구현 (Implementation of a Data Processing Method to Enhance the Quality and Support the What-If Analysis for Traffic History Data)

  • 이민수;정수정;최옥주;맹보연
    • 정보처리학회논문지D
    • /
    • 제17D권2호
    • /
    • pp.87-102
    • /
    • 2010
  • 현재 우리나라에서는 매일 막대한 양의 교통 데이터가 측정장치들로부터 수집되고 있으나 오류 데이터와 누락된 데이터들이 상당히 많은 실정이다. 더구나 이러한 데이터는 중요한 분석의 대상이 될 수 있음에도 불구하고 일정 시간이 지나면 삭제되고 있다. 그리하여 본 논문에서는 이러한 교통 데이터를 지속적으로 누적하여 다차원 모델로 저장하면서 데이터의 품질을 결정하는 유효성과 완전성을 높이면서 what-if 분석 기능을 지원하는 일련의 자료처리 과정을 제공하는 통합 교통이력 데이터베이스 시스템의 구현을 설명한다. 구현된 시스템에서는 다양한 오류 및 누락 데이터 패턴들을 보정하는 기법들을 제공하며, what-if 분석 기능은 다양한 데이터 정제 및 가공 과정들에 관련된 환경변수와 일련의 처리 과정들의 조합을 융통성 있게 정의하도록 함으로써 다양한 상황들을 가정하고 실험하여 결과를 분석할 수 있게 해준다. 이러한 what-if 분석 기능은 교통 데이터의 활용도를 획기적으로 높여주며 외국의 교통데이터 시스템들에서도 제공하지 못하고 있다. 교통이력데이터를 정제한 실험결과 매우 우수한 유효성 및 완전성을 가진 교통 데이터를 생성함을 확인하였다.

오픈-소스 자료처리 기술개발 소프트웨어(Madagascar)를 이용한 탄성파 현장자료 전산처리 적용성 연구 (A Study on the Field Data Applicability of Seismic Data Processing using Open-source Software (Madagascar))

  • 손우현;김병엽
    • 지구물리와물리탐사
    • /
    • 제21권3호
    • /
    • pp.171-182
    • /
    • 2018
  • 탄성파 처리 기술개발 분야의 오픈-소스 소프트웨어인 Madagascar를 이용하여 신호 대 잡음비가 낮고 속도정보가 불확실한 현장 탄성파 자료에 대해 자료처리를 수행하고, 오픈-소스 소프트웨어의 현장 적용성을 시험하였다. 파이썬(python) 기반의 Madagascar는 방법론적으로는 다차원 자료 분석이 가능하고, 처리 공정의 재현성이 뛰어나 효율적인 자료처리가 가능하다는 장점이 있지만, 다소 복잡한 사용법과 자료 구조 시스템으로 인해 현장 자료에 대한 자료처리 사례는 많지 않다. 본 연구에서는 현장 자료에 대한 Madagascar의 효용성을 확인하기 위해 기본적인 탄성파 자료처리(자료입력, 지형 정보 일치, 진동수-파수 필터, 예측 곱풀기, 속도 분석, 수직 시간차 보정, 겹쌓기, 참반사 보정)를 수행하였다. 테스트를 위해 사용한 현장 자료는 서해 군산분지에서 에어건 음원과 480채널의 스트리머로 취득한 해양 탄성파 탐사자료이며, 각 자료처리 단계마다의 결과를 Landmark사의 상용 소프트웨어인 ProMAX (SeisSpace R5000)을 사용하여 처리한 결과와 비교하였다. 그 결과 데이터 입출력 및 관리, 처리 과정의 재현성 및 자동 속도 분석 측면에서는 Madagascar가 상대적으로 높은 효율성을 보였고, 신호 품질 향상을 위한 전처리 결과는 상용 소프트웨어와 유사함을 확인하였다. 반면에, 심부 지층에 대한 영상화 결과는 상용 소프트웨어로 처리한 결과가 보다 뛰어남을 확인하였다. 이러한 결과는 상용 소프트웨어의 경우 다양한 겹반사 제거 모듈이 적용되었고, 상호 대화식 인터페이스로 인해 보다 정교한 자료처리가 가능하였기 때문이다. 그러나, Madagascar의 경우에도 현재 전 세계에서 많은 연구자들이 다양한 자료처리 알고리듬을 개발하여 지속적으로 공개하고 있기 때문에, 향후 이러한 최신 알고리듬을 적용한다면 상업용 수준의 자료처리가 가능해져 보다 향상된 결과를 도출할 수 있을 것이다.

Hellinger 엔트로피를 이용한 다차원 연속패턴의 생성방법 (Learning Multidimensional Sequential Patterns Using Hellinger Entropy Function)

  • 이창환
    • 정보처리학회논문지B
    • /
    • 제11B권4호
    • /
    • pp.477-484
    • /
    • 2004
  • 데이터 마이닝에서 연속패턴(sequential pattern) 생성기술은 시차를 두고 발생한 사건들에 대하여 잠재해있는 패턴을 발견하는 기술을 의미한다. 본 연구는 정보이론을 이용하여 데이터베이스로부터 연속패턴을 자동으로 발견하는 방법에 관한 내용이다. 기존의 방법들이 한 속성내에서의 연속패턴만을 탐지하는 일차원 연속패턴을 생성하는데 비하여 본 연구에서 제시하는 방법은 데이터베이스내의 모든 속성간의 연속패턴 관계를 탐지할 수 있는 다차원 연속패턴을 생성할 수 있다. 본 연구에서는 연속패턴 생성을 위하여 헬링거(Hellinger) 변량을 사용하였으며 이를 이용하여 발견된 연속패턴들의 중요도를 측정할 수 있었다. 또한 헬링거 변량의 함수적인 특성을 분석하여 연속패턴 추출의 복잡도를 줄이기 위한 두 가지의 법칙이 제안되었고 다수의 실험 데이터를 통하여 다차원의 연속패턴을 생성할 수 있음을 보였다.

R-트리에서 빈번한 변경 질의 처리를 위한 효율적인 기법 (An Efficient Technique for Processing Frequent Updates in the R-tree)

  • 권동섭;이상준;이석호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제31권3호
    • /
    • pp.261-273
    • /
    • 2004
  • 정보 통신 기술의 발달은 데이타베이스 분야에도 새로운 응용들을 만들고 있다. 예를 들어, 수많은 객체들의 위치를 추적하는 이동 객체 데이타베이스나 각종 센서들로부터 들어오는 데이타 스트림을 처리하는 스트림 데이타베이스에서 다루는 데이타는 일반적으로 매우 빠르고 끊임없이 변경된다. 하지만, 전통적인 데이타베이스에서는 데이타를 사용자의 명시적인 변경이 있기 전까지는 변하지 않는 상대적으로 정적인 것으로 간주하고 있기 때문에, 전통적인 데이타베이스 시스템은 이러한 끊임없고 동적인 데이터의 변화를 효율적으로 처리하는데 문제를 지닌다. 특히 다차원 데이타 처리를 위한 대표적 인덱스 구조인 R-트리의 경우, 데이타의 삽입이나 삭제가 연속적인 노드의 분할이나 합병을 유발하고 있으므로 이러한 문제는 더 심각해진다. 본 논문에서는 이러한 빈번한 변경 효율적으로 처리하기 위하여 새로운 R-트리 갱신기법인 리프 갱신 기법을 제안한다. 리프 갱신 기법에서는 새로운 데이타가 이전에 속해있던 리프 노드의 MBR 내에 있으면 전체 트리를 변경하지 않고 해당 리프 노드만을 변경시킨다. 이러한 리프 갱신 처리와 리프 노드를 직접 접근하게 해주는 리프 접근 해시 테이블을 이용하여 리프 갱신 기법은 데이타의 변경연산 비용을 크게 줄인다. 제안기법은 기존 R-트리의 알고리즘과 구조를 그대로 이용하고, R-트리의 정확성을 보장하므로 다양한 R-트리 변종들에도 적용 가능하고 R-트리를 이용하는 다양한 응용 환경에 이용이 가능하다. 본 논문에서는 제안 기법이 기존 기법에 대하여 가지는 갱신 연산의 비용 이득을 수학적으로 분석하였고, 실험을 통하여 제안 기법의 우수성을 확인하였다.

AVL 트리를 사용한 효율적인 스트림 큐브 계산 (Efficient Computation of Stream Cubes Using AVL Trees)

  • 김지현;김명
    • 정보처리학회논문지D
    • /
    • 제14D권6호
    • /
    • pp.597-604
    • /
    • 2007
  • 스트림 데이터는 끊임없이 고속으로 생성되는 데이터로써 최근 이러한 데이터를 분석하여 부가가치를 얻고자 하는 노력이 활발히 진행 중 이다. 본 연구에서는 스트림 데이터의 다차원적 분석을 위해 큐브를 고속으로 계산하는 방법을 제안한다. 스트림 데이터는 비즈니스 데이터와는 달리 정렬되지 않은 채로 도착하며, 데이터의 끝에 도달하지 않은 상태에서는 집계 결과를 낼 수 없어서, 고속으로 집계하는 과정에서 저장 공간의 낭비를 심하게 초래한다. 또한 큐브에 속한 집계 테이블들을 모두 생성하는 것은 시간/공간 측면에서 비효율적이라는 점이 지적되고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 기존 연구들과 마찬가지로 큐브에 포함시킬 집계 테이블들을 사용자가 미리 정하도록 하였고, 정렬되지 않은 스트림 데이터를 고속으로 집계하는 과정에서 배열과 AVL 트리들로 구성된 자료구조를 집계 테이블의 임시 저장소로 사용하였다. 제안한 알고리즘은 생성하려는 큐브가 메모리에 상주할 수 없을 정도로 큰 경우에도 집계 연산을 수행할 수 있다. 이론적 분석과 성능 평가를 통해 제안한 큐브 계산 알고리즘이 실용적임을 입증하였다.