• 제목/요약/키워드: Large-memory data processing

검색결과 192건 처리시간 0.023초

누적밀도 웨이블릿 히스토그램을 이용한 공간 선택율 추정 (Spatial Selectivity Estimation using Cumulative Wavelet Histograms)

  • 지정희;정재혁;류근호
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제32권5호
    • /
    • pp.547-557
    • /
    • 2005
  • 선택율 추정 기법들의 공통적인 목표는 데이타의 요약 정보를 적은 저장 공간에 유지하고, 추정된 값과 질의 결과에 대한 오차를 최소화하는 것이다. 방대한 양의 공간 데이타에 대한 선택율 추정의 경우, 정확한 결과를 얻기 위해서는 공간 데이타의 분포를 반영하는 요약 정보를 필요로 하며, 그러한 요약 정보를 생성하기 위해서는 많은 저장 공간을 필요로 한다. 따라서, 이 논문에서는 적은 저장 공간을 사용하면서, 정확성 높은 선택율을 추정하는 누적밀도 웨이블릿 히스토그램을 제안한다. 이 히스토그램은 기존의 누적밀도 히스토그램에 유지되는 각 서브 히스토그램에 대해 웨이블릿 변환을 적용함으로써, 보다 적은 저장 공간에서 높은 정확도의 선택율을 얻을 수 있다. 우리는 실험결과를 통하여 기존 히스토그램의 저장 공간에 $25\%\~50\%$만을 사용하여 높은 정확도의 선택율 추정 결과를 보임으로써, 기존의 다른 선택율 추정기법들이 갖는 저장공간에 대한 제약사항을 해결함과 동시에 적은 저장공간을 사용하여 높은 정확도의 선택율 추정이 가능함을 확인 하였다. 이 논문에서 제안된 기법은 공간 데이타베이스에서의 공간 범위 질의에 대한 정확성 높은 선택율을 추정하기 위해 사용될 수 있다.

이동체 데이타베이스를 위한 통합 색인의 설계 및 구현 (Design and Implementation of Unified Index for Moving Objects Databases)

  • 박재관;안경환;정지원;홍봉희
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제33권3호
    • /
    • pp.271-281
    • /
    • 2006
  • 최근 PDA, 휴대폰, 노트북, GPS, RFID와 같은 모바일 장치의 발달과 범용적인 사용으로 위치 기반 서비스(LBS: Location Based Service)에 대한 요구가 점점 증대되고 있다. 위치 기반 서비스의 핵심 기술로는 이동체의 위치를 저장 및 관리하기 위한 이동체 데이타베이스를 들 수 있다. 이러한 데이타베이스는 이동체 정보를 빠르게 검색하기 위해 색인을 필요로 하며, 이 색인은 다수의 이동체에 의해 갱신되는 업데이트를 관리하고 실시간으로 위치를 추적할 수 있어야 한다. 따라서 이동체 데이터베이스를 위한 색인은 실시간 처리를 위해서 메인 메모리에서 동작하는 색인의 구조를 가져야 하며, 다수 이동체의 위치 정보를 관리하기 위해 색인의 일부분을 메모리에서 디스크로 이동하거나 디스크에서 메모리로 로딩하는 기법을 지원해야 한다. 이 논문에서는 이러한 색인의 요구 조건을 충족시키기 위해서 메인 메모리와 디스크를 연동하는 통합색인 기법과 메모리 공간 부족 시에 색인의 일부를 디스크로 이동시키는 이주 정책들을 제시하였다 이주 정책은 디스크 I/O를 줄이기 위해 노드 단위가 아닌 서브트리 단위로 이동하도록 함으로써, 벌크 연산 및 동적 클러스터링의 효과를 얻게 된다. 통합 색인은 이주 정책에 따라 다른 형태로 구성될 수 있으며, 본 논문에서는 Oldest Node 정책과 LRU Buffer 정책을 적용하였다. 또한 통합 색인을 구현하고, 각 이주 정책 별로 실험 평가를 수행하여 성능을 측정하였다

캐시 주소의 태그 이력을 활용한 에너지 효율적 고성능 데이터 캐시 구조 (An Energy Efficient and High Performance Data Cache Structure Utilizing Tag History of Cache Addresses)

  • 문현주;지승현
    • 정보처리학회논문지A
    • /
    • 제14A권1호
    • /
    • pp.55-62
    • /
    • 2007
  • 모바일 기기와 같이 배터리에 의존적인 시스템에서 사용되는 임베디드 프로세서는 총 소모 전력의 많은 부분을 캐시에서 소모한다. 본 논문에서는 임베디드 프로세서용 고성능 선인출 데이터캐시의 저전력화 방안을 연구하였다. 고성능 선인출 데이터캐시에서 메모리 참조명령의 수행에 앞서 참조예측의 결과로 발생하는 선인출 명령은 캐시 적중률을 높여 메모리 참조 시간을 단축하는 반면 선인출 명령의 수에 비례하여 전력 소모가 증가한다. 본 논문에서는 선인출 데이터캐시에 태그이력표(tag history table)를 구비하여 병렬태그탐색을 최소화함으로써 전력 소모를 줄이는 캐시 구조를 제안하였다. 실험을 통해 확인한 결과 제안한 데이터캐시 구조가 기존 데이터캐시 구조에 비하여 수행 시간과 전력 소모를 모두 줄일 수 있음을 확인하였다.

비선형 특징추출 기법에 의한 머리전달함수(HRTF)의 저차원 모델링 및 합성 (Low Dimensional Modeling and Synthesis of Head-Related Transfer Function (HRTF) Using Nonlinear Feature Extraction Methods)

  • 서상원;김기홍;김현석;김현빈;이의택
    • 한국정보처리학회논문지
    • /
    • 제7권5호
    • /
    • pp.1361-1369
    • /
    • 2000
  • For the implementation of 3D Sound Localization system, the binaural filtering by HRTFs is generally employed. But the HRTF filter is of high order and its coefficients for all directions have to be stored, which imposes a rather large memory requirement. To cope with this, research works have centered on obtaining low dimensional HRTF representations without significant loss of information and synthesizing the original HRTF efficiently, by means of feature extraction methods for multivariate dat including PCA. In these researches, conventional linear PCA was applied to the frequency domain HRTF data and using relatively small number of principal components the original HRTFs could be synthesized in approximation. In this paper we applied neural network based nonlinear PCA model (NLPCA) and the nonlinear PLS repression model (NLPLS) for this low dimensional HRTF modeling and analyze the results in comparison with the PCA. The NLPCA that performs projection of data onto the nonlinear surfaces showed the capability of more efficient HRTF feature extraction than linear PCA and the NLPLS regression model that incorporates the direction information in feature extraction yielded more stable results in synthesizing general HRTFs not included in the model training.

  • PDF

클라우드 분산 파일 시스템 성능 개선 및 평가 (Performance Enhancement and Evaluation of Distributed File System for Cloud)

  • 이종혁
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제7권11호
    • /
    • pp.275-280
    • /
    • 2018
  • 클라우드 환경에서 빅데이터 적재와 이후 애플리케이션을 통한 고속 처리를 위해서는 적합한 분산 파일 시스템의 선택이 요구된다. 본 논문에서는 GlusterFS 기반 쓰기 성능 향상 방법을 제안하고 클라우드 환경에서 기존 분산 파일 시스템 중 MapRFS, CephFS, GlusterFS와 성능을 비교 평가한다. 본 논문에서 제안한 쓰기 성능 향상 방법은 동기식 스토리지 복제 방식에서 사용하는 동기화 수준을 디스크에서 메모리로 변경함으로써 응답 시간을 향상 시킨다. 실험 결과는 본 논문의 제안 방법이 적용된 분산 파일 시스템이 순차 쓰기의 경우와 랜덤 쓰기와 랜덤 읽기가 혼합된 경우에서 다른 분산 파일 시스템 대비 성능이 우수함을 보인다.

전이 금속 산화물 기반 Interface-type 저항 변화 특성 향상 연구 동향 (Research Trends on Interface-type Resistive Switching Characteristics in Transition Metal Oxide)

  • 김동은;김건우;김형남;박형호
    • 마이크로전자및패키징학회지
    • /
    • 제30권4호
    • /
    • pp.32-43
    • /
    • 2023
  • 저항 변화 메모리 소자(RRAM)는 저항 변화 특성을 기반으로 빠른 동작 속도, 간단한 소자 구조 및 고집적 구조의 구현을 통해 많은 양의 데이터를 효율적으로 처리할 수 있는 차세대 메모리 소자로 주목받고 있다. RRAM의 작동원리 중 하나로 알려진 interface type의 저항 변화 특성은 forming process를 수반하지 않고 소자 크기를 조절하여 낮은 전류에서 구동이 가능하다는 장점을 갖는다. 그 중에서도 전이 금속 산화물 기반 RRAM 소자의 경우, 정확한 물질의 조성 조절 방법과 소자의 신뢰성 및 안정성과 같은 메모리 특성을 향상시키기 위해 다양한 연구가 진행 중에 있다. 본 논문에서는 이종 원소의 도핑, 다층 박막의 형성, 화학적 조성 조절 및 표면 처리 등의 방법을 이용하여 interface type 저항 변화 특성의 저하를 방지하고 소자 특성을 향상시키기 위한 다양한 방법을 소개하고자 한다. 이를 통해 향상된 저항 변화 특성을 기반으로 한 고효율 차세대 비휘발성 메모리 소자의 구현 가능성을 제시한다.

트랜스포머 기반 효율적인 자연어 처리 방안 연구 (A Study on Efficient Natural Language Processing Method based on Transformer)

  • 임승철;윤성구
    • 한국인터넷방송통신학회논문지
    • /
    • 제23권4호
    • /
    • pp.115-119
    • /
    • 2023
  • 현재의 인공지능에서 사용되는 자연어 처리 모델은 거대하여 실시간으로 데이터를 처리하고 분석하는 것은 여러가지 어려움들을 야기하고 있다. 이런 어려움을 해결하기 위한 방법으로 메모리를 적게 사용해 처리의 효율성을 개선하는 방법을 제안하고 제안된 모델의 성능을 확인하였다. 본 논문에서 제안한 모델의 성능평가를 위해 적용한 기법은 BERT[1] 모델의 어텐션 헤드 개수와 임베딩 크기를 작게 조절해 큰 말뭉치를 나눠서 분할 처리 후 출력값의 평균을 통해 결과를 산출하였다. 이 과정에서 입력 데이터의 다양성을 주기위해 매 에폭마다 임의의 오프셋을 문장에 부여하였다. 그리고 모델을 분류가 가능하도록 미세 조정하였다. 말뭉치를 분할 처리한 모델은 그렇지 않은 모델 대비 정확도가 12% 정도 낮았으나, 모델의 파라미터 개수는 56% 정도 절감되는 것을 확인하였다.

유사도 검색을 위한 데이터 재배열을 이용한 공간 효율적인 역 색인 기법 (A Space-Efficient Inverted Index Technique using Data Rearrangement for String Similarity Searches)

  • 임마누;김종익
    • 정보과학회 논문지
    • /
    • 제42권10호
    • /
    • pp.1247-1253
    • /
    • 2015
  • 유사도 검색에서는 효율적으로 유사성을 만족하는 문자열을 찾기 위해서 데이터에 대한 역 색인을 구축하여 이용한다. 일반적으로 기존의 기법들은 빠른 응답속도의 질의처리를 위해서 역 색인을 메모리에 상주시킨다. 하지만 구축된 역 색인은 그 크기가 매우 크다는 문제점을 가지고 있다. 따라서 데이터의 크기가 매우 큰 경우나 자원이 제약적인 환경에서는 역 색인을 이용한 질의처리가 불가능할 수 있다. 본 논문에서는 동일한 q-그램을 포함하는 문자열들이 서로 인접한 위치가 되도록 재배치시킨 후 해당 문자열들을 범위로 표현한다. 실험을 통하여 질의처리의 성능을 희생하지 않으면서도 색인의 크기가 줄어드는 것을 보인다.

SWOSpark : 분산 처리 기반 공간 웹 객체 검색 시스템 (SWOSpark : Spatial Web Object Retrieval System based on Distributed Processing)

  • 양평우;남광우
    • 정보과학회 논문지
    • /
    • 제45권1호
    • /
    • pp.53-60
    • /
    • 2018
  • 본 논문은 인 메모리 기반의 분산처리 시스템인 Spark를 이용하여 공간 웹 객체 검색 시스템을 구현한 논문이다. 소셜 네트워크의 발전은 방대한 양의 공간 웹 객체를 생성하게 되었고, 기존의 공간 웹 객체 검색 시스템을 이용한 데이터 검색이나 분석은 힘들어졌다. 최근에 분산처리 시스템의 발전은 대용량의 데이터를 빠르게 분석하고 검색하는 기능을 지원해준다. 따라서 대용량의 공간 웹 객체를 검색하기 위해서는 분산 처리 시스템을 이용한 방법이 필요하다. 분산 처리 시스템에서는 데이터가 블록 단위로 처리되고, 이러한 블록 하나를 Spark에서는 데이터를 RDD로 변환하여 처리한다. 본 논문에서는 위의 방법에 착안하여 전체 공간 영역을 기반으로 서로 겹치지 않는 공간영역으로 분할을 하고, 분할된 영역 하나당 하나의 파티션을 할당하고 각각의 파티션은 자신이 포함하고 있는 데이터에 대한 공간 웹 객체 인덱스로 구성하는 시스템을 제안한다. 즉, 본 논문에서는 공간 분할을 이용하여 분산처리 시스템을 효율적으로 이용하고, 분할된 공간에 대한 검색의 효율성을 높일 수 있는 시스템을 제안한다. 또한, 데이터의 검색을 위하여 공간 정보와 단어 정보를 같이 사용하여 인덱스를 구축하는 QP-tree를 적용한 방법과 공간 정보만을 이용하여 인덱스를 구축하는 R-tree를 적용한 방법과의 비교를 통하여 제안한 시스템이 공간 웹 객체의 검색에 더 우수한 성능을 보여주는 것을 확인할 수 있다.

EES 프레임워크를 위한 하이브리드 생산설비 데이터 습득 시스템(HEDAS)의 설계 및 구현 (Design and Implementation of a Hybrid Equipment Data Acquisition System(HEDAS) for Equipment Engineering System(EES) Framework)

  • 김경배
    • 한국컴퓨터정보학회논문지
    • /
    • 제17권2호
    • /
    • pp.167-176
    • /
    • 2012
  • 본 논문은 장비엔지니어링 시스템(EES) 프레임워크에서 반도체와 광전자 제조장비를 위한 새로운 하이브리드 생산설비데이터 습득 시스템을 설계하고 구현한다. 장비엔지니어링 분야에서 장비로부터 수집되는 데이터 량이 급격히 증가하고 있다. 제안된 HEDAS(Hybrid Equipment Data Acquisition System)는 EES 프레임워크에서 발생하는 대용량의 실시간 데이터를 효율적으로 처리한다. 또한, 제안된 시스템은 실시간 EES 응용 뿐만 아니라 비실시간 EES 응용을 지원할 수 있다. 실시간 EES 응용을 위해서 HEDAS는 메모리 기반의 연속질의와 필터링 기술을 이용하여 고속의 실시간 처리를 수행한다. HEADS는 비 실시간 장비 데이터를 HEADS 기반의 데이터베이스 또는 기존의 데이터베이스에 선택적으로 저장할 수 있다. 특히, 급격하게 증가하는 장비 데이터에 대해 디스크 저장 비용을 절감하기 위해 타임스템프 기반의 압축 인덱싱과 질의처리 기법을 제공한다. HEDAS는 EES 프레임워크에서 대용량의 실시간 및 비 실시간 장비 데이터를 수집하여 다양한 EES 응용에 수집된 데이터를 전송할 수 있는 효율적인 시스템이다.