• 제목/요약/키워드: Large-memory data processing

검색결과 192건 처리시간 0.032초

전류모드 OFDM FFT LSI를 위한 전류모드 직병렬/병직렬 변환기 (Current-Mode Serial-to-Parallel and Parallel-to-Serial Converter for Current-Mode OFDM FFT LSI)

  • 박용운;민준기;황성호
    • 한국인터넷방송통신학회논문지
    • /
    • 제9권1호
    • /
    • pp.39-45
    • /
    • 2009
  • 본 논문에서는 최근 무선 통신 시스템에서 빠른 데이터전송 방식으로서 사용되고 있는 OFDM 통신방식의 저소비전력화 방안을 제안한다. 일반적으로 OFDM에서 주요 신호처리 방식은 디지털을 이용한 프리에 변환이다. 이런 디지털 프리에 변환은 많은 소비전력이 필요하며 이것은 무선통신 시스템에 있어서 커다란 제약이 되고 있다. 전류모드를 이용한 아날로그 프리에 변환(FFT) LSI는 이러한 소비전력의 문제를 해결할 수 있는 주요 대안으로 떠오르고 있다. 그러나 이러한 신호처리 방식을 사용하기 위해서는 전류모드를 이용한 직병렬/병직렬 변환기(Serial-to-Parallel/Parallel-to-Serial Converter)가 필수적으로 필요하다. 본 논문에서는 전류모드로 구성한 아날로그 프리에 변환(FFT) LSI를 이용해 수신단의 저소비전력을 실현하기 위해 필수적인 새로운 전류모드 직병렬/병직렬 변환기를 제시하였으며 설계된 칩의 측정결과가 시뮬레이션 결과와 일치하는 것을 확인하였다. 제안된 전류모드 직병렬/병직렬 변환기의 개발로 저소비전력에 큰 장점을 지니고 있는 아날로그 FFT LSI의 활용이 가능해졌으며 송수신단 시스템에서 큰 소비전력의 감소효과를 가져올 것으로 기대된다.

  • PDF

위치기반 서비스를 위한 다중레벨 DBMS에 질의 분류 컴포넌트의 설계 및 구현 (Design and Implementation of Query Classification Component in Multi-Level DBMS for Location Based Service)

  • 장석규;어상훈;김명근;배해영
    • 정보처리학회논문지D
    • /
    • 제12D권5호
    • /
    • pp.689-698
    • /
    • 2005
  • 현재 위치기반 서비스를 제공하기 위하여 다양한 시스템들이 사용되고 있다. 그러나 기존의 시스템들은 상당히 많은 사용자들에게 빠른 서비스를 제공하기에는 적합하지가 않다. 이러한 문제점을 해결하기 위하여 빠른 데이터 처리와 대용량의 데이터 관리를 동시에 지원하는 다중레벨 DBMS를 사용하여야 한다. 스냅샷을 갖는 다중레벨 DBMS는 디스크에 모든 데이터를 가지고 있으며, 빠른 처리를 요구하는 데이터는 스냅샷의 형태로 메인메모리 데이터베이스에서 관리한다. 이 시스템의 성능을 최적화하여 위치기반 서비스를 제공하기 위해서는 스냅샷에 존재하는 데이터를 효율적으로 사용할 수 있도록 질의를 분류하는 컴포넌트가 필요하다. 본 논문에서는 위치기반 서비스를 위한 다중레벨 DBMS에서 질의 분류 컴포넌트를 설계하고 구현한다. 제안된 컴포넌트는 입력된 질의를 메모리 질의, 디스크 질의, 하이브리드 질의로 분류하여 스냅샷 사용율을 높이고, 스냅샷의 일부분을 사용할 수 있도록 질의의 비공간과 공간 필터 조건을 분할하는 메커니즘을 사용하였다. 따라서, 제안된 컴포넌트는 효율적인 질의 분류를 통하여 스냅샷을 최대한 이용함으로써 시스템의 성능을 향상시킨다.

비트 플레인 정합에 의한 움직임 추정기의 VLSI 설계 (VLSI Design for Motion Estimation Based on Bit-plane Matching)

  • 고영기;오형철;고성제
    • 대한전자공학회논문지SP
    • /
    • 제38권5호
    • /
    • pp.509-517
    • /
    • 2001
  • 전역탐색알고리즘(full-search algorithm, FSA)은 탐색영역의 범위가 커짐에 따라 방대한 양의 계산을 필요로 하기 때문에 이에 따른 알고리듬의 처리시간이 커지고, 하드웨어로 구현했을 때 회로가 복잡해진다는 문제점을 안고 있다. 본 논문에서는 이러한 문제점을 개선하기 위한 방안으로 비트플레인 정합에 의한 움직임 추정기의 VLSI 구조를 제안한다. 제안된 움직임 추정기에서는 비트 플레인 정합기준을 이용하여 기존의 전역 탐색 알고리즘을 하나의 이진영상으로 적용함으로써 움직임 추정에 소요되는 연산의 양을 크게 줄이면 서도 전역탐색 알고리듬과 유사한 움직임 추정 성능을 갖도록 하였으며, 제안된 VLSI 구조에서는 두 개의 프로세싱 코어를 채택하여 데이터 흐름을 시스톨릭 (systolic) 어레이의 형태로 제어하여, 시스템 내부의 SRAM을 제거하여 동작 속도 상의 이득뿐만 아니라, 메모리 공정을 필요로 하지 않는 저가의 공정을 사용 가능하게 함으로써 제작상의 비용을 절감할 수 있는 해결책을 제시하였다. 구현된 하드웨어는 VHDL을 이용하여 설계하고, 기능 검증을 수행한 후 0.6-μm three-metal CMOS 공정을 이용하여 8.15 X 10.84㎟의 크기로 집적하였다.

  • PDF

인메모리 관계형 데이터베이스 시스템을 이용한 대용량 텍스트 로그 데이터의 패턴 매칭 방법 (A Pattern Matching Method of Large-Size Text Log Data using In-Memory Relational Database System)

  • 한혁;최재용;진성일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 춘계학술발표대회
    • /
    • pp.837-840
    • /
    • 2017
  • 각종 사이버 범죄가 증가함에 따라 실시간 모니터링을 통한 사전 탐지 기술뿐만 아니라, 사후 원인 분석을 통한 사고 재발 방지 기술의 중요성이 증가하고 있다. 사후 분석은 시스템에서 생산된 다양한 유형의 대용량 로그를 기반으로 분석가가 보안 위협 과정을 규명하는 것으로 이를 지원하는 다양한 상용 및 오픈 소스 SW 존재하나, 대부분 단일 분석가 PC에서 운용되는 파일 기반 SW로 대용량 데이터에 대한 분석 성능 저하, 다수 분석가 간의 데이터 공유 불가, 통계 연관 분석 한계 및 대화형 점진적 내용 분석 불가 등의 문제점을 해결하지 못하고 있다. 이러한 문제점을 해결하기 위하여 고성능 인메모리 관계형 데이터베이스 시스템을 로그 스토리지로 활용하는 대용량 로그 분석 SW 개발하였다. 특히, 기 확보된 공격자 프로파일을 활용하여 공격의 유무를 확인하는 텍스트 패턴 매칭 연산은 전통적인 관계형 데이터베이스 시스템의 FTS(Full-Text Search) 기능 활용이 가능하나, 대용량 전용 색인 생성에 따른 비현실적인 DB 구축 소요 시간과 최소 3배 이상의 DB 용량 증가로 인한 시스템 리소스 추가 요구 등의 단점이 있다. 본 논문에서는 인메모리 관계형 데이터베이스 시스템 기반 효율적인 텍스트 패턴 매칭 연산을 위하여, 고성능의 대용량 로그 DB 적재 방법과 새로운 유형의 패턴 매칭 방법을 제안하였다.

오류 역전도 알고리즘의 학습속도 향상기법 (An Enhancement of Learning Speed of the Error - Backpropagation Algorithm)

  • 심범식;정의용;윤충화;강경식
    • 한국정보처리학회논문지
    • /
    • 제4권7호
    • /
    • pp.1759-1769
    • /
    • 1997
  • 다층신경회로망의 학습방법인 오류역전도 알고리즘은 연관기억장치, 음성인식, 패턴인식, 로보틱스등과 같은 다양한 응용분야에 널리 사용되고 있다. 그럼에도 불구하고 계속 많은 논문들이 역전도 알고리즘에 대해 발표되고 있는 실정이다. 이러한 연구 동향의 주된 이유는, 뉴런 갯수와 학습 패턴의 갯수가 큰 경우에 역전도 알고리즘의 학습속도가 상당히 느리다는 사실때문이다. 본 연구에서는 가변학습율, 가변모멘텀율, 그리고 시그모이드 함수의 가변기울기를 이용한 새로운 학습속도 가속기법을 개발하였다. 학습이 수행되는 도중에, 이러한 파라메터들은 전체 오류의 변화량에 따라 연속적으로 조정되며, 제안된 기법은 기존의 역전도 알고리즘에 비해 획기적으로 학습시간을 단축시키는 결과를 보였다. 제안된 기법의 효율성을 입증하기 위하여, 처음에는 난수발생기로 생성한 이진 데이터를 이용하여 에포크(epoch) 횟수를 비교할 때 훌륭한 속도 향상을 보였으며, 또한, 기계학습(machine learning)의 벤치마크 학습자료로 많이 사용되는 이진 Monk's data, 4, 5, 6, 7비트 패리티 검사 문제와 실수 Iris data에도 적용하였다.

  • PDF

컬럼-지향 데이터베이스를 위한 컬럼-인지 트랜잭션 관리 기법 (Column-aware Transaction Management Scheme for Column-Oriented Databases)

  • 변시우
    • 인터넷정보학회논문지
    • /
    • 제15권4호
    • /
    • pp.125-133
    • /
    • 2014
  • 컬럼-지향 데이터베이스 저장소는 우수한 입출력 성능으로 대용량 데이터 분석 시스템을 위한 매우 진보적인 모델이다. 전통적인 데이터 저장소는 빠른 쓰기 연산을 위하여 한 레코드의 속성들을 하드디스크에 연속적으로 배치되어 있는 가로-지향 저장 모델을 활용하였다. 하지만 검색이 대부분인 데이터웨어하우스 시스템을 위해서는 월등한 판독 성능 때문에 컬럼-지향 저장소가 더 적합한 모델이 되고 있다. 또한 최근에는 플래시 메모리를 사용한 SSD가 고속 데이터 분석 시스템을 위한 적합한 저장 매체로 인식되고 있다. 이제 플래시 메모리는 비휘발성, 낮은 전력소모, 빠른 데이터 접근 속도 등의 특징으로 최신 데이터베이스 서버의 핵심 저장 요소로 충분한 기반이 되었다. 하지만 컬럼 압축의 느린 특성과 일반 RAM 메모리에 비하여 상대적으로 느린 플래시 메모리 연산 특성을 고려하여 기존의 트랜잭션 처리 기법을 개선할 필요가 있다. 본 연구에서는 효율적인 트랜잭션 처리를 위하여 컬럼-인지 다중 버전로킹(CaMVL) 기법을 제안한다. CaMVL은 로크 관리 과정에서 플래시의 느린 쓰기 연산과 지우기 연산을 효과적으로 제어하기 위하여 멀티 버전 읽기를 허용하고 압축 로크를 허용하여 트랜잭션 처리 성능을 높인다. 또한 성능 검증을 위하여 시뮬레이션 모델을 제안하였으며 실험 결과 분석을 통하여 CaMVL이 기존의 트랜잭션 처리 기법보다 우수함을 확인하였다.

Trie 구조를 이용한 비디오 인덱스 생성 및 검색 (Video Index Generation and Search using Trie Structure)

  • 현기호;김정엽;박상현
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제30권7_8호
    • /
    • pp.610-617
    • /
    • 2003
  • 비디오 데이타베이스에서 유사도 정합은 비디오 클러스터링과 비디오 라이브러리 등과 같은 많은 새로운 응용분야에서 중요성이 증가하고 있다. 대용량 데이타베이스에서 효과적인 접근을 제공하기 위하여 다양한 공간과 시간에 대한 특징치를 이용한 비디오 인덱싱 분야의 많은 연구노력이 있어왔다. 그러나 대부분의 기존 방법들은 순차적인 정합방법 또는 메모리 기반의 역 파일 기법 등에 의존하므로 대용량 데이타베이스에는 적합하지 않다. 이러한 문제를 해결하기 위하여 본 논문에서는 효과적이고 스케일 조정가능한 인덱싱 기법을 제안하기 위하여, 문자열 정합을 위해 제안된 trio를 인덱스 구조로 이용하였다. 인덱스 구성을 위하여 윈도우 순서 휴리스틱을 이용하여 각 프레임을 기호 시퀀스로 변환하고, 기호 시퀀스의 집합으로부터 디스크 상주 trio를 구성하였다 질의 처리를 위하여 trio 상에서 깊이-우선 검색과 시간 축분할을 실시하였으며, 제안한 방법의 성능을 검증하기 위하여 실제와 합성 데이터 집합에 대한 실험을 수행하였다. 제안한 방법은 지속적으로 순차적 스캔 방법보다 우수한 성능을 보였고, 성능이득은 대용량 비디오 데이타베이스에서도 유지되었다.

웹기반 가상공간에서 실시간 네비게이션을 위한 셀 로딩 알고리즘 (A Cell Loading Algorithm for Realtime Navigation in the Web-Based Virtual Space)

  • 이기동;하주한
    • 정보처리학회논문지B
    • /
    • 제11B권3호
    • /
    • pp.337-344
    • /
    • 2004
  • 현실감이 고려된 대부분의 가상공간을 구성하는 데에는 많은 양의 저장공간이 필요하게 된다. 이러한 가상공간에서의 네비게이션은 현실감 뿐만 아니라 실시간 반응성을 요구하게 되는데, 오프라인 시스템이라던 보조기억장치를 이용하여 한꺼번에 많은 데이타를 미리 저장해 두면 실시간 반응을 할 수 있게 된다. 그러나 웹기반의 온라인 가상 시스템에서는 데이터 전송시간이 실시간 반응성에 영향을 주기 때문에 새로운 방식의 로딩이 필요하게 된다. 본 연구에서는 웹기반의 가상공간 네비게이션을 위한 셀로딩 알고리즘 두 가지를 제안하고, 그 성능을 비교한다. 컴퓨터 시뮬레이션 결과, 필요 없는 셀의 로딩을 줄임여 실시간 반응성을 향상시킬 수 있는 육각형 셀로딩 방식이 사각형 셀방식 보다 셀로딩 개수를 평균 30% 정도 줄일 수 있음을 알 수 없다.

Development of Real time Air Quality Prediction System

  • Oh, Jai-Ho;Kim, Tae-Kook;Park, Hung-Mok;Kim, Young-Tae
    • 한국환경과학회:학술대회논문집
    • /
    • 한국환경과학회 2003년도 International Symposium on Clean Environment
    • /
    • pp.73-78
    • /
    • 2003
  • In this research, we implement Realtime Air Diffusion Prediction System which is a parallel Fortran model running on distributed-memory parallel computers. The system is designed for air diffusion simulations with four-dimensional data assimilation. For regional air quality forecasting a series of dynamic downscaling technique is adopted using the NCAR/Penn. State MM5 model which is an atmospheric model. The realtime initial data have been provided daily from the KMA (Korean Meteorological Administration) global spectral model output. It takes huge resources of computation to get 24 hour air quality forecast with this four step dynamic downscaling (27km, 9km, 3km, and lkm). Parallel implementation of the realtime system is imperative to achieve increased throughput since the realtime system have to be performed which correct timing behavior and the sequential code requires a large amount of CPU time for typical simulations. The parallel system uses MPI (Message Passing Interface), a standard library to support high-level routines for message passing. We validate the parallel model by comparing it with the sequential model. For realtime running, we implement a cluster computer which is a distributed-memory parallel computer that links high-performance PCs with high-speed interconnection networks. We use 32 2-CPU nodes and a Myrinet network for the cluster. Since cluster computers more cost effective than conventional distributed parallel computers, we can build a dedicated realtime computer. The system also includes web based Gill (Graphic User Interface) for convenient system management and performance monitoring so that end-users can restart the system easily when the system faults. Performance of the parallel model is analyzed by comparing its execution time with the sequential model, and by calculating communication overhead and load imbalance, which are common problems in parallel processing. Performance analysis is carried out on our cluster which has 32 2-CPU nodes.

  • PDF

클라우드 데이터 서비스를 위한 대용량 데이터 처리 분산 파일 아키텍처 설계 (Distributed File Systems Architectures of the Large Data for Cloud Data Services)

  • 이병엽;박준호;유재수
    • 한국콘텐츠학회논문지
    • /
    • 제12권2호
    • /
    • pp.30-39
    • /
    • 2012
  • 최근 클라우드 컴퓨팅 시장에 진출했거나 진출을 선언한 글로벌 IT 기업들을 이미 보유하고 있는 하드웨어, 소프트웨어 기반 기술들을 활용하거나 상호 협력을 통해 다양한 클라우드 서비스들을 제공함으로써 불특정 다수를 대상으로 급격하게 성장하고 있는 클라우드 컴퓨팅 시장에서 자신들의 영역을 지속적으로 확장해 나가고 있다. 분산 파일 시스템은 데이터의 저장과 관리뿐만 아니라 상위 계층 서비스가 요구하는 충분한 성능과 안정성을 보장해주기 위한 클라우드 컴퓨팅의 핵심 기술 중의 하나이다. 본 논문 에서는 클라우드 컴퓨팅을 위해 분산 파일 시스템이 갖추어야 할 사항들과 클라우드 컴퓨팅에서 활용 가능한 오픈 소스 기반의 하둡 분산 파일 시스템, 메모리 데이터베이스 기술, 고가용성 데이터베이스 시스템을 소개하고 현재 클라우드 컴퓨팅 시장에서 활용되고 있는 분산 파일 시스템의 동향을 통한 다양한 분산처리 기술을 참고하여 대용량 분산 데이터 처리 아키텍처를 구현하였다.