• 제목/요약/키워드: Large-memory data processing

검색결과 192건 처리시간 0.024초

스트림 데이터 처리를 위한 비트맵 인덱스 기반 복합 이벤트 검출 기법에 관한 연구 (A Study on The Complex Event Detection Methods Based on Bitmap Index for Stream data Processing)

  • 박용민;오영환
    • 대한전자공학회논문지TC
    • /
    • 제48권4호
    • /
    • pp.61-68
    • /
    • 2011
  • 이벤트 기반 서비스 기술은 실시간으로 발생하는 이벤트를 감지하고 분석하여 이에 대한 반응으로 서비스가 연동되는 기술로, 실시간 기업 환경 구축이나 유비쿼터스 서비스 환경 구축을 위한 핵심 기반 기술이다. 실시간 기업 환경에서 요구되고 있는 기업 내 업무 프로세스에서 발생하는 다양한 정보를 실시간 모니터링, 분석하여 변화에 대한 신속한 대응을 제공하거나, 유비쿼터스 서비스 환경에서 상황에 맞게 적시에 맞춤형서비스를 제공하기 위해서는 이벤트 기반의 서비스 기술이 요구된다. 최근 이벤트 중심의 비즈니스 프로세스로 복합 이벤트 처리(CEP : Complex Event Processing) 방식이 사용된다. 복합 이벤트 처리 방식은 여러 이벤트 소스로부터 발생한 이벤트를 대상으로 이벤트들의 영향을 분석하여 대응되는 액션을 처리하는 방식으로 가장 핵심이 되는 기술은 어떻게 사용자에게 의미있는 이벤트(복합 이벤트)를 검출하는가이다. 기존의 연구에서는 복합 이벤트를 구성하는 모든 이벤트가 발생하지 않아도 부분적으로 발생하는 이벤트에 대해 계속적으로 연산을 수행하여 많은 연산과 많은 메모리를 소비하는 문제점이 있다. 이러한 문제를 해결하기 위해 본 논문에서는 대용량의 스트림 데이터에서 발생한 모든 이벤트를 처리하지 않고 응용 계층에서 등록한 복합 이벤트를 구성하는 모든 이벤트가 발생하면, 복합 이벤트를 처리하는 이벤트 검출 기법을 제안한다. 제안 하는 기법은 먼저 비트맵 인덱스를 이용하여 이벤트의 발생 유/무를 관리한다. 또한 복합 이벤트 질이의 마지막 이벤트를 트리거 이벤트로 정의하며, 이 트리거 이벤트가 발생하는 시점을 통해 이벤트의 발생을 표시한 비트맵 인덱스에 복합 이벤트를 구성하는 모든 이벤트의 발생 유/무를 검사하여 모든 이벤트가 발생하였다면, 연산을 수행할 수 있도록 제안한다. 제안하는 기법은 실험을 통해 복합 이벤트를 구성하는 이벤트의 검사를 매번 수행하지 않고 모든 이벤트가 발생하였을 때에만 연산을 수행함으로 불필요한 연산을 방지하고, 처리하는 이벤트의 수를 감소시켜 연산의 효율성을 증가 시켰다.

GAN 적대적 생성 신경망과 이미지 생성 및 변환 기술 동향 (Research Trends of Generative Adversarial Networks and Image Generation and Translation)

  • 조영주;배강민;박종열
    • 전자통신동향분석
    • /
    • 제35권4호
    • /
    • pp.91-102
    • /
    • 2020
  • Recently, generative adversarial networks (GANs) is a field of research that has rapidly emerged wherein many studies conducted shows overwhelming results. Initially, this was at the level of imitating the training dataset. However, the GAN is currently useful in many fields, such as transformation of data categories, restoration of erased parts of images, copying facial expressions of humans, and creation of artworks depicting a dead painter's style. Although many outstanding research achievements have been attracting attention recently, GANs have encountered many challenges. First, they require a large memory facility for research. Second, there are still technical limitations in processing high-resolution images over 4K. Third, many GAN learning methods have a problem of instability in the training stage. However, recent research results show images that are difficult to distinguish whether they are real or fake, even with the naked eye, and the resolution of 4K and above is being developed. With the increase in image quality and resolution, many applications in the field of design and image and video editing are now available, including those that draw a photorealistic image as a simple sketch or easily modify unnecessary parts of an image or a video. In this paper, we discuss how GANs started, including the base architecture and latest technologies of GANs used in high-resolution, high-quality image creation, image and video editing, style translation, content transfer, and technology.

공유메모리 다중처리기에서 효율적인 프로세서 동기화 기법 (An Efficient Processor Synchronization Scheme on Shared Memory Multiprocessor)

  • 윤석한;원철호;김덕진
    • 전자공학회논문지B
    • /
    • 제32B권5호
    • /
    • pp.683-692
    • /
    • 1995
  • Many kinds of large scale multiprocessing and parallel-processing systems have recently been developed. The contention on the shared data caused by multiple processors may degrade system performance. So, processor synchronization has become one of the important issues in these systems. To solve the synchornization issues, a lot of software and hardware schemes based on spin lock have been proposed. Although software schemes are easy to implement, hardware schemes are preferred in many systems to gain optimized performance. This paper proposes an efficient processor synchronization scheme, called QCX,and describes its design considerations, hardware, algorithm, protocol. Also, in this paper, the performance of QCX has been evaluated with QOLB[5] and LBP[7] using a simulation. The simulation, with varying the number of processor and the contention on shared variables, measured the average execution times of a workload. The simulation results show that the performances of QCX is best when practicability is considered. QCX is more efficient than QOLB and LBP in two aspects. First, the hardware of QCX is more simple and cost-effective because the cache structure need not be changed. Secondly, QCX is more general because it uses a generic atomic instruction.

  • PDF

전체해석과 국부해석을 통한 Door Inner 스탬핑 공정에서 발생하는 주름의 효과적인 해석 (An Efficient Analysis of Wrinkling in the Door Inner Stamping Process by Global Analysis and Subsequent Local Analysis)

  • 김종봉;김태정;양동열;유동진
    • 소성∙가공
    • /
    • 제9권6호
    • /
    • pp.653-662
    • /
    • 2000
  • Wrinkling is one of the major defects in sheet metal products together with tearing, springback and other geometric and surface defects. The initiation and growth of wrinkles are influenced by many factors such as stress ratios, mechanical properties of the sheet material, geometry of the workpiece, contact condition, etc. It is difficult to analyze the wrinkling initiation and growth considering all the factors because the effects of the factors are very complex and the wrinkling behavior may show a wide scatter of data even for small deviations of factors. The finite element analyses of the wrinkling initiation and growth in the sheet metal forming process provide the detailed information about the wrinkling behavior of sheet metal. The direct analyses of the wrinkling initiation and growth, however, bring about a little difficulty in complex industrial problems because it needs large memory size and long computation time. In the present study, therefore, a global-local analysis technique is introduced for the computational efficiency. Through the analysis of wrinkling in the door inner stamping process, the efficiency of the global-local analysis technique is investigated.

  • PDF

이미지 빅데이터를 고려한 하둡 플랫폼 환경에서 GPU 기반의 얼굴 검출 시스템 (A GPU-enabled Face Detection System in the Hadoop Platform Considering Big Data for Images)

  • 배유석;박종열
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제22권1호
    • /
    • pp.20-25
    • /
    • 2016
  • 디지털 빅데이터 시대가 도래함에 따라 다양한 분야에서 하둡 플랫폼이 널리 사용되고 있지만, 하둡 맵리듀스 프레임워크는 대량의 작은 파일들을 처리하는데 있어서 네임노드의 메인 메모리와 맵 태스크 수가 증가하는 문제점을 안고 있다. 또한, 맵리듀스 프레임워크에서 하드웨어 기반 데이터 병렬성을 지원하는 GPU를 활용하기 위해서는 C++ 언어 기반의 태스크를 맵리듀스 프레임워크에서 수행하기 위한 방식이 필요하다. 따라서, 본 논문에서는 이미지 빅데이터를 처리하기 위해 하둡 플랫폼 환경에서 이미지 시퀀스 파일을 생성하고 하둡 파이프를 이용하여 GPU 기반의 얼굴 검출 태스크를 맵리듀스 프레임워크에서 처리하는 얼굴 검출 시스템을 제시하고 단일 CPU 프로세스 대비 약 6.8배의 성능 향상을 보여준다.

수정된 커널 주성분 분석 기법의 분류 문제에의 적용 (Modified Kernel PCA Applied To Classification Problem)

  • 김병주;심주용;황창하;김일곤
    • 정보처리학회논문지B
    • /
    • 제10B권3호
    • /
    • pp.243-248
    • /
    • 2003
  • 본 논문에서는 학습 자료로부터 비선형 특징추출과 분류를 위한 점진적인 커널 주성분 분석 방법(IKPCA)을 제안한다. 일괄처리 방식의 커널 주성분 분석 방법은 학습 자료의 크기가 클 경우 과도한 계산량이 문제가 된다. 또한 새로 추가 되는 학습 자료가 있을 경우 고유벡터를 계산하기 위해 고유공간 전체를 다시 계산해야 하는 문제점이 있다. IKPCA는 이러한 문제점들을 고유공간 모델의 점진적인 계산과 경험 커널사상에 의해 해결하였다. IKPCA는 일괄처리방식의 커널 주성분 분석에 비해 기억공간 요구량에 있어 효율적이며 학습 자료의 재학습에 의해 성능을 쉽게 향상시킬 수 있다. 비선형 자료에 대한 실험을 통해 IKPCA는 일괄처리방식의 커널 주성분 분석 방법에 비해 특징추출과 분류 문제의 성능에 있어 유사한 결과를 나타내었다.

GPGPU를 이용한 Hilbert R-tree 벌크로딩 고속화 기법 (Fast Hilbert R-tree Bulk-loading Scheme using GPGPU)

  • 양시동;최원익
    • 정보과학회 논문지
    • /
    • 제41권10호
    • /
    • pp.792-798
    • /
    • 2014
  • R-tree는 공간 데이터베이스 분야에서 가장 널리 쓰이는 색인 구조이며 다양한 변형된 기법들이 제안되었다. 이 기법들 중 Hilbert R-tree는 공간 채움 곡선인 Hilbert 곡선을 이용해서 대용량의 데이터를 고비용의 분할 과정 없이 R-tree를 구성하는 기법이다. 하지만 기존의 CPU기반의 Hilbert R-tree는 대용량의 데이터를 처리할 때는 순차적인 접근으로 발생되는 고비용의 전처리 비용과 느린 구축시간으로 실제 응용에 적용되기에는 한계가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 GPU를 이용해서 데이터의 Hilbert 매핑을 병렬화 하고 이를 통해서 최종적으로 GPU의 메모리에 Hilbert R-tree의 벌크로딩을 고속화하는 기법을 제안한다. GPU기반의 Hilbert R-tree는 inversed-cell 기법과 트리구조 패킹의 병렬화 기법을 통해서 벌크로딩의 성능을 향상시켰다. 실험 결과에서는 기존의 CPU 기반의 벌크로딩에 비해 최대 45배의 성능향상을 보여주었다.

$R^*$-Tree와 Grid를 이용한 이동 객체의 위치 일반화 기법 (Location Generalization Method of Moving Object using $R^*$-Tree and Grid)

  • 고현;김광종;이연식
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권2호
    • /
    • pp.231-242
    • /
    • 2007
  • 패턴 탐사에 관한 기존의 연구들[1,2,3,4,5,6,11,12,13]은 이동 객체의 위치 이력 데이터 집합에 대한 위치 일반화 접근법을 사용하지 않거나 사용해도 특정 공간상의 이동 패턴들 중 단순히 시공간 제약이 없는 빈발 패턴만을 추출하므로, 특정 지점들 간의 최적 이동 경로나 스케줄링 경로와 같은 시공간 제약을 갖는 빈발 패턴 탐사에는 적용하기 어렵다. 또한 패턴 탐사의 수행에 있어 기존의 기법들은 데이터베이스에 대한 반복 접근을 줄이기 위해 메모리 상에 패턴 트리를 생성하여 사용하므로 보다 많은 메모리 공간을 소요하게 된다. 따라서 이러한 기존 탐사 기법들의 문제점들을 해결하기 위한 보다 효율적인 패턴 탐사 기법이 필요한 실정이다. 효율적 탐사 기법을 개발하기 위하여 본 논문에서는 방대한 이동 객체의 이력 데이터 집합에 대한 탐사 수행 시간 및 탐사에 필요한 메모리 공간을 최소화하기 위해서 상세 수준의 데이터들을 의미있는 공간영역 정보로 변환하는 새로운 위치 일반화 방법을 제안한다. 제안된 방법은 패턴 탐사의 전처리 과정에서 $R^*$-Tree와 영역 Grid 해쉬 테이블(AGHT:Area Grid Hash Table)을 기반으로 이동 객체의 위치 속성들을 2차원 공간영역으로 일반화하여 이동 시퀀스를 생성함으로써 효율적인 이동 객체의 공간 이동 패턴 마이닝을 유도할 수 있다.

  • PDF

병렬 구조의 블룸필터 설계 (The Construction of A Parallel type Bloom Filter)

  • 장영달;김지홍
    • 한국정보통신학회논문지
    • /
    • 제21권6호
    • /
    • pp.1113-1120
    • /
    • 2017
  • 최근 정보통신 기술의 발달로 인하여 데이터의 양이 점차 증가하고 있으며, 이에 대한 처리와 관련된 연구가 활발히 진행되고 있다. 주어진 집합 내에 특정 개체의 존재여부를 알기위해 사용되고 있는 블룸필터는 데이터의 공간 활용에 매우 유용한 구조이다. 본 논문에서는 블룸필터의 긍정오류확률에 대한 요인분석과 함께, 긍정오류를 최소화 시키기 위한 방안으로 병렬구조 방식의 블룸필터를 제안한다. 일반 블룸필터의 최소 긍정오류확률값을 가질 수 있도록 구현된 병렬 불룸필터 방식은 일반 블룸필터 크기의 메모리와 유사한 크기를 사용하지만, 해쉬함수별로 병렬 처리함으로서, 속도를 높일 수 있다는 장점을 가진다. 또한 완전 해쉬함수를 사용하는 경우에는 삽입뿐 아니라, 삭제도 가능하다는 장점을 가진다.

오프라인 인쇄체 문장부호, 일본 문자, 영문자, 한자 인식에서의 오인식 문자 교 정에 관한 연구 (A study on the Character Correction of the Wrongly Recognized Sentence Marks, Japanese, English, and Chinese Character in the Off-line printed Character Recognition)

  • 이병희;김태균
    • 한국정보처리학회논문지
    • /
    • 제4권1호
    • /
    • pp.184-194
    • /
    • 1997
  • 최근 상용 오프라인 문자 인식시스템들이 계속 발표되고 있다. 본 눈문에서는 적 은 메모리와 빠른 시간내에 검색이 가능한 자기조직화 구조를 가진 단어 사전을 구축 하고 검색하는 알고리즘을 제시하며 오프라인 문자 인식 시스템을 이용하여 오인식 교정의 측면에서 문장부호, 영문자, 한자를 인식한 후에 나온 오인식된 문자들을 수 집하여 오인식 형태를 제분류하였다. 영문자에 대해서는 영문자의 오인식 형태와 오 인식의 예들을 조사하고 오인식이 자주 일어나는 글자에 대해 오인식 혼동 테이블을 작성하였으며 25,145개의 영어 단어가 입력된 자기조직화된 영어 단어 사전을 가지고 교정을 행하여 0.5%의 인식률 향상을 가져왔다. 한자에 대해서도 영문자와 마찬가지 로 오인식 행태를 조사하고 혼동 테이블을 작성하였으며 34,593개의 단어가 입력된 자기조직화된 한자 단어 사전을 이용하여 교정을 행하여 인식률을 6.1% 향상시켰다.

  • PDF