• International Journal of Contents
• /
• 제4권4호
• /
• pp.7-11
• /
• 2008

This paper embodies the agent based cinder monitoring system which supports PDA{Personal Digital Assistant). Monitoring system automatically manages data by using data managing agents such as a state managing agent, a location managing agent, a badness managing agent, a circumstances managing agent, etc, and uses a massive data processing agent to manage massive data. The development of agent based data monitoring system for the stable cinder reuse will be an epoch-making method to develop the process mechanized or manual-labored that widely spreads into the real-time automated process.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2008년도 학술대회 3부
• /
• pp.224-224
• /
• 2008

Recent advances in model acquisition, computer-aided design, and simulation technologies have resulted in massive databases of complex geometric data occupying multiple gigabytes and even terabytes. In various graphics/geometric applications, the major performance bottleneck is typically in accessing these massive geometric data due to the high complexity of such massive geometric data sets. However, there has been a consistent lower growth rate of data access speed compared to that of computational processing speed. Moreover, recent multi-core architectures aggravate this phenomenon. Therefore, it is expected that the current architecture improvement does not offer the solution to the problem of dealing with ever growing massive geometric data, especially in the case of using commodity hardware. In this tutorial, I will focus on two orthogonal approaches--multi-resolution and cache-coherent layout techniques--to design scalable graphics/geometric algorithms. First, I will discuss multi-resolution techniques that reduce the amount of data necessary for performing geometric methods within an error bound. Second, I will explain cache-coherent layouts that improve the cache utilization of runtime geometric applications. I have applied these two techniques into rendering, collision detection, and iso-surface extractions and, thereby, have been able to achieve significant performance improvement. I will show live demonstrations of view-dependent rendering and collision detection between massive models consisting of tens of millions of triangles on a laptop during the talk.

• 대한원격탐사학회지
• /
• 제33권2호
• /
• pp.125-134
• /
• 2017

최근 위성 기반 윈격 탐사 기술의 발전과 더불어 대용량 위성 자료를 효율적으로 처리하기 위한 능력이 요구되고 있다. 이 연구에서는 대용량 GOCI 산출물을 효율적으로 재처리하기 위해 서버가상화와 분산처리를 기반으로 한 GOCI 산출물 재처리 시스템(GOCI Products Re-processing System; GPRS)을 개발하는데 집중하였다. 실험 결과 GPRS를 이용하여 메모리 및 CPU의 사용률을 각각 약 100%, 75%까지 올릴 수 있었다. 이는 제안 시스템을 통해 하드웨어 자원을 절약함과 동시에 작업 처리 속도를 향상시킬 수 있다는 것을 의미한다.

• 한국멀티미디어학회논문지
• /
• 제18권9호
• /
• pp.1098-1104
• /
• 2015

With the widespread use of smartphones and IoT (Internet of Things), data are being generated on a large scale, and there is increased for the analysis of such data. Hence, distributed processing systems have gained much attention. Hadoop, which is a distributed processing system, saves the metadata of stored files in name nodes; in this case, the main problems are as follows: the memory becomes insufficient; load occurs because of massive small files; scheduling and file processing time increases because of the increased number of small files. In this paper, we propose a solution to address the increase in processing time because of massive small files, and thus improve the processing performance, using the Reuse JVM method provided by Hadoop. Through environment setting, the Reuse JVM method modifies the JVM produced conventionally for every task, so that multiple tasks are reused sequentially in one JVM. As a final outcome, the Reuse JVM method showed the best processing performance when used together with CombineFileInputFormat.

• Journal of information and communication convergence engineering
• /
• 제7권2호
• /
• pp.199-202
• /
• 2009

Adaptive memory management is a serious issue in data stream management. Data stream differ from the traditional stored relational model in several aspect such as the stream arrives online, high volume in size, skewed data distributions. Data skew is a common property of massive data streams. We propose the predicted allocation strategy, which uses predictive processing to cope with time varying data skew. This processing includes memory usage estimation and indexing with timestamp. Our experimental study shows that the predictive strategy reduces both required memory space and latency time for skewed data over varying time.

• 한국빅데이터학회지
• /
• 제1권2호
• /
• pp.1-8
• /
• 2016

사용자로그는 많은 숨겨진 정보를 포함하고 있지만 데이터 정형화가 이루어지지 않았고, 데이터 크기도 너무 방대하여 처리하기 까다로워서 아직 밝혀져야 할 부분들을 많이 내포하고 있다. 특히 행동마다의 모든 시간정보를 포함하고 있어서 이를 응용하여 많은 부분을 밝혀낼 수 있다. 하지만 로그데이터 자체를 바로 분석으로 사용할 수는 없다. 유저 행동 모델 분석을 위해서는 별도의 프레임워크를 통한 변환과정들이 필요하다. 이 때문에 유저 행동모델 분석 프레임워크를 먼저 파악을 하고 데이터에 접근해야 한다. 이 논문에서는, 우리는 유저 행동모델을 효과적으로 분석하기 위한 프레임워크 모델을 제안한다. 본 모델은 대규모 데이터를 빨리 처리하기 위한 분산환경에서의 MapReduce 프로세스와 유저별 행동분석을 위한 데이터 구조 설계에 대한 부분을 포함한다. 또한 실제 온라인 서비스 로그의 구조를 바탕으로 어떤 방식으로 MapReduce를 처리하고 어떤 방식으로 유저행동모델을 분석을 위해 데이터 구조를 어떤식으로 변형할지 설명하고, 이를 통해 어떤 방식의 모델 분석으로 이어질지에 대해 상세히 설명한다. 이를 통해 대규모 로그 처리방법과 분석모델 설계에 대한 기초를 다질 수 있을 것이다.

• Journal of Information Processing Systems
• /
• 제16권6호
• /
• pp.1359-1371
• /
• 2020

In transmitting and receiving such a large amount of data, reliable data communication is crucial for normal operation of a device and to prevent abnormal operations caused by errors. Therefore, in this paper, it is assumed that an error correction code (ECC) that can detect and correct errors by itself is used in an environment where massive data is sequentially received. Because an embedded system has limited resources, such as a low-performance processor or a small memory, it requires efficient operation of applications. In this paper, we propose using an accelerated ECC-decoding technique with a graphics processing unit (GPU) built into the embedded system when receiving a large amount of data. In the matrix-vector multiplication that forms the Hamming code used as a function of the ECC operation, the matrix is expressed in compressed sparse row (CSR) format, and a sparse matrix-vector product is used. The multiplication operation is performed in the kernel of the GPU, and we also accelerate the Hamming code computation so that the ECC operation can be performed in parallel. The proposed technique is implemented with CUDA on a GPU-embedded target board, NVIDIA Jetson TX2, and compared with execution time of the CPU.

• 대한전자공학회논문지SD
• /
• 제46권1호
• /
• pp.7-14
• /
• 2009

NAND 플래시 메모리를 이용한 카드가 보편화되어 이제는 대량의 멀티미디어 데이터를 모두 저장할 수 있는 수준에 이르렀다. 하지만 NAND 플래시 셀(cell)의 느린 동작으로 인하여 대량의 데이터를 빠르게 전송하기에는 많이 부족한 수준이다. 즉 대량의 멀티미디어 데이터를 NAND 플래시 메모리 카드로 전송할 경우 많은 시간이 걸리는 단점이 있다. 이에 본 논문에서는 데이터 전송률을 높이기 위한 새로운 하드웨어 및 소프트웨어의 구조를 제안한다. 제안하는 구조에서는 기존의 직렬 처리(serial processing) 기법과 다른, 다중 처리(multiprocessing) 기법을 사용하였다. 제안된 구조를 이용하여 VIP(Virtual IP) 환경에서 시뮬레이션하고 FPGA 보드환경에서 최종 실험하였다. 실험 결과 VIP환경에서는 160MB/s의 다운로드 성능을 볼 수 있었으며, FPGA 보드환경에서는 85.3MB/s의 다운로드 성능을 볼 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2011년도 추계학술발표대회
• /
• pp.18-20
• /
• 2011

최근 컴퓨터 비전의 활용 영역이 증가함에 따라 컴퓨터 비전의 대표적인 라이브러리인 openCV의 사용 또한 증가하는 추세이다. openCV 에는 컴퓨터 비전 알고리즘의 특성상 massive 한 연산을 수행해야 하는 부분이 상당수 존재한다. 본 논문은 이러한 연산량의 부담을 줄임으로써 openCV 의 성능 향상을 위한 아키텍처를 연구한다. openCV 의 massive 한 연산은 라이브러리 함수에 있는 내부 반복문에서 발생하기 때문에, 본 논문은 반복문의 특성을 분석하고 이를 가속할 수 있는 아키텍처가 무엇인지 연구한다. 결론적으로 반복문의 각 iteration 이 독립적일 경우에는 SIMD (Single Instruction Multiple Data)와 SIMT (Single Instruction Multiple Thread)이 적합하며 반복문의 각 iteration 이 의존적일 경우에는 MIMD (Multiple Instruction Multiple Data)를 바탕으로 하는 파이프라인 아키텍처가 적합하다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 춘계학술발표대회
• /
• pp.816-819
• /
• 2017

Current graph mining algorithms suffers from performance issues when querying patterns are in increasingly massive network graphs. However, from our observation most data graphs inherently contains recurring semantic subgraphs/substructures. Most graph mining algorithms treat them as independent subgraphs and perform computations on them redundantly, which result in performance degradation when processing massive graphs. In this paper, we propose an algorithm which exploits these inherent recurring subgraphs/substructures to reduce graph sizes so that redundant computations performed by the traditional graph mining algorithms are reduced. Experimental results show that our graph compression approach achieve up to 69% reduction in graph sizes over the real datasets. Moreover, required time to construct the compressed graphs is also reasonably reduced.