• 한국컴퓨터정보학회논문지
• /
• 제18권11호
• /
• pp.13-21
• /
• 2013

본 논문은 다양한 분야에서 활용되고 있는 초기의 위성 데이터가 자체적으로 내포하고 있는 많은 왜곡 요소(구름, 광휘 등)에 대한 보정 작업을 클러스터에서 분산 처리함으로써 성능 향상 및 안정성을 제공해 주는 것이 목적이다. 이를 위해 로컬 스토리지와 상태 테이블을 이용한SGE(Sun Grid Engine) 기반 분산 처리 방식을 제안하였고, 시스템으로 구현하였다. 이를 검증하기 위해 7개의 실행노드를 이용한 실험 결과에서는 기존 시스템보다 138.81%의 성능 향상을 가져옴을 알 수 있었으며, 분산 처리 작업에 대한 안정성 또한 확보됨을 보여주었다. 이는 위성 데이터에 대한 분산 처리 작업이 I/O바운드 작업보다는 CPU 바운드 작업에 보다 더 적합하다는 것을 보여주며, 이러한 SGE 기반 분산 처리 방식은 위성영상 데이터를 처리해야하는 다양한 분야에서의 데이터 처리 및 분석 속도 향상을 가져올 수 있고, 더 나아가 근실시간적 서비스를 가능하게 할 것으로 기대한다.

• 한국정보시스템학회지:정보시스템연구
• /
• 제4권
• /
• pp.85-104
• /
• 1995

In a loosely-coupled distributed database server system, a server failure and/or a communication failure can be masked by a resiliency mechanism. Recognizing that a distributed transaction executes at several servers during its lifetime, we propose a resiliency mechanism which allows continuous transaction processing in distributed database server systems in the presence of a server failure. The resiliency mechanism for transaction processing is achieved by keeping redundant information using a primary/backup approach. The purpose of this paper is to analyze the performance improvement opportunities with the resiliency mechanism and to present the design of the proposed system.

• 대한전기학회:학술대회논문집
• /
• 대한전기학회 1987년도 전기.전자공학 학술대회 논문집(II)
• /
• pp.1125-1128
• /
• 1987

This paper proposes a method which distributes the structure data represented by a tree and handles it. To distribute and handle the structure data, this method partitions a structure data and distributes the partitioned structure in multiple processing element and allocates the partitioned structure. Each processing element includes the structure memory to store the partitioned structure and the structure controller to handle efficiently the distributed structure. As the structure is distributed and is stored in the structure memory and is handled by the structure controller, the processing time is reduced.

• ETRI Journal
• /
• 제39권2호
• /
• pp.202-212
• /
• 2017

With the advent of the Internet-of-Things paradigm, the amount of data production has grown exponentially and the user demand for responsive consumption of data has increased significantly. Herein, we present DART, a fast and lightweight stream processing framework for the IoT environment. Because the DART framework targets a geospatially distributed environment of heterogeneous devices, the framework provides (1) an end-user tool for device registration and application authoring, (2) automatic worker node monitoring and task allocations, and (3) runtime management of user applications with fault tolerance. To maximize performance, the DART framework adopts an actor model in which applications are segmented into microtasks and assigned to an actor following a single responsibility. To prove the feasibility of the proposed framework, we implemented the DART system. We also conducted experiments to show that the system can significantly reduce computing burdens and alleviate network load by utilizing the idle resources of intermediate edge devices.

• 한국정보처리학회논문지
• /
• 제4권11호
• /
• pp.2651-2661
• /
• 1997

DBMS을 이용한 온라인 트랜잭션 처리 시스템에 비해 TP 모니터를 부가하여 사용할 경우 시스템의 성능이 증가한다. 아울러 이러한 TP 모니터를 이용한 OLTP 시스템 구축이 늘어가고 있는 실정이다. TP 모니터를 이용할 때 고려해야 할 점들이 많으나 기본적으로 트랜잭션의 ACID외에 빠른 응답 시간과 확장성에 초점을 맞춰 TP 모니터를 적용하여 분산 시스템을 구현 하였다. 본 논문에서는 분산 시스템에 의한 다운 사이징을 구현하고 그 성능을 검증한다.

• 데이타베이스연구회지:데이타베이스연구
• /
• 제34권3호
• /
• pp.58-68
• /
• 2018

분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.

• 한국멀티미디어학회논문지
• /
• 제18권9호
• /
• pp.1098-1104
• /
• 2015

With the widespread use of smartphones and IoT (Internet of Things), data are being generated on a large scale, and there is increased for the analysis of such data. Hence, distributed processing systems have gained much attention. Hadoop, which is a distributed processing system, saves the metadata of stored files in name nodes; in this case, the main problems are as follows: the memory becomes insufficient; load occurs because of massive small files; scheduling and file processing time increases because of the increased number of small files. In this paper, we propose a solution to address the increase in processing time because of massive small files, and thus improve the processing performance, using the Reuse JVM method provided by Hadoop. Through environment setting, the Reuse JVM method modifies the JVM produced conventionally for every task, so that multiple tasks are reused sequentially in one JVM. As a final outcome, the Reuse JVM method showed the best processing performance when used together with CombineFileInputFormat.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제2권2호
• /
• pp.91-96
• /
• 2013

바이오 응용과 같은 대용량 데이터 처리와 고성능 계산을 동시에 지원하는 발판으로 슈퍼컴퓨팅 시스템의 활용 분야가 변화하고 있다. 이러한 응용에서는 발생하는 대용량의 데이터를 고속으로 처리하고 효율적으로 저장 관리하기 위한 고성능의 분산 파일 시스템이 요구된다. 본 논문에서는 대용량의 데이터 처리와 고성능 계산을 동시에 지원하는 슈퍼컴퓨팅 시스템을 위해 우수한 메타데이터 연산 성능 및 입출력 성능을 제공하는 MAHA-FS를 소개한다. 아울러 성능 분석을 통해 MAHA-FS가 메타데이터 연산 처리 성능 및 random 입출력 성능이 우수함을 보인다.

• 정보처리학회지
• /
• 제15권2호
• /
• pp.5-14
• /
• 2008

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권10호
• /
• pp.477-482
• /
• 2016

기업의 신속한 의사결정 및 전략적 정책 결정을 위해 빅데이터에 대한 고도 분석이 필수적으로 요구됨에 따라 대량의 데이터를 복수의 노드에 분산하여 처리하는 하둡 또는 스파크와 같은 분산 처리 플랫폼이 주목을 받고 있다. 최근 공개된 Spark SQL은 Spark 환경에서 SQL 기반의 분산 처리 기법을 지원하고 있으나, 기계학습이나 그래프 처리와 같은 반복적 처리가 요구되는 고도 분석 분야에서는 효율적 처리가 불가능한 문제가 있다. 따라서 본 논문은 이러한 문제점을 바탕으로 Spark 환경에서 고도 분석 지원을 위한 SQL 기반의 빅데이터 최적처리 엔진설계와 처리 프레임워크를 제안한다. 복수의 조건과 다수의 조인, 집계, 소팅 연산이 필요한 복합 SQL 질의를 분산/병행적으로 처리할 수 있는 최적화 엔진과 관계형 연산을 지원하는 기계학습 최적화하기 위한 프레임워크를 설계한다.