• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.203-205
• /
• 2014

UHD 영상 콘텐츠는 FHD 영상에 비해 생생하고 더 좋은 고화질의 영상을 제공하지만 영상정보의 데이터 양은 4K UHD 경우 4 배 이상이다. 이러한 초대용량의 UHD 영상을 기존의 병렬/분산 처리를 이용하여 비디오 코딩 한다면 UHD 의 초대용량 특성으로 인하여 연산량 부하가 발생하게 된다. 따라서 UHD 영상은 기존의 분산처리 방식이 아닌 초대용량 데이터를 빠르게 처리 할 수 있는 새로운 분산 처리기술이 필요하다. 본 논문은 UHD 콘텐츠를 빠르게 트랜스코딩 할 수 있는 클라우드 기반 UHD 영상 트랜스코딩 시스템을 제안한다. 본 논문에서 제안하는 UHD 영상 트랜스코딩 시스템은 다음 3 가지 패킷 분석기, 분산 트랜스코더, 스트림 합성기로 구성된다. 패킷 분석기는 입력 영상을 분석하여 오디오와 비디오 스트림을 분할하고 비디오 스트림은 분산처리를 할 수 있도록 영상 패킷을 분할한다. 분산 트랜스코더는 클라우드 환경을 이용하여 분할된 영상 패킷들을 분산 디코드 및 인코드 처리한다. 스트림 합성기는 트랜스코딩이 완료된 비디오 스트림과 패킷 분석기에서 획득하였던 오디오 스트림을 합성하는 기능을 한다. 제시하는 방안을 적용하여 클라우드 기반 영상 트랜스 코딩 시스템을 구현하였으며, 구현된 시스템은 대용량의 UHD 영상을 빠른 속도로 트랜스코딩이 가능하다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.214-215
• /
• 2015

데이터 스트림 환경에서 연속 질의를 처리하기 위한 데이터 스트림 처리 시스템이 개발되었다. 데이터 스트림 처리 시스템에서 질의를 처리하는 태스크에 과도한 데이터가 발생할 경우 일반적으로 데이터 스트림을 선별적으로 버리는 load shedding 방법을 이용하지만 이러한 방법은 처리 결과의 정확도가 저하될 수 있다. 따라서, 본 논문은 이를 해결하는 방법으로 분산 데이터 스트림 처리 시스템에서 데이터 스트림 분할을 통한 데이터 스트림 연속 처리 태스크의 병렬 처리 방법을 제시한다. 이를 위해 분산 데이터 스트림을 처리하기 위한 기준을 제시 및 데이터 분할 방법에 대해서 언급한다.

• Journal of Korea Multimedia Society
• /
• v.12 no.9
• /
• pp.1242-1251
• /
• 2009

A DSMS(Data Stream Management System) in ubiquitous environment processes huge data that input from a number of sensor. The existed system is used with a load shedding method that is eliminated with a part of huge data stream when it doesn't process the huge data stream. The Load shedding method has to filter a part of input data. This is because, data completeness or reliability is decreased. In this paper, we proposed the overload prediction load balancing to maintain data completeness when the system has an overload. The proposed method predicts the overload time. and than it is decreased with data loss when achieves the prediction overload time. The performance evaluation shows that the proposed method performs better than the existed method.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.05a
• /
• pp.396-398
• /
• 2023

Statista 통계 조사에 따르면 데이터의 규모는 매년 증가할 것으로 예상하고 빅데이터 처리 프레임워크의 관심이 높아지고 있다. 빅데이터 처리 프레임워크 Spark는 Shuffle 과정에서 노드 간 데이터 전송이 일어난다. 이때 분산 처리한 데이터를 네트워크로 전송하기 위해 객체를 바이트 스트림으로 변환하여 메모리 buffer에 담는 직렬화 작업이 필요하다. 그러나 바이트 스트림을 buffer에 담는 과정에서 바이트 스트림의 크기가 메모리 buffer보다 클 경우, 메모리 할당 과정이 추가로 발생하여 전체적이 Spark의 성능 저하로 이어질 수 있다. 이에 본 논문에서는 Spark 환경에서 분산 처리 성능 향상을 위한 직렬화 buffer 최적화 시스템을 제안한다. 제안하는 방법은 Spark Driver가 Executor에게 작업을 할당하기 전 직렬화된 데이터 크기 측정과 직렬화 옵션 설정을 통해 Executor에게 적절한 buffer를 할당할 수 있다. 향후 제안하는 방법의 검증을 위해 실제 Spark 클러스터 환경에서 성능 평가가 필요하다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.99-101
• /
• 2015

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.573-576
• /
• 2018

아파치 카프카(Apache Kafka)는 데이터 스트림을 실시간 전달하는 분산 메시지 큐잉 플랫폼이다. 카프카는 대다수의 실시간 처리 응용에 사용되는데, 흔히 데이터 스트림의 발생지와 실시간 처리 시스템 사이(입력) 또는 실시간 처리 시스템과 처리 결과의 목적지 사이(출력)에 배치된다. 분산 기술을 도입한 카프카는 다른 메시지 큐잉 기술에 비해 대용량 데이터 스트림을 더욱 빠르게 전달 할 수 있다는 장점을 갖는다. 하지만, 카프카에 적재되는 데이터 스트림의 양과 실시간 처리 응용의 수가 증가할수록 메시지 지연시간은 매우 높아질 수 밖에 없다. 본 논문은 이러한 카프카의 메시지 지연 문제를 해결하고자 카프카의 로드 쉐딩 엔진을 제안한다. 로드 쉐딩의 세 가지 필수적인 결정에 따라, 제안하는 로드 쉐딩 엔진은 카프카의 프로뷰서에서 지연시간이 기준치를 초과할 경우 일부 메시지 전송을 제한하여 지연시간을 줄인다. 실제 실시간 처리 응용으로 실험한 결과, 단일/다중 데이터 스트리 모두 로드 쉐딩이 바르게 작동하여 지연시간이 지속적으로 증가하지 않고 오르내림이 반복되는 추세를 보였다. 본 연구는 데이터 스트림의 입출력을 카프카로 관리하는 실시간 처리 응용에 로드 쉐딩 기법을 적용한 첫 번째 시도로서, 앞으로 데이터 스트림 처리에 사용될 의미 있는 연구라 사료된다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.04a
• /
• pp.337-340
• /
• 2002

본 논문에서는 CORBA 환경 하에서 멀티미디어 스트림을 효율적으로 처리하고 제어하기 위한 멀티미디어 스트림 통신 서비스의 설계와 구현에 관한 내용을 기술한다. 제안하는 멀티미디어 스트림 통신 서비스에서는 멀티미디어 스트림의 효율적인 처리와 제어 그리고 전송을 위한 소프트웨어 구성 요소들을 분산 객체들로 설계한다. 그리고 제어 데이터와 미디어 데이터의 전송 경로를 분리하여 미디어 데이터의 전송은 RTP(Realtime Transport Protocol)로 직접적으로 전송하므로서 멀티미디어 스트림의 전송 효율을 최적화한다. 우리는 멀티미디어 스트림 통신을 위한 분산 객체들 간의 연결설정과 제어 절차를 보여주며, 테스트 시스템을 구축하여 성능을 평가한다 성능 평가 결과 연결 설정 지연은 TCP 연결에 비해 다소 지연을 가지나, 미디어 데이터의 전송은 CORBA 의 IIOP 프로토콜에 비해 최적화된 성능을 보여준다.

• Journal of Internet Computing and Services
• /
• v.18 no.3
• /
• pp.1-9
• /
• 2017

Smart Cities intelligently manage numerous infrastructures, including Smart-City IoT devices, and provide a variety of smart-city applications to citizen. In order to provide various information needed for smart-city applications, Smart Cities require a function to intelligently process large-scale streamed big data that are constantly generated from a large number of IoT devices. To provide smart services in Smart-City, the Smart-City Consortium uses stream reasoning. Our stream reasoning requires real-time processing of big data. However, there are limitations associated with real-time processing of large-scale streamed big data in Smart Cities. In this paper, we introduce one of our researches on cloud computing based real-time distributed-parallel-processing to be used in stream-reasoning of IoT big data in Smart Cities. The Smart-City Consortium introduced its previously developed smart-city middleware. In the research for this paper, we made cloud computing based real-time distributed-parallel-processing available in the cloud computing platform of the smart-city middleware developed in the previous research, so that we can perform real-time distributed-parallel-processing with them. This paper introduces a real-time distributed-parallel-processing method and system for stream reasoning with IoT big data transmitted from various sensors of Smart Cities and evaluate the performance of real-time distributed-parallel-processing of the system where the method is implemented.

• Journal of KIISE
• /
• v.44 no.11
• /
• pp.1209-1218
• /
• 2017

A variety of sensors is widely used these days, and it has become much easier to acquire spatial big data streams from various sources. Since spatial data streams have inherently skewed and dynamically changing distributions, the system must effectively distribute the load among workers. Previous studies to solve this load imbalance problem are not directly applicable to processing spatial data. In this research, we propose Adaptive Spatial Key Grouping (ASKG). The main idea of ASKG is, by utilizing the previous distribution of the data streams, to adaptively suggest a new grouping scheme that evenly distributes the future load among workers. We evaluate the validity of the proposed algorithm in various environments, by conducting an experiment with real datasets while varying the number of workers, input rate, and processing overhead. Compared to two other alternative algorithms, ASKG improves the system performance in terms of load imbalance, throughput, and latency.

• The KIPS Transactions:PartA
• /
• v.9A no.2
• /
• pp.207-216
• /
• 2002

This paper present a design and implementation of a distributed audio, Video stream service framework based on CORBA for efficient processing and control of audio/video stream. We design software components which support processing, control and transmission of audio/video streams as distributed objects. For optimization of stream transmission performance, we separate the transmission path of control data and media data. Distributed objects are defined by IDL and implemented using JAVA. And device dependent facilities like media capturing, playing and communication channels are implemented using JMF (Java Media Framework) components. We show a connection establishment and control procedure of streams communication. And for evaluation, we implement a test system and experiment a system performance. Our experiments show that test system has somewhat longer connection latency time compared to TCP connection establishment, but has optimized media transmission time compared to CORBA IIOP. Also test system show acceptable service quality of media transmission.