• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.736-737
• /
• 2021

최근의 빅데이터 처리 환경은 실시간 빅데이터를 기반으로 하고 있다. 실시간 빅데이터 처리를 위해서는 기존의 배치처리 방식의 빅데이터 기술에서 발생하는 기술적 요구를 포함하여 추가적으로 요구되는 다양한 문제들을 고려해야 한다. 기계학습 모형을 활용한 의사결정 지원 시스템의 경우 모형 개발을 위한 배치처리 기술과 함께 모형의 배포와 최적화 등도 고려되어야 하며 발전 설비나 제조, 공정, 배송 등의 분야에서 발생하는 대규모 실시간 데이터를 이용하여 추론을 수행해야 한다. 본 연구에서는 센서 데이터를 활용한 예측 모형 개발과 실시간 데이터 처리 그리고 추론을 위한 모델 배포와 최적화 과정을 지원하는 시스템 환경을 제공하여 실제 현장에서 발생하고 있는 데이터를 활용하여 실증을 수행하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.329-332
• /
• 2014

클라우드 컴퓨팅이 활성화 됨에 따라 기존의 파일 시스템과는 다른 대용량 파일 처리에 효율적인 분산파일시스템의 요구가 대두 되었다. 그 중에 하둡 분산 파일 시스템(Hadoop Distribute File System, HDFS)은 기존의 분산파일 시스템과는 달리 가용성과 내고장성을 보장하고, 데이터 접근 패턴을 스트리밍 방식으로 지원하여 대용량 파일을 효율적으로 저장할 수 있다. 이러한 장점 때문에, 클라우드 컴퓨팅의 파일시스템으로 대부분 채택하고 있다. 하지만 실제 HDFS 데이터 집합에서 대용량 파일 보다 소용량 파일이 차지하는 비율이 높으며, 이러한 다수의 소 용량 파일은 데이터 처리에 있어 높은 처리비용을 초래 할 뿐 만 아니라 메모리 성능에 악영향을 끼친다. 하지만 소 용량 파일을 프리패칭 함으로서 이러한 문제점을 해결 할 수 있다. HDFS의 데이터 프리페칭은 기존의 데이터 프리페칭의 기법으로는 적용하기 어려워 HDFS를 위한 데이터 프리패칭 기법을 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2017.04a
• /
• pp.90-93
• /
• 2017

인터넷과 클라우드 서비스 사용이 증가하면서 패킷의 양과 사이버 위협이 증가하였다. 본 논문에서는 빅데이터를 처리하기 위해 사용되는 NoSQL을 보안이벤트의 신속한 처리를 위한 침입탐지시스템에 적용하였다. 다양한 데이터 모델 유형의 NoSQL 데이터베이스 중에서 빅데이터 보안이벤트를 처리하는데 가장 적합한 시스템을 찾기 위해 세 가지 유형의 Snort 룰 기반 보안이벤트 분산 처리 프로토타입 시스템들을 구축하였고 각 시스템의 성능을 평가하였다. 그 결과로 MongoDB 기반의 보안이벤트 분산 처리 시스템이 가장 속도가 빠른 것을 확인하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 1998.10a
• /
• pp.142-144
• /
• 1998

분산 처리 시스템은 여러 대의 컴퓨터에 분산된 프로그램들이 상호 통신을 통해 협력하면서 작업을 수행하는 시스템이다 .본 논문은 분산 처리시스템의 소프트웨어 개발을 효율적으로 지원하는 유니부(Uniview)를 개발하는 데 있어서 디스플레이 데이터의 설계 및 운용 방안을 제시한다. 디스플레이 데이터는 디버깅 작업과 관련된 정보를 효과적으로 페치, 저장할 수 있는 구조가 되어야 한다. 제안된 디스플레이 데이터 구조와 운용 방법은 디버깅 작업의 흐름에 따라 데이터를 생성, 유지하며 필요한 데이터만을 검사하여 효율적으로 운용한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.99-101
• /
• 2015

현재 다양한 센서 기기에서 쏟아지는 대용량의 정형/비정형의 스트림 데이터의 경우 기존의 단일 스트리밍 처리 시스템 만으로 처리하기에는 한계가 있다. 클러스터의 디스크가 아닌 메모리들을 사용하여 대용량 데이터 처리를 할 수 있는 Spark 는 분산 처리 임에도 불구하고 강력한 데이터 일관성과 실시간성을 확보할 수 있는 플랫폼이다. 본 연구에서는 대용량 스트림 데이터 분석 시 발생하는 메모리 공간 부족과 실시간 병렬 처리 문제를 해결하고자, 클러스터의 메모리를 이용하여 대용량 데이터의 분산 처리와 스트림 실시간 처리를 동시에 할 수 있도록 구성하였다. 실험을 통하여, 기존 배치 처리 방식과 제안 시스템의 성능 차이를 확인 할 수 있었다.

• The KIPS Transactions:PartD
• /
• v.11D no.7 s.96
• /
• pp.1375-1384
• /
• 2004

Streaming data processing is an area of interest with much research under way. There has been increasing attention on the demands for efficient processing of streaming data produced in the application areas such as monitoring and sensor network. We have developed a continuous query processing system for streaming data and evaluated its performance in this paper. XML, the standard for data exchange on the web, is used as the model for the streaming data and the XQuery appended with a time interval is adopted as the query language for expressing con-tinuous queries. In the proposed system, the result is produced through background processing and materialized for reute in subsequent query processing. Through a detailed set of performance experiments, we shoed the effectiveness of the proposed system.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2008.11a
• /
• pp.943-945
• /
• 2008

통신환경의 발달은 그에 따른 응용시스템의 개발을 촉진하며 빠르게 변화하고 있다. 그래서 많은 사용자들이 이용하는 멀티미디어 데이터의 경우, 통신환경에서의 다양한 응용이 중요시되고 있다. 일반적으로 멀티미디어 데이터의 경우 크기가 크기 때문에, 데이터를 처리하는 데는 많은 노력이 필요하다. 각 시스템에서 처리할 수 있는 일의 양은 한정 되어 있기 때문에 대형 시스템 한대로 분산 환경에서의 멀티미디어 데이터를 처리하고 제어하는 데는 한계가 있다. 본 논문에서는 여러 대의 시스템을 병렬 연결해 하나의 시스템처럼 사용하게 한다. 병렬포트제어를 통해 연결된 시스템들은 상위레벨, 하위레벨과 연결상태 및 실행상태를 체크하며 통신한다. 본 논문에서 제안된 시스템은 관리자가 좀 더 빠르고 편리하게 여러 대의 시스템을 제어할 수 있도록 한다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.11 no.1
• /
• pp.87-92
• /
• 2011

Server overload is directly proportional to requested image data size in a image processing. If request data are increase then system is overloaded in a image processing system. For the reduce of server bottle neck, we will be able to consider a distributed processing. Simple distributed processing system can solve server bottleneck and system overload but high cost system requirements. In this paper, Proposes a new distributed image processing system. Object activation technology are being grafted on to simple distributed processing system. It can optimize the user of system resources and can reuse idle system resources in network.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.170-171
• /
• 2015

최근 디지털 정보량의 기하급수적인 증가에 따라 대규모 데이터인 빅데이터가 등장하였다. 빅데이터는 데이터가 실시간으로 매우 빠르게 생성되며 다양한 형태의 데이터를 가지며 이 데이터를 수집, 처리, 분석을 통해 새로운 지식을 창출한다. 그러나 기존의 ETL(Exact/Transform/Load) 연구에서 이러한 빅데이터를 처리 하는데 성능 저하가 발생되고 있으며 비정형 데이터를 관리할 수 없다. 따라서 본 논문에서는 기존의 ETL 처리의 한계를 극복하기 위해서 하둡을 이용하여 ETL 상에서 처리 속도를 높이고 비정형 데이터를 처리할 수 있는 빅데이터 처리 시스템을 제안하고자 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.10a
• /
• pp.74-76
• /
• 2000

공간 데이터와 같은 대용량의 데이터를 처리하는 시스템이나 다수의 클라이언트의 요구가 발생하는 시스템에서는 데이터에 대한 처리 비용 및 전용 비용으로 인한 서버 사이드의 병목 현상 및 질의 처리 속도의 저하라는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 개선하기 위한 방법으로 미들웨어인 C-C Connector의 Method 및 프로토콜을 제안한다. 제안하는 C-C(Client To Client) Connector는 질의의 분석과 CIT(Client Information)의 검색을 통하여 인접한 클라이언트들의 캐쉬 데이터를 이용한 질의 처리의 가능 여부를 판단하며 인접 클라이언트와 요구 클라이언트 사이의 Connection을 형성함으로서 클라이언트-클라이언트의 질의 처리 및 데이터 전송 기능을 지원한다. 그리고 이러한 기능의 지원을 위한 서버, C-C Connector, 클라이언트 사이에서 수행되어지는 질의 처리의 프로토콜을 정의한다. 제안된 C-C Connector의 Method 및 프로토콜은 서버 사이드의 처리 비용을 현재 서버에 접속중인 클라이언트들에게 분배함으로서 서버 사이드의 병목현상과 질의 처리 시간의 지연이라는 문제점을 개선할 수 있으며 클라이언트 사이드에서의 반응 속도의 향상과 현재 연결된 시스템의 처리 성능을 최대한 활용할 수 있다는 장점을 갖는다.