• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.214-215
• /
• 2015

데이터 스트림 환경에서 연속 질의를 처리하기 위한 데이터 스트림 처리 시스템이 개발되었다. 데이터 스트림 처리 시스템에서 질의를 처리하는 태스크에 과도한 데이터가 발생할 경우 일반적으로 데이터 스트림을 선별적으로 버리는 load shedding 방법을 이용하지만 이러한 방법은 처리 결과의 정확도가 저하될 수 있다. 따라서, 본 논문은 이를 해결하는 방법으로 분산 데이터 스트림 처리 시스템에서 데이터 스트림 분할을 통한 데이터 스트림 연속 처리 태스크의 병렬 처리 방법을 제시한다. 이를 위해 분산 데이터 스트림을 처리하기 위한 기준을 제시 및 데이터 분할 방법에 대해서 언급한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.4-6
• /
• 2005

스트림 데이터를 생성하는 응용의 증가로 스트림 데이터 처리에 대한 연구가 활발히 진행되고 있다. 이러한 응용의 예로 센서네트워크, 모니터링, Selective dissemination of information(SDI)등이 있다. 특히 SDI와 같은 웹 환경의 응용은 XML을 기반으로 스트림 데이터 처리에 대한 연구를 진행하고 있다. XML은 웹상의 데이터 교환의 표준으로 웹 응용의 증가로 인해 스트림 데이터 처리 분야에서도 XML을 사용하는 스트림 데이터 처리 시스템에 대한 연구가 많이 진행되고 있는 실정이다. 하지만 XML을 기반으로 하는 기존의 시스템들은 정적인 질의계획을 사용하여 스트림 데이터를 처리하기 때문에 동적으로 변하는 스트림 데이터에 적응력있게 대처할 수 있다. 이와 달리 관계 데이터 모델을 사용하는 스트림 데이터 처리 시스템은 동적인 질의 계획과 질의 처리 연산자의 라우팅(스케쥴링) 기법을 사용하여 적응력있는 질의처리를 지원한다. 본 논문에서는 관계 데이터 모델을 사용하는 시스템의 적응력있는 질의처리 모델을 XML을 기반으로 하는 시스템에 적용하는 기법들에 대하여 설명한다. 그리고 XML을 기반으로 하는 기존의 대표적인 시스템인 YFilter[7]와 본 논문의 제안하는 시스템과의 질의처리 성능을 비교 평가한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.321-324
• /
• 2006

인터넷과 인트라넷의 확산에 따라, 스트림 데이터 처리 (stream data processing) 와 같은 새로운 분야가 등장하게 되었다. 스트림 데이터의 특징은 실 시간적이고 연속적으로 생성된다는 것이다. 따라서 기존의 질의 처리와는 달리 질의 또한 연속적으로 처리된다. 본 논문에서는 시간에 따라서 예측할 수 없게 특성이 바뀌는 데이터 스트림에 대한 처리에 대하여 다룬다. 특별히, 본 논문에서는 스트림 데이터에 대한 질의문을 구성하는 연산자들 간의 효율적인 수행 순서 생성 기법을 제안한다. 본 논문에서 제안하는 방법은 시스템의 부담을 적게 주면서도 데이터의 변화에 따라 수행 순서를 변화시킨다. 또한 본 논문에서는 고정 연산자 순서와 비교하여 제안한 기법의 우수성을 보였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2010.07a
• /
• pp.315-318
• /
• 2010

USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2006.11a
• /
• pp.657-660
• /
• 2006

최근까지 데이터웨어하우스와 OLAP 에 관한 연구와 더불어 데이터 큐브(data cube)는 많은 다차원 데이터웨어하우스에서 데이터 분석과 의사 결정 지원을 위해 빠르게 OLAP 연산을 처리하기 위한 중요한 역할을 수행해 왔다. 최근에는 빠른 속도로 생성됨과 동시에 지속적으로 발생되는 연속적인 데이터로 구성된 데이터 스트림이 네트워크 트래픽 모니터링, 증권, 날씨, 콜 센터 등과 같은 많은 분야에서 생성된다. 데이터 스트림은 무한의 집합이기 때문에 기존의 데이터 큐브 방법은 처리시간과 저장공간의 문제 때문에 데이터 스트림에 적용하기 어렵다. 이에 본 논문에서는 기존의 데이터 큐브와 같은 데이터의 요약 정보를 데이터 스트림 환경에서 제한된 메모리를 이용하여 관리 할 수 있는 전원트리를 이용한 데이터 스트림 요약 기법을 제안하고, 실험을 통해 본 논문에서 제안한 방법이 데이터 스트림 환경에서 적응적으로 동작함을 증명한다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2008.06a
• /
• pp.189-192
• /
• 2008

최근에 제한된 데이터 셋보다 센서 데이터 처리, 웹 서버 로그나 전화 기록과 같은 다양한 트랜잭션 로그 분석등과 관련된 대용량 데이터 스트림을 실시간으로 처리하는 것에 많은 관심이 집중되고 있으며, 특히 데이터 스트림의 조인 처리에 대한 관심이 증가하고 있다. 본 논문에서는 조인 연산을 빠르게 처리하기 위한 효율적인 해시 구조와 조인 방법에 대해서 연구하고 다양한 환경에서 제안 방법을 검증한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.05a
• /
• pp.20-23
• /
• 2007

본 논문은 데이터 스트림의 저장을 위한 순환버퍼 기법을 제안한다. 빠르고 많은 입력을 가지는 데이터 스트림의 처리를 위해 DSMS(Data Stream Management System)란 새로운 시스템에 대한 연구가 활발히 진행되고 있다. 현재 입력되고 있는 데이터 스트림과 과거에 발생했던 데이터 스트림을 동시에 검색하는 하이브리드 질의를 위해서는 데이터 스트림이 디스크에 저장되어야 한다. 그러나 데이터 스트림의 빠른 입력 속도와 메모리와 디스크 공간의 한계 때문에 저장된 데이터 스트림에 대한 질의보다는, 현재 입력되고 있는 데이터 스트림에 대한 질의에 대한 연구들이 주로 이루어졌다. 본 논문에서는 제안하는 순환버퍼는 데이터 스트림의 입력과 출력을 비동기적으로 빠르게 실행할 수 있다. 또한 입력되는 네트워크 패킷의 감소와 출력 시 디스크 I/O의 감소를 위하여 순환버퍼에서는 데이터 스트림의 묶음 단위로 입출력이 진행된다. 실험을 통하여 기술이 대량으로 입력되는 데이터 스트림을 빠르게 저장시킬 수 있다는 것을 보인다.

• Electronics and Telecommunications Trends
• /
• v.26 no.1
• /
• pp.80-88
• /
• 2011

데이터의 효과적인 활용이 경쟁력 확보에 주요한 요인이나, 데이터 폭증은 유용한 정보를 얻는데 필요한 처리 시간의 지연을 야기하고 있다. 개인 맞춤형 서비스, 방범 방재 서비스 등 모니터링 & 대응 서비스를 위해 분석할 데이터의 양이 급증하고 있으며, 텍스트, 영상, 오디오 등 비정형 데이터에 대한 실시간 분석 필요성이 증대하고 있다. 대량의 폭증하는 데이터에 대한 실시간 분석 처리 환경을 제공하기 위해 분산 병렬 컴퓨팅 기술과 데이터 스트림 연속 처리 기술이 활용되고 있다. 본고에서는 폭증하는 데이터 스트림 처리를 위하여 확장성 및 유연한 처리 환경을 제공하는 분산 스트림 컴퓨팅 기술에 대해 소개한다.

• The KIPS Transactions:PartD
• /
• v.11D no.7 s.96
• /
• pp.1375-1384
• /
• 2004

Streaming data processing is an area of interest with much research under way. There has been increasing attention on the demands for efficient processing of streaming data produced in the application areas such as monitoring and sensor network. We have developed a continuous query processing system for streaming data and evaluated its performance in this paper. XML, the standard for data exchange on the web, is used as the model for the streaming data and the XQuery appended with a time interval is adopted as the query language for expressing con-tinuous queries. In the proposed system, the result is produced through background processing and materialized for reute in subsequent query processing. Through a detailed set of performance experiments, we shoed the effectiveness of the proposed system.

• The KIPS Transactions:PartB
• /
• v.8B no.1
• /
• pp.66-73
• /
• 2001

본 연구는 한국전자통신연구원에서 개발한 멀티미디어 DBMS의 하부 저장 시스템인 MIDAS-III에서 기존에 지원하던 일반호일, BLOB, CLOB 형태의 데이터 이외에 멀티미디어 스트림 데이터를 추가로 지원하기 위한 연구이다. 본 논문에서는 MIDAS-III에 새롭게 추가된 데이터 형태인 멀티미디어 스트림에 대한 디스크 입출력 성능을 향상시키기 위해 스트림 데이터의 대용량, 연속재생의 특성을 고려한 데이터 저장 구조를 설계한다. 또한 디스크 스케줄러가 존재하지 않던 기존의 MIDAS-III에서 여러 형태의 데이터를 통합 지원하기 위한 2단계 디스크 스케줄러를 설계한다. 멀티미디어 스트림 데이터에 대해서는 데이터의 연속재생 특성을 고려한 선 인출 기법을 적용하여 디스크 입출력 접근 요구들을 최적화하도록 처리한다. 이에 따라 줄어든 시간만큼 BLOB, CLOB 등과 같은 다른 요구들을 처리할 수 있으므로 전체적인 성능을 향상시킬 수 있다.