• 한국IT서비스학회지
• /
• 제16권1호
• /
• pp.73-82
• /
• 2017

Recently in-memory data stream processing has been actively applied to various subjects such as query processing, OLAP, data mining, i.e., frequent item sets, association rules, clustering. However, finding regular periodic patterns of events in an infinite data stream gets less attention. Most researches about finding periods use autocorrelation functions to find certain changes in periodic patterns, not period itself. And they usually find periodic patterns in time-series databases, not in data streams. Literally a period means the length or era of time that some phenomenon recur in a certain time interval. However in real applications a data set indeed evolves with tiny differences as time elapses. This kind of a period is called as a pseudo-period. This paper proposes a new scheme called FPMH (Finding Periods using Multiple Hash functions) algorithm to find such a set of pseudo-periods over a data stream based on multiple hash functions. According to the type of pseudo period, this paper categorizes FPMH into three, FPMH-E, FPMH-PC, FPMH-PP. To maximize the performance of the algorithm in the data stream environment and to keep most recent periodic patterns in memory, we applied decay mechanism to FPMH algorithms. FPMH algorithm minimizes the usage of memory as well as processing time with acceptable accuracy.

• 정보처리학회논문지D
• /
• 제14D권5호
• /
• pp.459-470
• /
• 2007

데이터 스트림은 빠르게 연속적으로 발생하는 무제한의 데이터 튜플의 집합이다. 이러한 데이터 스트림에 대한 질의 처리 또한 연속적이고 신속해야 하며 엄격한 시공간적 제약이 요구된다. 대부분의 데이터 스트림 관리시스템(DSMS)에서는 시공간적 제약사항을 효과적으로 지키기 위해서 등록된 연속 질의들의 선택 조건(selection predicate)들을 그룹화하거나 색인처리 한다. 본 논문에서는 연속 질의들의 선택 조건들을 속성별로 그룹화한 새로운 구조체인 속성 선택체(Attribute Selection Construct)를 제안한다. 속성 선택체에는 해당 속성이 특정 질의조건에 사용되는지 여부, 부분적으로 미리 계산된 질의결과 정보, 그리고 해당 속성의 선택률 통계 등 효율적인 질의 처리를 위한 유용한 정보들이 포함된다. 또한, 대상 질의집합을 구현한 속성 선택체들 간의 처리 순서는 전체적인 질의성능에 많은 영향을 미칠 수 있기 때문에 효과적으로 속성 선택체 처리 순서를 결정할 수 있는 전략도 함께 제안된다. 마지막으로, 기존의 방법들이 포함된 다양한 실험을 통하여 제안된 방법론의 성능을 여러 각도에서 비교 검증한다.

• 한국정보전자통신기술학회논문지
• /
• 제4권2호
• /
• pp.103-110
• /
• 2011

u-Health 시스템의 센서들로부터 측정된 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 센서네트워크에서 대용량의 입력 스트림 데이터 전체를 데이터베이스에 모두 저장하여 한꺼번에 처리하는 것은 효율적이지 못하다. 본 논문에서는 u-Health 시스템 내 센서 네트워크의 에너지 효율성과 정확성을 고려하여 여러 센서에서 지속적으로 들어오는 다차원 스트림 데이터의 처리 성능을 높이고자 한다. 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 질의를 처리하고 Mjoin 방법으로 다중 질의 계획을 수립한 후 역전파 알고리즘을 통해 저장 데이터를 축소하는 효율적인 처리 기법을 제안한다. 14,324개의 데이터 집합을 사용하여 실험한 결과 실제 입력되는 데이터보다 저장 공간의 18.3%를 축소함으로써 효과적임을 보였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권7호
• /
• pp.2977-2997
• /
• 2018

In big data era, fresh data grows rapidly every day. More than 30,000 gigabytes of data are created every second and the rate is accelerating. Many organizations rely heavily on real time streaming, while big data stream computing helps them spot opportunities and risks from real time big data. Storm, one of the most common online stream computing platforms, has been used for big data stream computing, with response time ranging from milliseconds to sub-seconds. The performance of Storm plays a crucial role in different application scenarios, however, few studies were conducted to evaluate the performance of Storm. In this paper, we investigate the performance of Storm under different application scenarios. Our experimental results show that throughput and latency of Storm are greatly affected by the number of instances of each vertex in task topology, and the number of available resources in data center. The fault-tolerant mechanism of Storm works well in most big data stream computing environments. As a result, it is suggested that a dynamic topology, an elastic scheduling framework, and a memory based fault-tolerant mechanism are necessary for providing high throughput and low latency services on Storm platform.

• 정보처리학회논문지:컴퓨터 및 통신 시스템
• /
• 제1권1호
• /
• pp.11-20
• /
• 2012

스트림 데이터는 시간에 따라 연속적으로 변화하는 일련의 값들로 나타난다. 이러한 스트림 데이터의 특성상 다양한 시간 간격의 기준에 따라 계속적으로 그 동향이 달라질 수 있다. 이 때문에 스트림 데이터의 추세 예측은 간격이 갱신될 때 마다 연속적인 환경에서 여러 간격들을 기준으로 동시에 이루어지는 연속 다중 예측(Continuous Multiple Prediction, CMP)이 지원되어야 한다. 본 논문은 스트림 데이터의 연속 다중 예측을 효과적으로 지원하기 위하여, 신피질 학습 모델인 계층형 시간적 메모리(Hierarchical Temporal Memory, HTM) 모델을 확장하여 연속통합 HTM(Continuous Integrated HTM, CIHTM) 네트워크를 제안한다. 이를 위해 우리는 HTM 네트워크를 구성하는 기존 노드들 외에 새롭게 이동 벡터 파일 센서, 시공간 분류 노드, 다중 통합 노드를 고안하였다. 그리고 이들을 바탕으로 CIHTM 네트워크의 학습과 추론 알고리즘을 개발하였다.

• 한국정보과학회논문지:데이타베이스
• /
• 제35권1호
• /
• pp.1-16
• /
• 2008

센서 네트워크에 이용되는 데이타 스트림 관리 시스템에서는 한정적 정보들이 개별적으로 입력되기 때문에 종합적인 결과를 얻기 위해서는 상대적인 계산 비용이 높은 조인 연산자는 필연적으로 요구된다. 데이타 스트림은 잠재적으로 무한한 크기를 가지므로 조인 연산자는 슬라이딩 윈도우 제약사항을 가져야 함은 당연하다. 또한, 종합적인 결과를 얻기 위해 조인 연산자는 여러 입력을 취할 수 있어야 한다. 이를 가능하게 하는 것이 바로 슬라이딩 윈도우를 가지는 MJoin 연산자이다. 본 논문에서는 이러한 여러 MJoin 연산자가 시스템에 등록되어 있는 환경을 가정하고, 슬라이딩 윈도우를 가지는 MJoin의 특성을 반영하여 전역적으로 공유된 질의 처리 기법인 MMJoin 기법을 제안한다. MMJoin 기법은 첫째, 전역적으로 공유된 질의 실행 계획 수릴 문제, 조인 연산 결과에 대한 윈도우 갱신 문제 및 라우팅 문제로 나누어 다룬다. 이러한 연구의 노력은 데이타 스트림 환경에서 효율적인 다중 질의 최적화 및 처리 기법의 기초연구로 활용될 수 있다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2007년도 Proceedings of ISRS 2007
• /
• pp.11-13
• /
• 2007

There has been much interest in stream query processing. Various index techniques and advanced join techniques have been proposed to efficiently process data stream queries. Previous proposals support rapid and advanced response to the data stream queries. However, the amount of data stream is increasing and the data stream query processing needs more speedup than before. In this paper, we proposed novel query processing techniques for large number of incoming documents stream. We proposed Dissection Technique for efficient query processing in the data stream environment. We focused on the dissection technique in join query processing. Our technique shows efficient operation performance comparing with the other proposal in the data stream. Proposed technique is applied to the sensor network system and XML database.

• 한국통신학회논문지
• /
• 제35권5B호
• /
• pp.794-800
• /
• 2010

디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 센서 네트워크에서 대용량의 입력 스트림 데이터 전체를 데이터베이스에 모두 저장하여 한꺼번에 처리하는 것은 효율적이지 못하다. 본 논문에서는 디지털 선박 내 센서 네트워크의 에너지 효율성과 정확성을 고려하여 여러 센서에서 지속적으로 들어오는 다차원 스트림 데이터의 처리 성능을 높이고자 한다. 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 질의를 처리하고 Mjoin 방법으로 다중 질의 계획을 수립한 후 SVM 알고리즘을 통해 저장 데이터를 축소하는 효율적인 처리 기법을 제안한다. 분류된 데이터들 중 필요하지 않는 데이터는 자동으로 데이터베이스에서 삭제되고 유효한 데이터는 디지털 선박 모니터링 시스템에 이용하였다. 35,912개의 데이터 집합을 사용하여 실험한 결과 실제 입력되는 데이터보다 저장 공간의 18.3%를 축소함으로써 효과적임을 보였다.

• 한국위성정보통신학회논문지
• /
• 제6권1호
• /
• pp.19-27
• /
• 2011

본 논문에서는 블록 대각화 프리코딩 기법을 사용하는 다중 사용자 MIMO 하향링크 시스템에서 전체 채널 용량을 최대화하기 위한 데이터 스트림 할당 기법을 제안한다. 기존의 블록 대각화 프리코딩 기법은 모든 사용자에게 동일한 수의 데이터 스트림을 할당하고 water-filling에 의한 전력제어 만으로 전체 채널 용량을 최대화함으로써 데이터 스트림의 수의 차이에 의한 채널 용량의 이득을 스스로 제한했다. 제안하는 블록 대각화 프리코딩의 데이터 스트림 할당 기법은 시스템의 전체 채널 용량을 최대화하기 위하여 평균 채널이득, 순시 채널 이득의 크기를 비교하여 채널 이득이 좋은 사용자에게 많은 수의 데이터 스트림을 할당하고 water-filling을 통한 전력 제어를 하는 방법으로 채널 이득에 대한 채널 용량을 최대화 시킨다. 본 논문에서 제안된 데이터 스트림 할당 기법을 이용하여 시스템의 성능을 향상시킬 수 있음을 모의실험을 통해 증명했다.

• 한국통신학회논문지
• /
• 제34권12A호
• /
• pp.1006-1013
• /
• 2009

본 논문에서는 블록 대각화 기법을 사용하는 다중 사용자 MIMO (Multiple-Input Multiple-Output) 하향링크 채널 환경에서 모든 사용자의 성능을 동일하게 보장하기 위하여 데이터 스트림의 수를 할당하는 기법을 제안한다. 기존의 연구들은 전체 채널 용량의 최대화에 중점을 두고 있고, 각 사용자의 채널 환경에 따라서 채널 용량이 불균등하게 분배되어 사용자 간의 차이가 크다. 뿐만 아니라, water-filling 기법을 사용하여 전력을 제어함으로써, 채널 이득이 작은 사용자는 매우 작은 채널 용량만을 가질 수 있었다. 또한, 대부분의 연구에서는 모든 사용자에 대해 동일한 수의 데이터 스트림을 사용함으로써, 스스로 데이터 스트림의 분배에 의한 추가적인 이득을 제한했다. 본 논문에서는 사용자 채널의 크기에 따라 데이터 스트림을 분배하여 모든 사용자에게 균등한 채널 용량을 보장하는 조건에서 이를 최대화하는 기법을 제안하고 모의실험을 통하여 제안된 기법이 기존의 기법에 비해 송신전력과 채널 용량의 이득이 더 큰 것을 확인한다.