• Title/Summary/Keyword: Stream Processing System

Search Result 294, Processing Time 0.031 seconds

Efficient Data Management in RFID Applications

  • Cho, Yong-Jun;Bok, Kyoung-Soo;Park, Yong-Hun;Park, Hyeong-Soon;Park, Jun-Ho;Kang, Tae-Ho;Kim, Hak-Yong;Yoo, Jae-Soo
    • International Journal of Contents
    • /
    • v.5 no.1
    • /
    • pp.46-50
    • /
    • 2009
  • Logistics is in the limelight as one of a variety of RFID applications. The RFID technology is actively being applied to improve the competitiveness power of companies through the synthetic management of products and information. The RFID system generates large volume of stream data. It has problems which occur waste of storage and long processing time when storing large data and processing queries. Recently, many studies have been done to solve the problems which are generated in RFID system. In this thesis, we propose an efficient data management scheme for path queries and containment queries which are occurred frequently. The proposed data management scheme considers a change of the containment of products during a transport and supports a path of changed products by representing a path of various containments. Also, the compression utilizing the structure of supply chain reduces the stored data volumes. In order to show the superiority of our approach, we compare it with the existing schemes. As a result, our experimental results show that our scheme outperforms the existing scheme in terms of storage efficiency and query processing time.

Circular Buffer Technique for Storing Data Stream (데이터 스트림 저장을 위한 순환버퍼 기법)

  • Shin, Jae-Jyn;You, Byeong-Seob;Eo, Sang-Hun;Lee, Dong-Wook;Bae, Hea-Young
    • Annual Conference of KIPS
    • /
    • 2007.05a
    • /
    • pp.20-23
    • /
    • 2007
  • 본 논문은 데이터 스트림의 저장을 위한 순환버퍼 기법을 제안한다. 빠르고 많은 입력을 가지는 데이터 스트림의 처리를 위해 DSMS(Data Stream Management System)란 새로운 시스템에 대한 연구가 활발히 진행되고 있다. 현재 입력되고 있는 데이터 스트림과 과거에 발생했던 데이터 스트림을 동시에 검색하는 하이브리드 질의를 위해서는 데이터 스트림이 디스크에 저장되어야 한다. 그러나 데이터 스트림의 빠른 입력 속도와 메모리와 디스크 공간의 한계 때문에 저장된 데이터 스트림에 대한 질의보다는, 현재 입력되고 있는 데이터 스트림에 대한 질의에 대한 연구들이 주로 이루어졌다. 본 논문에서는 제안하는 순환버퍼는 데이터 스트림의 입력과 출력을 비동기적으로 빠르게 실행할 수 있다. 또한 입력되는 네트워크 패킷의 감소와 출력 시 디스크 I/O의 감소를 위하여 순환버퍼에서는 데이터 스트림의 묶음 단위로 입출력이 진행된다. 실험을 통하여 기술이 대량으로 입력되는 데이터 스트림을 빠르게 저장시킬 수 있다는 것을 보인다.

Dog Activities Recognition System using Dog-centered Cropped Images (반려견에 초점을 맞춰 추출하는 영상 기반의 행동 탐지 시스템)

  • Othmane Atif;Jonguk Lee;Daihee Park;Yongwha Chung
    • Annual Conference of KIPS
    • /
    • 2023.05a
    • /
    • pp.615-617
    • /
    • 2023
  • In recent years, the growing popularity of dogs due to the benefits they bring their owners has contributed to the increase of the number of dogs raised. For owners, it is their responsibility to ensure their dogs' health and safety. However, it is challenging for them to continuously monitor their dogs' activities, which are important to understand and guarantee their wellbeing. In this work, we introduce a camera-based monitoring system to help owners automatically monitor their dogs' activities. The system receives sequences of RGB images and uses YOLOv7 to detect the dog presence, and then applies post-processing to perform dog-centered image cropping on each input sequence. The optical flow is extracted from each sequence, and both sequences of RGB and flow are input to a two-stream EfficientNet to extract their respective features. Finally, the features are concatenated, and a bi-directional LSTM is utilized to retrieve temporal features and recognize the activity. The experiments prove that our system achieves a good performance with the F-1 score exceeding 0.90 for all activities and reaching 0.963 on average.

Design of VCR Functions With MPEG Characteristics for VOD based on Multicast (멀티캐스트 기반의 VOD 시스템에서 MPEG의 특성을 고려한 VCR 기능의 설계)

  • Lee, Joa-Hyoung;Jung, In-Bum
    • The KIPS Transactions:PartC
    • /
    • v.16C no.4
    • /
    • pp.487-494
    • /
    • 2009
  • VOD(Video On Demand) that provides streaming service according to the user's requirement in real time, consists of the video streaming server and the client system. Since it is very hard to apply the traditional server-client model that a server communicates with many clients through 1:1 connection to VOD system because it requires very high network bandwidth, many researches have been done to address this problem. Batching technique is one of VOD system based on Multicast that requires very small network bandwidth. However, the batching based VOD system has a limitation that it is very hard to provide VCR(Video Cassette Recorder) ability. In this paper, we propose a technique that reduces the required network bandwidth to provide VCR function by using the characteristic of MPEG, one of international video compression standard. In the proposed technique, a new video stream for VCR function is constructed with I pictures that is able to be decoded independently. The new video stream for VCR function is transmitted with the video stream for normal play together in Batching manner. The performance evaluation result shows that the proposed technique not only reduces the required network bandwidth and memory usage but also decreases the CPU usages.

A Dual Processing Load Shedding to Improve The Accuracy of Aggregate Queries on Clustering Environment of GeoSensor Data Stream (클러스터 환경에서 GeoSensor 스트림 데이터의 집계질의의 정확도 향상을 위한 이중처리 부하제한 기법)

  • Ji, Min-Sub;Lee, Yeon;Kim, Gyeong-Bae;Bae, Hae-Young
    • Journal of the Korea Society of Computer and Information
    • /
    • v.17 no.1
    • /
    • pp.31-40
    • /
    • 2012
  • u-GIS DSMSs have been researched to deal with various sensor data from GeoSensors in ubiquitous environment. Also, they has been more important for high availability. The data from GeoSensors have some characteristics that increase explosively. This characteristic could lead memory overflow and data loss. To solve the problem, various load shedding methods have been researched. Traditional methods drop the overloaded tuples according to a particular criteria in a single server. Tuple deletion sensitive queries such as aggregation is hard to satisfy accuracy. In this paper a dual processing load shedding method is suggested to improve the accuracy of aggregation in clustering environment. In this method two nodes use replicated stream data for high availability. They process a stream in two nodes by using a characteristic they share stream data. Stream data are synchronized between them with a window as a unit. Then, processed results are merged. We gain improved query accuracy without data loss.

Computer Modeling of Impurity Diffusion in Poly-silicon for Display Devices (디스플레이 소자 개발을 위한 다결정 실리콘 확산의 컴퓨터 모델링에 관한 연구)

  • 이흥주;이준하
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.5 no.3
    • /
    • pp.210-217
    • /
    • 2004
  • This paper presents a simulation methodology for the poly-silicon oriented TCAD(technology-CAD) system. A computer simulation environment for the poly-silicon processing has been set up with the proper adoption of the two-stream model for ion-doping, diffusion, and defects inside of grain and on the grain boundary. After the simulator calibration, simulation results for the poly-silicon diffusion has showed a good agreement with the SIMS data.

  • PDF

Design of High-speed Sensor Stream Data Processing System to use Cache Table base on Sensor Monitoring Environment (센서 모니터링 환경에서 캐쉬 테이블을 사용한 센서 스트림 데이터 고속 처리 시스템 설계)

  • Park, Jun-Yong;Lee, Kwang-Won;Hwang, Yun-Chul;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2010.07a
    • /
    • pp.315-318
    • /
    • 2010
  • USN(Ubiquitous Sensor Network)기술이 다양한 분야에 적용하고 응용함으로서 센서 네트워크에서 발생하는 스트림 데이터를 효율적으로 처리하는 기술이 활발하게 연구되고 있다. 그리고 센서들에서 발생한 이기종 센서 스트림 데이터는 미들웨어의 메타데이터를 이용하여 센서 모니터링 환경의 상위 응용시스템에서 사용하기 적합한 센서 데이터로의 변환이 필요하다. 기존에 개발된 센서 데이터 처리 시스템에서는 동일한 노드나 지역에서 발생하는 센서 스트림 데이터에 대해서도 미들웨어에서의 불필요한 검색과 연산을 수행하기 때문에 본 논문에서는 캐쉬 테이블방식을 이용하여 중복적인 센서 스트림 데이터 처리의 수행을 줄일 수 있는 센서 스트림 데이터 처리 시스템의 설계를 제안한다.

  • PDF

Query Processing System for Incomplete Sensor Stream Data of in Real-time Sensor Network (실시간 센서 네트워크에서 불완전 센서 스트림 데이터를 위한 질의 처리 시스템)

  • Jang, You-Ho;Lee, Sang-Ho;Kim, Yong-Seung;Oh, Ryum-Duck
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2014.01a
    • /
    • pp.123-124
    • /
    • 2014
  • 무선 센서 네트워크는 센서들을 근거리 네트워크로 연결하여 사용자와 현장의 정보를 실시간으로 연결해 주는 매개체 역할을 한다. 이러한 무선 센서 네트워크는 기존의 컴퓨팅 시스템과는 달리 제한된 자원과 환경 속에서 동작을 해야 하고, 접근이 힘든 곳이나 지속적인 관리가 필요한 지역에서 효율적으로 사용된다. 본 논문에서는 무선 센서네트워크의 제한된 자원 속에서 불완전 스트림 데이터를 효율적으로 정제하고 처리하여 빠르고 정확한 질의어 처리가 가능한 질의 시스템을 제안하였다.

  • PDF

Video data output system design for CEU (camera electronic unit) of satellite

  • Park, Jong-Euk;Kong, Jong-Pil;Yong, Sang-Soon;Heo, Haeng-Pal;Kim, Young-Sun;Paik, Hong-Yul
    • Proceedings of the KSRS Conference
    • /
    • 2003.11a
    • /
    • pp.1118-1120
    • /
    • 2003
  • In MSC(Multi-spectral camera ), the incoming light is converted to electronic analog signals by the CCD(charge coupled device) detectors. The analog signals are amplified, biased and converted into digital signals (pixel data stream) in the FPE(Focal plane electronics ). The digital data is transmitted to the PMU for pre-processing to correct for nonuniformity, to partially reorder the pixel stream and to add header data for identification and synchronization In this paper, the video data streams is described in terms of hardware.

  • PDF

A High-Speed Data Processing Algorithm for RFID Input Data Stream Using Multi-Buffer (RFID 입력 테이터 스트림에 대한 다중 버퍼 기반의 고속 데이터 처리 알고리즘)

  • Han, Soo;Shin, Seung-Ho
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2007.10b
    • /
    • pp.302-307
    • /
    • 2007
  • RFID를 기반으로 유비쿼터스 환경의 응용 서비스를 지원하는 미들웨어는 지속적으로 끊임없이 입력되는 데이터를 정확하게 실시간으로 처리하고 응용 서비스에서 질의하는 결과를 획득해서 전달하여야 한다. 이와 같은 지속적으로 입력되는 대량의 데이터 스트림을 처리하기 위해서 데이터 스트림 관리 시스템(Data Stream Management System: DSMS)을 개발하기 위한 연구가 진행되고 있다. 기존에 연구되는 데이터 스트림에 대한 알고리즘은 대부분 연속 질의 결과들 사이의 평균 오차를 줄이고, 부하 발생 시 데이터의 우선순위에 따라 버리는 것에 초점이 맞추어져 있다. 본 논문에서는 RFID EPC 라는 데이터 특성에 맞추어 다중버퍼를 이용함으로써 고속의 데이터 처리 능력을 얻고, 각 버퍼마다 일정한 규칙을 통해 질의에 있어서도 빠른 대응을 할 수 있는 알고리즘을 제안한다. 본 논문은 현재 DSMS의 관련 연구와 고속 데이터 처리의 필요성을 말하고, 제안하는 알고리즘 설명과 시뮬레이션을 통해 단일버퍼와 다중버퍼일 경우 데이터 처리 속도 성능 평가와 제안한 알고리즘에 맞도록 버퍼가 생성 되는지 테스트하는 것으로 구성된다.

  • PDF