Efficient Processing of Multidimensional Vessel USN Stream Data using Clustering Hash Table

클러스터링 해쉬 테이블을 이용한 다차원 선박 USN 스트림 데이터의 효율적인 처리

  • Song, Byoung-Ho (Institute of Information Science and Engineering Research, Mokpo National University) ;
  • Oh, Il-Whan (Dept. of Information & Electronics, Mokpo National University) ;
  • Lee, Seong-Ro (Dept. of Information & Electronics, Mokpo National University)
  • 송병호 (목포대학교 정보산업연구소) ;
  • 오일환 (목포대학교 정보전자공학과) ;
  • 이성로 (목포대학교 정보전자공학과)
  • Received : 2010.06.04
  • Published : 2010.11.25

Abstract

Digital vessel have to accurate and efficient mange the digital data from various sensors in the digital vessel. But, In sensor network, it is difficult to transmit and analyze the entire stream data depending on limited networks, power and processor. Therefore it is suitable to use alternative stream data processing after classifying the continuous stream data. In this paper, We propose efficient processing method that arrange some sensors (temperature, humidity, lighting, voice) and process query based on sliding window for efficient input stream and pre-clustering using multiple Support Vector Machine(SVM) algorithm and manage hash table to summarized information. Processing performance improve as store and search and memory using hash table and usage reduced so maintain hash table in memory. We obtained to efficient result that accuracy rate and processing performance of proposal method using 35,912 data sets.

디지털 선박에서는 선박 내의 각종 센서로부터 측정된 디지털 데이터에 대한 정확하고 에너지 효율적인 관리가 필요하다. 그러나, 센서 네트워크에서 대용량 스트림 데이터를 제한된 네트워크, 전력, 프로세서를 이용하여 모든 센서 데이터를 전송하고 분석하는 것은 어렵고 효율적이지 못하다. 그러므로, 연속적으로 입력되는 데이터를 사전에 분류하여 특성에 따라 선택적으로 데이터를 처리하는 데이터 분류 기법이 요구된다. 본 논문에서는 디지털 선박 내에 다수 개의 센서(온도, 습도, 조도, 음성 센서)를 배치하고 효율적인 입력 스트림 처리를 위해서 슬라이딩 윈도우 기반으로 다중 Support Vector Machine(SVM) 알고리즘을 이용하여 사전 분류(pre-clustering)한 후 요약된 정보를 해쉬 테이블로 관리하는 효율적인 처리 기법을 제안한다. 해쉬테이블을 이용하여 다차원 스트림 데이터의 저장될 레코드 순서를 빠르게 찾아 저장 및 검색함으로서 처리 속도가 향상되고 메모리에 해쉬 테이블 만을 유지하면 되므로 메모리 사용량이 감소한다. 35,912개의 데이터 집합을 사용하여 실험한 결과 제안 기법의 정확도와 처리 성능이 향상되었다.

Keywords

References

  1. L. Golab and M. T. Ozsu, "Issues in Data Stream Management," SIGMOD Record, vol.32, no. 2, June 2003.
  2. B. Babcock, S. Babu, M. Datar, R. Motwani, and J. Widom, "Models and Issues in Data Stream Systems," In Proc. of ACM SIGACT-SIGMODSIGART Sym. on Principles of Database Systems, pp. 1-16, Wisconsin, USA, June 2002.
  3. 이수안외 3명 , "유비쿼터스 센서 네트워크에서 스트림 데이터를 효율적으로 관리하는 저장 관리자 구현", 전자공학회논문지, 제46권 CI편, 제3호, 24-33쪽, 2009년 5월.
  4. Burges, C., "A Tutorial on Support Vector Machines for Pattern Recognition", Data Mining and Knowledge Discovery, 1998.
  5. Hyunchul Ahn, Kyoung-jae Kim, "Multiclass SVM, Model with Order Information", International Journal of Fuzzy Logic and Intelligent Systems, Vol.6, No.4, pp.331-334, December 2006. https://doi.org/10.5391/IJFIS.2006.6.4.331
  6. 고재필, "Support Vector Machines을 이용한 다중클래스 문제 해결", 정보과학회논문지:소프트웨어 및응용, 제32권, 제12호, pp.1260-1270, 2005.12
  7. 이희성외 2명 , "KNN 규칙과 새로운 특징 가중치 알고리즘을 결합한 패턴 인식 시스템", 전자공학회논문지, 제42권 CI편, 제4호, 43-50쪽, 2005년 7월.
  8. T. M. Cover and P. E. Hart, "Nearest Neighbor Pattern Classification," IEEE Transactions on Information Theory, Vol. 13, 1967. https://doi.org/10.1109/TIT.1967.1053964
  9. E. E. Smith and D. L. Medin, "Categories and Concepts," Cambridge, MA: Harvard University Press, 1981.
  10. D. Aha, D. Kibler and M. Albert, "Instancebased Learning Algorithms," Machine Learning, 6(1) pp.37-66, 1991.
  11. Zhuang, D., Zhang, B., Yang, Q., Yan, J., Chen, Z., & Chen, Y. 2005. "Efficient Text Classification by Weighted Proximal SVM." Proceedings of the Fifth IEEE International Conference on Data Mining: 538-545.
  12. Y. Liu, R. Wang, H. Huang, Y. Zeng, and H. He,"Applying support vector machine to P2P traffic identification with smooth processing," IEEE Int. Conf. on Signal Processing, Vol. 3, pp. 16-20, 2006.