KIISE Transactions on Computing Practices (정보과학회 컴퓨팅의 실제 논문지)

Korean Institute of Information Scientists and Engineers (한국정보과학회)
권호 표지
DOI QR코드

DOI QR Code

Efficient Locality-Aware Traffic Distribution in Apache Storm

Apache Storm에서 지역성을 고려한 효율적인 트래픽 분배

  • 손시운 (강원대학교 컴퓨터과학과) ;
  • 이상훈 (강원대학교 컴퓨터과학과) ;
  • 문양세 (강원대학교 컴퓨터과학과)
  • Received : 2017.08.31
  • Accepted : 2017.11.03
  • Published : 2017.12.15
⟨ Previous Next ⟩

Abstract

Apache Storm is a representative real-time distributed processing system, which is able to process data streams quickly over distributed servers. Storm currently provides several stream grouping methods to distribute data traffic to multiple servers. Among them, the shuffle grouping may cause a processing delay problem and the local-or-shuffle grouping used to solve the problem may cause the problem of concentrating the traffic on a specific node. In this paper, we propose the locality-aware grouping to solve the problems that may arise in the existing Storm grouping methods. Experimental results show that the proposed locality-aware grouping is considerably superior to the existing shuffle grouping and the local-or-shuffle grouping. These results show that the new grouping is an excellent approach considering both the locality and load balancing which are limitations of the existing Storm.

Apache Storm이란 대표적인 실시간 분산 처리 시스템으로써, 분산 서버를 통해 실시간 데이터를 빠르게 처리하는 특징을 갖는다. 기존에 Storm은 다수의 서버에 트래픽을 분배할 때, 셔플(Shuffle) 그룹핑은 처리 지연 문제가 발생하며 이를 개선한 로컬(Local-or-Shuffle) 그룹핑은 트래픽이 특정 노드에 편중되는 문제가 발생할 수 있다. 본 논문은 이러한 기존 Storm 그룹핑에서 발생할 수 있는 문제를 해결하기 위한 지역성 고려(Locality-aware) 그룹핑을 제안한다. 실험에서는 제안하는 지역성 고려 그룹핑이 기존의 셔플 그룹핑 및 로컬 그룹핑에 비해 우수함을 확인하였다. 본 논문은 기존의 Storm의 한계점인 지역성과 로드 밸런싱을 동시에 고려한 우수한 결과라 사료된다.

Keywords

Acknowledgement

Supported by : 한국연구재단, 강원대학교

References

  1. J. Manyika, M. Chui, B. Brown, J. Bughin, R. Dobbs, C. Roxburgh, and A. Byers, "Big Data: The Next Frontier for Innovation, Competition, and Productivity," Technical Report, McKinsey Global Institute, 2011.
  2. N. Marz. (2014). Apache Storm [Online]. Available: http://storm.apache.org/ (download 2017, May 1).
  3. A. Toshniwal, S. Taneja, A. Shukla, K. Ramasamy, J. M. Patel, S. Kulkarni, J. Jackson, K. Gade, M. Fu, J. Donham, N. Bhagat, S. Mittal, and D. Ryaboy, "Storm@Twitter," Proc. of the Int'l Conf. on Management of Data, ACM SIGMOD, pp. 147-156, Jun. 2014.
  4. P. Goetz and B. O'Neill, "Storm Blueprints: Patterns for Distributed Real-time Computation," Packt Publishing, Mar. 2014.
  5. N. Marz. (2014). Apache Storm Concepts [Online]. Available: http://storm.apache.org/releases/1.1.0/Concepts. html (download 2017, Aug. 20).
  6. M. Muuss. (1983). The Story of the Ping Program [Online]. Available: http://ftp.arl.mil/-mike/ping.html (download 2017, Sep. 15).
  7. M. Zaharia. (2012). Apache Spark [Online]. Available: http://spark.apache.org/ (download 2017, Sep. 5).
  8. EsperTech (2006). EsperTech Esper [Online]. Available: http://www.espertech.com/esper/ (download 2017, Sep. 5).
  9. D. Cutting. (2010). Apache Hadoop [Online]. Available: http://hadoop.apache.org/ (downloaded 2017, Apr. 8).
  10. Yahoo. (2008). Apache Zookeeper [Online]. Available: https://zookeeper.apache.org/ (downloaded 2017, Sep. 8).