A JobTracker Fault-tolerant Mechanism for MapReduce Framework

MapReduce 프레임워크를 위한 JobTracker 결함허용 메커니즘

  • Hwang, Byung-Hyun (Department of Industrial Engineering, Ajou University) ;
  • Park, Kie-Jin (Division of Industrial and Information Systems Engineering, Ajou University)
  • 황병현 (아주대학교 산업공학과) ;
  • 박기진 (아주대학교 산업정보시스템공학부)
  • Published : 2010.06.30

Abstract

클라우드 컴퓨팅 서비스를 제공하기 위해서는 클라우드 컴퓨팅에 적합한 데이터 분산 저장 및 병렬 처리가 가능한 IT 인프라 구축이 필수적이다. 이를 위해서 분산 파일 시스템 중 하나인 HDFS(Hadoop File System)와 병렬 데이터 처리를 지원하기 위한 MapReduce 프레임워크 관련 연구가 각광 받고 있다. 하지만 MapReduce 프레임워크를 구성하는 JobTracker 노드는 SPoF(Single Point of Failure)이기 때문에, 작업 도중 JobTracker 노드의 결함이 발생하게 되면 전체 작업이 실패하게 된다. 위와 같은 문제를 해결하기 위해서 본 논문에서는 MapReduce 프레임워크의 JobTracker 노드 결함 발생에 대처할 수 있는 결함허용 메커니즘을 제안하였다.

Keywords