한국컴퓨터정보학회:학술대회논문집 (Proceedings of the Korean Society of Computer Information Conference)
- 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
- /
- Pages.3-6
- /
- 2018
장애 복구 응답성 향상을 위한 Spark Streaming 스케줄링 개선 메커니즘
mproved Spark Streaming Scheduling Mechanism for Real-time Fault Recovery
- Hwang, Yongha (Dept. of Electrical and Computer Engineering, Seoul National University) ;
- Noh, Soonhyun (Dept. of Electrical and Computer Engineering, Seoul National University)
- 발행 : 2018.07.13
초록
최근 방대한 양의 스트림 데이터가 생산되면서 이를 실시간으로 처리하기 위한 프레임워크가 등장하였으며, 오픈 소스 영역에서 Spark Streaming이 주목받고 있다. Spark Streaming은 분산 환경에서 성능 향상을 위해 지연 스케줄링을 기반으로 응용을 수행하지만, 장애 발생 시 사용 가능한 태스크 슬롯을 빠르게 할당받지 못할 경우 장애 복구 시간이 지연될 수 있다는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 실행자의 태스크 슬롯 보장을 통해 대기 시간 없이 즉시 할당할 수 있도록 하는 개선 메커니즘을 제안하였고, 실험 결과 장애 복구 응답성이 39.14% 개선됨을 확인하였다.