Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2012.11a
- /
- Pages.118-120
- /
- 2012
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Preprocessor of Scientific Experimental Data for MapReduce based Data Analysis
MapReduce 기반 데이터분석을 위한 과학실험데이터 전처리기
- Kang, Yun-Hee (Div. of Information and Communication, Baek-Seok University) ;
- Kang, Kyung-woo (Div. of Information and Communication, Baek-Seok University) ;
- Kung, Sang-wang (Div. of Information and Communication, Baek-Seok University) ;
- Jang, Haeng-Jin (GSDC, KISTI)
- Published : 2012.11.22
Abstract
이 논문에서는 MapReduce 프레임워크를 활용한 기후 시뮬레이션 결과의 데이터분석을 위한 전처리 과정을 다룬다. 이를 위해 기후 시뮬레이션 결과 데이터 셋으로부터 특정변수를 추출하여 자료를 변환한 후 변환된 자료를 HDFS 에 저장하기 위한 과학데이터 필터를 설계한다. 설계된 필터를 통해 저장된 자료는 Hadoop 의 MapReduce 응용을 통해 연도별 통계처리를 분산병렬 방식으로 수행한다.
Keywords