Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2016.10a
  • /
  • Pages.539-541
  • /
  • 2016
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Improving Performance based on Processing Analysis of Big data log file

벅데이터 로그파일 처리 분석을 통한 성능 개선 방안

  • Lee, Jaehan (Graduate School of Computer & Information Technology, Korea University) ;
  • Yu, Heonchang (Graduate School of Computer & Information Technology, Korea University)
  • 이재한 (고려대학교 컴퓨터정보통신대학원) ;
  • 유헌창 (고려대학교 컴퓨터정보통신대학원)
  • Published : 2016.10.27
Download PDF
⟨ Previous Next ⟩

Abstract

최근 빅데이터 분석을 위해 아파치 하둡(Apache Hadoop) 기반 에코시스템(Ecosystern)이 다양하게 활용되고 있다. 본 논문에서는 수집된 로그 데이터를 가공하여 데이터베이스에 로드하는 과정을 효율적으로 처리하기 위한 성능 평가를 수행한다. 이를 기반으로 텍스트 파일의 로그 데이터를 자바 코드로 개발된 프로그램에서 JDBC를 이용하여 오라클(Oracle) 데이터베이스에 삽입(Insert)하는 과정의 성능을 개선하기 위한 방안을 제안한다. 대용량 로그 파일의 효율적인 처리를 위해 하둡 에코시스템을 이용하여 처리 속도를 개선하고, 최근 인메모리(In-Mernory) 처리 방식으로 빠른 처리 속도로 인해 각광받고 있는 아파치 스파크(Apache Spark)를 이용한 처리와의 성능 평가를 수행한다. 이 연구를 통해 최적의 로그데이터 처리 시스템의 구축 방안을 제안한다.

Keywords