빅데이터 하둡 플랫폼의 활용

  • Published : 2012.10.31

Abstract

인터넷의 활성화 및 모바일 서비스의 등장으로 빅데이터 시대를 맞이하게 되었다. 이전에는 저장 및 처리할 수 없었던 영역. 이제는 새로운 기술의 등장과 분석을 통한 가치 창출의 가능성으로 빅데이터는 IT 업계의 최대 화두가 되어 가고 있다. 이러한 빅데이터를 바라보는 시각은 크게 기술적 관점과 분석적 관점으로 나뉘고 있다. 특히 기술적 관점에서 바라보는 빅데이터는 하둡을 표준으로 하는 오픈소스 분석 플랫폼의 대두가 고무적이다. 누구나가 대용량의 확장 가능한 시스템을 운영할 수 있는 기회가 온 것이다. 본 고에서는 빅데이터의 그 태생적 특징을 살펴보고, 비교적 저렴한 비용의 플랫폼 환경 구축을 위해 오픈소스 하둡이 널리 활용되고 있는 이유에 대해 알아본다. 또한 하둡의 용도와 어떠한 종류의 데이터 분석을 위해 사용되어지고 있는지, 그리고 하둡의 구성 및 하둡 생태계를 이루고 있는 요소들이 무엇인지 살펴본다. 끝으로 빅데이터를 활용하기 위한 6단계 절차와 이에 발맞춰 하둡 플랫폼을 어떻게 효율적으로 활용할 지에 대해 그 방법을 모색해 보고자 한다.

Keywords

References

  1. 위키피디아 백과사전, "빅 데이터", http://ko.wikipedia. org/wiki/%EB%B9%85_%EB%8D%B0%EC%9D%B4%E D%84%B0
  2. Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung, "The Google File System", http://static.googleusercontent. com/external_content/untrusted_dlcp/research.google.com/ko//archive/gfs-sosp2003.pdf, 2003
  3. Philip Russom, "Big Data Analytics", TDWI Research Fourth Quarter, p.6., 2011
  4. Apache Hadoop, http://hadoop.apache.org/
  5. http://creamy_tom.blog.me/100162288102, 2012
  6. 기가옴, "Survey, Hadoop clusters not that big not changing the world yet", http://gigaom.com/cloud/ survey-hadoop-clusters-not-that-big-notchanging- the-world-yet/, 2012
  7. Ken Mann, M. Tim Jones, "Distributed computing with Linux and Hadoop", http://www.ibm.com/ developerworks/linux/library/l-hadoop/, IBM, 2012
  8. http://indoos.wordpress.com/2010/08/16/hadoopecosystem-world-map/