• KIISE Transactions on Computing Practices
• /
• v.21 no.8
• /
• pp.561-566
• /
• 2015

Hadoop is becoming widely adopted in scientific and commercial areas as an open-source distributed data processing framework. Recently, for real-time processing and analysis of data, an attempt to apply high-performance computing technologies to Hadoop is being made. In this paper, we have expanded the Hadoop Filesystem library to support Lustre, which is a popular high-performance parallel distributed filesystem, and implemented the Hadoop MapReduce execution environment over the Lustre filesystem. We analysed Hadoop MapReduce over Lustre by using Hadoop standard benchmark tools. We found that Hadoop MapReduce over Lustre execution has a performance 2-13 times better than a typical Hadoop MapReduce execution.

• Information and Communications Magazine
• /
• v.29 no.11
• /
• pp.43-47
• /
• 2012

인터넷의 활성화 및 모바일 서비스의 등장으로 빅데이터 시대를 맞이하게 되었다. 이전에는 저장 및 처리할 수 없었던 영역. 이제는 새로운 기술의 등장과 분석을 통한 가치 창출의 가능성으로 빅데이터는 IT 업계의 최대 화두가 되어 가고 있다. 이러한 빅데이터를 바라보는 시각은 크게 기술적 관점과 분석적 관점으로 나뉘고 있다. 특히 기술적 관점에서 바라보는 빅데이터는 하둡을 표준으로 하는 오픈소스 분석 플랫폼의 대두가 고무적이다. 누구나가 대용량의 확장 가능한 시스템을 운영할 수 있는 기회가 온 것이다. 본 고에서는 빅데이터의 그 태생적 특징을 살펴보고, 비교적 저렴한 비용의 플랫폼 환경 구축을 위해 오픈소스 하둡이 널리 활용되고 있는 이유에 대해 알아본다. 또한 하둡의 용도와 어떠한 종류의 데이터 분석을 위해 사용되어지고 있는지, 그리고 하둡의 구성 및 하둡 생태계를 이루고 있는 요소들이 무엇인지 살펴본다. 끝으로 빅데이터를 활용하기 위한 6단계 절차와 이에 발맞춰 하둡 플랫폼을 어떻게 효율적으로 활용할 지에 대해 그 방법을 모색해 보고자 한다.

• Broadcasting and Media Magazine
• /
• v.22 no.4
• /
• pp.11-17
• /
• 2017

본 고에서는 멀티 응용 데이터 플랫폼으로 진화하고 있는 하둡(Hadoop) 2.0의 주요 특징과 관련된 다양한 데이터 처리 프레임워크들에 대해서 기술하고자 한다. 기존의 맵리듀스(MapReduce) 기반의 배치 처리(Batch Processing)에 최적화되어 있던 하둡 1.0과는 달리, YARN의 등장과 함께 시작된 하둡 2.0 플랫폼은 다양한 형태의 데이터 처리 워크플로우들(Batch, Interactive, Streaming 등)을 지원할 수 있는 기능을 제공하고 있다. 또한, 최근에는 고성능컴퓨팅 분야에서 주로 활용되던 기술들도 하둡 2.0 플랫폼에서 지원되고 있다. 마지막으로 YARN 어플리케이션 개발 사례로서 본 연구팀에서 개발 중에 있는 Many-Task Computing (MTC) 응용을 위한 신규 데이터 처리 프레임워크를 소개한다.

• Journal of Integrative Natural Science
• /
• v.13 no.3
• /
• pp.114-119
• /
• 2020

IoT 및 사물인터넷 기반 빅데이터 시스템을 구축하는 경우 발생하는 빈번한 전송에 따른 데이터 오류율과 자원의 비효율적 이용율을 극복하기 위하고 오픈소스기반 하둡시스템의 문제점을 극복하기 위한 본 연구에서는 순수 하둡을 기반으로 적용된 결과를 분석하고 하둡 2.x대 버전을 기준으로 빅데이터 시스템의 용량을 산정한 가이드를 제시하고 용량 산정의 기준을 에코 소프트웨어 적용 플랫폼을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.233-235
• /
• 2012

하둡 프레임워크는 현재 오픈소스 기반의 클라우드 인프라의 사실상 표준이다. 최초 하둡은 보안요소를 고려하지 않고 설계 되었지만 현재는 강력한 인증프로토콜인 커버로스를 사용하는 등의 보안 기능이 추가되었다. 하둡 보안은 꽤 안전해 보이지만, 클라우드 컴퓨팅의 범용적인 사용의 가장 중요한 요소는 보안인 것을 감안해보면 클라우드 제공자는 기존보다 더욱 강력한 보안 레벨을 고객에게 보장하여야 한다. 본 논문에서는 하둡 보안의 한계점을 제시하고 하드웨어 보안칩 TPM(Trusted Platform Module)을 이용한 해결방안을 제시한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.10a
• /
• pp.1193-1195
• /
• 2015

최근 빅데이터 문제를 해결하기 위해 하둡의 사용이 급증하였다. 하둡은 다수의 노드에 데이터를 분산 저장 및 처리하며, 이를 위해 모든 메타데이터를 네임노드에서 관리한다. 기존 하둡은 모든 메타데이터를 메모리 상에서 관리하며, 변경 이력을 로컬 파일 시스템에서 별도의 파일로 관리한다. 이 방법에서는 데이터의 증가 및 하둡 에코시스템의 확장 등의 이유로 관리되어야 할 메타데이터가 크게 증가하며, 이는 곧 네임노드의 메모리 부하를 높이는 문제가 있다. 본 논문은 이러한 인메모리 기반의 하둡 메타데이터 관리 구조를 RDBMS 기반으로 수정하도록 설계 및 구현한다. 그리고 하둡의 모든 명령어에 대한 테스트를 작성하여 본 연구의 적정성을 검토하였다. 본 논문은 네임노드의 부하를 줄임으로써 하둡의 안정성을 높이는 좋은 연구 결과라 사료된다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2017.05a
• /
• pp.103-105
• /
• 2017

Hadoop MapReduce is a processing framework in which users' job can be efficiently processed in parallel and distributed ways on the Hadoop cluster. MapReduce task schedulers are used to select target nodes and assigns user's tasks to them. Previous schedulers cannot fully utilize resources of Hadoop cluster because they does not consider dynamic characteristics of cluster based on nodes' availability. To increase utilization of Hadoop cluster, this paper proposes a novel task assignment policy for MapReduce that assigns a job tasks to dynamic cluster efficiently by considering availability of each node.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.710-711
• /
• 2015

IT 산업의 발전에 따라 생성되는 데이터의 양이 폭발적으로 증가하고 있다. 이러한 빅 데이터는 여러 대의 컴퓨터로 구성한 하둡 클러스터를 이용하면 상당히 빠른 속도로 처리할 수 있으나, 일반적으로 하둡 클러스터를 구성하기 위해 많은 비용과 공간이 소요되는 단점이 있다. 본 논문에서는 저가의 미니 PC로 하둡 클러스터를 구성하여 비용 및 공간적 문제점을 해결하고, 구축한 하둡 클러스터를 이용한 트렌드 분석 서비스를 제안하였다. 실험 결과 미니 PC로 이루어진 하둡 클러스터가 고가의 서버보다 트랜드 분석에 더 좋은 처리 성능을 보였다.

• Journal of Digital Convergence
• /
• v.12 no.10
• /
• pp.253-258
• /
• 2014

Recently, the development of cloud computing technology is developed as soon as smartphones is increases, and increased that users want to receive big data service. Hadoop framework of the big data service is provided to hadoop file system and hadoop mapreduce supported by data-intensive distributed applications. But, smpartphone service using hadoop system is a very vulnerable state to data authentication. In this paper, we propose a initial authentication protocol of hadoop system assisted by smartphone service. Proposed protocol is combine symmetric key cryptography techniques with ECC algorithm in order to support the secure multiple data processing systems. In particular, the proposed protocol to access the system by the user Hadoop when processing data, the initial authentication key and the symmetric key instead of the elliptic curve by using the public key-based security is improved.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2014.05a
• /
• pp.479-482
• /
• 2014

Nowadays open-source hadoop systems have been using widely to efficiently manage a fast-growing big data. Hadoop systems consist of distributed file processing system called HDFS (Hadoop Distributed File System) and distributed parallel processing system called MapReduce. The MapReduce reads and processes big data from HDFS and then processed results are written in HDFS again by the MapReduce. Such a processing method has different system structure respectively according to hadoop version. Therefore, this paper shows analysis results for performance of hadoop systems. For this, we devise a way which monitors hadoop systems and measure occurrence frequency of processes, threads, and variables generated in hadoop system itself using the devised way. So, by using the measured results as analysis indicator, we help the indicator predict inner performance of hadoop systems.