• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2016년도 제53차 동계학술대회논문집 24권1호
• /
• pp.207-209
• /
• 2016

정보통신기술의 급속한 발전으로 인해 인터넷은 사회 전 분야를 변화시키고 있고 이를 통해 데이터의 양이 증가하면서 의료, 교육, 경영 등 사회 전 분야에서 빅데이터에 관심이 증가하고 있다. 이에 따라 다양한 빅데이터 오픈소스가 생기고 데이터의 크기에 따라 성능을 비교하는 실험이 진행되었다. 본 논문에서는 데이터의 크기가 아니라 데이터를 분류하는 key의 개수에 따라 성능을 비교하고자 한다.

• 한국멀티미디어학회논문지
• /
• 제16권5호
• /
• pp.657-666
• /
• 2013

현대사회는 소셜 미디어, 비즈니스, 바이오 인포메틱스 같은 다양한 응용프로그램에서 지속적으로 생산되어 지고 있는 수많은 데이터의 빠른 유입으로 특징지어 지고 있다. 이에 따라 폭발적으로 증가하고 있는 대규모 데이터를 보다 효율적으로 분석하고 처리 할 수 있는 방법이 그 어느 때보다 강조 되고 있다. 지난 몇 년간 학계에서는 배치 지향 시스템 (batch oriented system) 환경 내에서 병렬 처리를 효과적으로 지원할 수 있는 맵리듀스 기법이 활발히 연구 되어 왔으며, 맵리듀스 기법은 다양한 분야에서 성공적으로 사용되고 있다. 그러나 이 기법은 데이터의 상대적 유용성 (data utility)을 고려하지 않기 때문에, 멀티미디어 응용프로그램 사용자의 특성 (즉, 높은 혹은 낮은 스코어를 가지는 몇몇 결과물에 관심을 가지는 사용자들의 특성)으로 인하여 효과적인 성능을 보여 주지 못하고 있다. 따라서 본 논문에서는 이러한 문제점을 해소하기 위해, 맵리듀스 상에서의 데이터 분할 방식을 제안한다. 또한, 제안된 분할 방식에 대한 성능 실험을 통하여 우리가 제안하는 데이터 분할 방식이 기존 방식보다 성능 향상을 자져올 수 있음을 보여준다.