• 제목/요약/키워드: MapReduce model

검색결과 158건 처리시간 0.027초

클라우드 컴퓨팅을 이용한 유시티 비디오 빅데이터 분석 (An Analysis of Big Video Data with Cloud Computing in Ubiquitous City)

  • 이학건;윤창호;박종원;이용우
    • 인터넷정보학회논문지
    • /
    • 제15권3호
    • /
    • pp.45-52
    • /
    • 2014
  • 유비쿼터스 시티(유시티)에서는 수많은 비디오 카메라들이 설치된다. 이렇게 설치된 많은 카메라로부터 대용량의 비디오 데이터가 실시간으로 끊임없이 발생하고 유시티의 관리 시스템으로 전달된다. 유시티의 다양한 서비스들을 뒷받침하기 위해서는 이러한 비디오 데이터를 저장하고, 이렇게 저장된 대용량의 비디오 데이터를 분석할 수 있는 방법과 관리 시스템이 요구된다. 그래서, 이 논문에서는 클라우드 컴퓨팅을 기반으로 한 유시티 비디오 관리 시스템을 제안한다. 또한, 근래 주목받고 있는 데이터 병렬처리 프레임워크인 Hadoop MapReduce를 이용하여 이러한 빅데이터 비디오를 분석하는 방법을 제안하고, 이에 따른 우리의 성능 평가를 소개한다.

MapReduce 프레임워크에서 균등한 작업 부하 분산를 위한 키 분배 기법에 대한 연구 (A Key Distribution Method for load balancing in MapReduce Framework)

  • 손지훈;최현식;정연돈
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2011년도 한국컴퓨터종합학술대회논문집 Vol.38 No.1(A)
    • /
    • pp.53-56
    • /
    • 2011
  • 맵리듀스는 대용량의 데이터를 병렬로 처리하기 위해 제안된 프레임워크이다. 맵리듀스 프레임워크는 대용량의 데이터를 처리하기에 적합하기 때문에 많은 응용에서 사용되고 있다. 하지만 이것은 불균등한 데이터 분포에 대해 취약하다는 단점이 있다. 본 논문에서 우리는 맵리듀스 프레임워크에서 균등한 작업 부하 분산을 위한 키 분배 기법을 제안한다. 우리는 실험을 통해 제안 기법이 기존의 맵리듀스보다 불균등한 분포를 갖는 데이터를 효율적으로 처리한다는 것을 보였다.

클라우드 컴퓨팅에서의 대용량 데이터 처리 모델에 관한 조사 (A Survey on Massive Data Processing Model in Cloud Computing)

  • 진아연;박영호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.145-146
    • /
    • 2011
  • 클라우드 컴퓨팅은 세계적인 시장조사기관인 가트너사의 10대전략기술에서 2년 연속 1위를 할 정도로 많은 각광을 받고 있다. 클라우드 컴퓨팅이란 인터넷 기술을 활용하여 가상화된 컴퓨팅 자원을 서비스로 제공하는 것으로, 사용자는 IT자원을 필요한 만큼 빌려서 사용하고 사용한 만큼 비용을 지불하는 컴퓨팅을 지칭한다. 이러한 클라우드 컴퓨팅 상에서 폭발적으로 증가하고 있는 데이터를 효율적으로 병렬 처리할 수 있는 방법에 대하여 많은 연구가 활발히 이루어지고 있다. 이러한 대용량 데이터 처리를 위한 대표적인 모델에는 MapReduce와 Dryad가 있으며, 서로간에 많은 공통점이 있지만 MapReduce는 범용 프로그래밍 언어를 기반으로 쉬운 병렬 프로그래밍을 가능하게 했다는 점에서 많이 사용되고 있으며 Dryad는 재사용이 쉽고 데이터 처리 흐름을 유연하게 작성할 수 있다는 점에서 장점을 가지고 있다.

3차원 얼굴인식을 위한 픽셀 대 정점 맵 기반 얼굴 표현방법 (Face Representation Method Using Pixel-to-Vertex Map(PVM) for 3D Model Based Face Recognition)

  • 문현준;정강훈;홍태화
    • 대한전자공학회:학술대회논문집
    • /
    • 대한전자공학회 2006년도 하계종합학술대회
    • /
    • pp.1031-1032
    • /
    • 2006
  • A 3D model based face recognition system is generally inefficient in computation time because 3D face model consists of a large number of vertices. In this paper, we propose a novel 3D face representation algorithm to reduce the number of vertices and optimize its computation time.

  • PDF

협업적 제품개발에서의 관점기반 제품정보 모델링 (The viewpoint-based product information modeling in collaborative product development)

  • 채희권;최영환;김광수
    • 한국전자거래학회:학술대회논문집
    • /
    • 한국전자거래학회 2003년도 종합학술대회 논문집
    • /
    • pp.54-59
    • /
    • 2003
  • The information sharing is essential to make collaboration by participants in the collaboration environment. The sharing of the information is necessary to reduce time-to-market of new Product. In this paper, V2-model is proposed far supporting the sharing of the information on product development. V2-model supports collaborative product development in design and supply chain. Through viewpoints, V2-model supports 1) two-level structure that consist of private level and public level ,2) level-up process and 3) product development process. The public level information supports to share the product information on collaborative supply chain and design. The viewpoints in V2-model are divided into public viewpoints that point to the public level information and private viewpoints that point to the private level information. Private viewpoints are transformed into public viewpoints. The extended Topic Map has B-Topic, S-Topic and View for representing V2-model in this paper. The level-up process of V2-model is implemented through the merging of S-Topics. V2-model is implemented with washing machine model using extended Topic Maps. In this model, the public viewpoints and private viewpoints are represented and the level-up process, which transforms private viewpoints into public viewpoints, is implemented.

  • PDF

Geometry 및 Topology측면에서 일관성을 유지한 방법을 이용한 연방과 지방정부의 공간데이터 융합 (Geometrically and Topographically Consistent Map Conflation for Federal and Local Governments)

  • 강호석
    • 대한지리학회지
    • /
    • 제39권5호
    • /
    • pp.804-818
    • /
    • 2004
  • 공간데이터자원이 많아 질수록 그들끼리 불일치가 일어날 확률은 높아지고 있다. 이러한 불일치는 같은 지역을 커버하는 같은 종류의 공간데이터사이에서도 일어날 수 있다. 그러므로, 이런 공간데이터를 효율적으로 연결시켜 Geometry 및 Topology측면에서 일관성을 지닌 새로운 공간데이터를 생성시키는 일의 중요성은 증가 할 것이다. 이러한 공간데이터중의 하나로서 미국 인구통계국의 TIGER파일을 예로 들 수 있다. 현재 인구통계국 지도들은 지방정부의 지도 레이어들과 공간적으로 일치 하지 않기 때문에 인구적, 경제적인 많은 유용한 정보가 지방정부의 레이어들과 연계되어 공간적으로 충분히 활용되어지고 있지 않고 있다. 그러므로, 인구통계국 지도의 위치정보는 좀 더 정확한 위치정보를 가지고 있는 지방정부의 레이어들과 융합되어 Geometry 및 Topology측면에서 새로운 정보로 대체되어져야 한다. 이 논문은 참고맵을 이용하여 Geometry 및 Topology측면에서 일관성을 지닌지도를 만들기 위한 개념적인 프레임과 두가지 맵모델을 제시한다. 첫번째 모델은 셀 모델인데 맵은 0셀, 1셀, 그리고 2셀로 구성되어진다. 두번째 모델은 수학적으로 다른 원형을 가진 물체는 지도 일반화후에도 유사성을 가지고 있다는 것이다. 새롭게 제시된 계층적인 맵 융합은 물리적, 수학적, 논리적 경계에 바탕을 두고 있고 복잡성과 계산적인 부담을 감소시킬 수 있다. 반복성을 가진 맵 융합 원리는 인구통계지도를 예로하여 형성되었다. 이것들은 속성 매치, 의미있는 노드발견, 지도학적인 0-cell 매치. 지도학적인 1-cell 매치, 그리고 맵 변형으로 구성된다.

Real-Time 2D-to-3D Conversion for 3DTV using Time-Coherent Depth-Map Generation Method

  • Nam, Seung-Woo;Kim, Hye-Sun;Ban, Yun-Ji;Chien, Sung-Il
    • International Journal of Contents
    • /
    • 제10권3호
    • /
    • pp.9-16
    • /
    • 2014
  • Depth-image-based rendering is generally used in real-time 2D-to-3D conversion for 3DTV. However, inaccurate depth maps cause flickering issues between image frames in a video sequence, resulting in eye fatigue while viewing 3DTV. To resolve this flickering issue, we propose a new 2D-to-3D conversion scheme based on fast and robust depth-map generation from a 2D video sequence. The proposed depth-map generation algorithm divides an input video sequence into several cuts using a color histogram. The initial depth of each cut is assigned based on a hypothesized depth-gradient model. The initial depth map of the current frame is refined using color and motion information. Thereafter, the depth map of the next frame is updated using the difference image to reduce depth flickering. The experimental results confirm that the proposed scheme performs real-time 2D-to-3D conversions effectively and reduces human eye fatigue.

클라우드 환경에서의 비용 효율적인 맵리듀스 처리 (Cost-Effective MapReduce Processing in the Cloud)

  • 류우석
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 추계학술대회
    • /
    • pp.114-115
    • /
    • 2018
  • 본 논문에서는 클라우드 환경에서 빅데이터를 비용 효율적으로 분석하기 위한 기법을 연구한다. 전자의무기록의 클라우드 저장이 최근 가능해짐에 따라 중소병원에서의 클라우드 기반 빅데이터 분석 요구가 증가하고 있다. 이에 본 논문에서는 대중적으로 많이 사용되고 있는 아마존 EMR 프레임워크를 분석하고, EMR 환경에서 비용 효율적으로 빅데이터를 분석하기 위한 비용 모델을 제안한다. 제안한 기법을 적용하면 클러스터 비용 대비 처리시간이 가장 효율적인 클러스터 규모를 계산할 수 있으므로, 보다 적은 비용으로 빅데이터 분석을 효과적으로 처리할 수 있다.

  • PDF

분산형 서버 구조 기반 Map 밸런스 서버를 이용한 게임 서버 간 부하 관리 방법 (A Management method of Load Balancing among Game Servers based on Distributed Server System Using Map Balance Server)

  • 김순곤;이남재;양승원
    • 한국항행학회논문지
    • /
    • 제15권6호
    • /
    • pp.1034-1041
    • /
    • 2011
  • 일반적으로 분산 형 구조의 게임서버시스템 하에서 게임 배경처리는 일정크기로 나누어진 여러 개의 부분 배경들을 다수의 게임서버가 나누어서 처리한다. 그런데 분할된 게임 배경에 대한 게임 사용자들의 선호도가 사용자의 특성에 따라 다르게 나타나기 때문에 모든 게임 배경 내 사용자들의 분포를 일률적으로 만들기는 매우 어렵다. 이 때문에 캐릭터들이 한 장소에 급격히 집중되어 게임이 진행되는 경우, 서버가 처리할 수 있는 한계를 넘어 시스템이 일시적으로 다운되는 문제가 발생 할 수 있으며, 그 반대의 경우 수행할 캐릭터가 없는 상황에서도 배경처리를 계속 수행해야 하므로 게임서버의 효율이 상당히 떨어지게 된다. 이를 해결하기 위하여 본 논문에서는 Map 밸런스 서버를 이용하여 사용자 처리를 위한 부하를 비교적 균등화 시킬 수 있는 Map 관리 방법을 제안 하였다. 제안한 모델 하에서는 사용자가 활동하지 않는 게임 내 공간 처리를 일시 중지시키는 방법으로 게임 서버의 부하를 감소시킬 수 있으며, 서버 간 처리하는 배경을 새로 할당하여 부하를 재분배함으로써 서버들의 효율을 극대화할 수 있다.

DETECTING LANDSLIDE LOCATION USING KOMSAT 1AND IT'S USING LANDSLIDE-SUSCEPTIBILITY MAPPING

  • Lee, Sa-Ro;Lee, Moung-Jin
    • 대한원격탐사학회:학술대회논문집
    • /
    • 대한원격탐사학회 2006년도 Proceedings of ISRS 2006 PORSEC Volume II
    • /
    • pp.840-843
    • /
    • 2006
  • The aim of this study was to detect landslide using satellite image and apply the landslide to probabilistic landslide-susceptibility mapping at Gangneung area, Korea using a Geographic Information System (GIS). Landslide locations were identified by change detection technique of KOMSAT-1 (Korea Multipurpose Satellite) EOC (Electro Optical Camera) images and checked in field. For landslide-susceptibility mapping, maps of the topography, geology, soil, forest, lineaments, and land cover were constructed from the spatial data sets. Then, the sixteen factors that influence landslide occurrence were extracted from the database. Using the factors and detected landslide, the relationships were calculated using frequency ratio, one of the probabilistic model. Then, landslide-susceptibility map was drawn using the frequency ration and finally, the map was verified by comparing with existing landslide locations. As the verification result, the prediction accuracy showed 86.76%. The landslide-susceptibility map can be used to reduce hazards associated with landslides and to land cover planning.

  • PDF