• 제목/요약/키워드: processing map

검색결과 1,468건 처리시간 0.031초

MapReduce 시스템을 위한 에너지 관리 알고리즘의 성능평가 (Performance Evaluation of Energy Management Algorithms for MapReduce System)

  • 김민기;조행래
    • 대한임베디드공학회논문지
    • /
    • 제9권2호
    • /
    • pp.109-115
    • /
    • 2014
  • Analyzing large scale data has become an important activity for many organizations. Since MapReduce is a promising tool for processing the massive data sets, there are increasing studies to evaluate the performance of various algorithms related to MapReduce. In this paper, we first develop a simulation framework that includes MapReduce workload model, data center model, and the model of data access pattern. Then we propose two algorithms that can reduce the energy consumption of MapReduce systems. Using the simulation framework, we evaluate the performance of the proposed algorithms under different application characteristics and configurations of data centers.

Selective Encryption Algorithm Using Hybrid Transform for GIS Vector Map

  • Van, Bang Nguyen;Lee, Suk-Hwan;Kwon, Ki-Ryong
    • Journal of Information Processing Systems
    • /
    • 제13권1호
    • /
    • pp.68-82
    • /
    • 2017
  • Nowadays, geographic information system (GIS) is developed and implemented in many areas. A huge volume of vector map data has been accessed unlawfully by hackers, pirates, or unauthorized users. For this reason, we need the methods that help to protect GIS data for storage, multimedia applications, and transmission. In our paper, a selective encryption method is presented based on vertex randomization and hybrid transform in the GIS vector map. In the proposed algorithm, polylines and polygons are focused as the targets for encryption. Objects are classified in each layer, and all coordinates of the significant objects are encrypted by the key sets generated by using chaotic map before changing them in DWT, DFT domain. Experimental results verify the high efficiency visualization by low complexity, high security performance by random processes.

계층적 모바일 IP 네트워크에서 2 계층에 기반한 Inter-MAP Handoff Rate의 감소기법 (Reduction of Inter-MAP Handoff Rate Based on 2-Layers in Hierarchical Mobile IPv6)

  • 정종필;정민영;추현승
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.999-1002
    • /
    • 2008
  • Many schemes to reduce the inter-MAP handoff delay in hierarchical mobile IPv6 have been proposed but the previous schemes waste relatively large network resources to decrease the path rerouting delay. In this paper, we propose the 2-layered MAP concept, where the seamless inter-MAP handoff can be supported regardless of path rerouting time. As a result, the waste of wired resources and the rate of the inter-MAP handoff can be reduced. From the performance analysis and simulation, the inter-MAP handoff rate for non-real-time traffic is only about 1/3 of the conventional result. Such advantageous features of the proposed scheme neither incur any increase of the total handoff rate nor require additional MAPs.

빅데이터 처리시간 감소와 저장 효율성이 향상을 위한 맵리듀스 기반 빅데이터 처리 기법 구현 (Implement of MapReduce-based Big Data Processing Scheme for Reducing Big Data Processing Delay Time and Store Data)

  • 이협건;김영운;김기영
    • 한국융합학회논문지
    • /
    • 제9권10호
    • /
    • pp.13-19
    • /
    • 2018
  • 맵리듀스는 하둡의 필수 핵심 기술로 하둡 분산 파일 시스템을 기반으로 빅데이터를 처리하는 가장 보편화되어 사용되고 있다. 그러나 기존 맵리듀스 기반 빅데이터 처리 기법은 하둡 분산 파일 시스템에 정해진 블록의 크기대로 파일 나눠 저장되는 특징으로 인해 인프라 자원의 낭비가 극심하다. 이에 본 논문에서는 효율적인 맵리듀스 기반 빅데이터 처리기법을 제안한다. 제안하는 기법은 처리할 데이터를 사전에 맵리듀스에서 처리하기 적합한 데이터 형태로 변환 및 압축하여 빅데이터 인프라 환경의 저장 효율성을 증가시킨다. 또한 제안하는 기법은 저장 효율성을 중점으로 구현했을 때 발생할 수 있는 데이터 처리 시간의 지연 문제를 해결한다.

맵리듀스를 이용한 그리드 기반 인덱스 생성 및 k-NN 조인 질의 처리 알고리즘 (Grid-based Index Generation and k-nearest-neighbor Join Query-processing Algorithm using MapReduce)

  • 장미영;장재우
    • 정보과학회 논문지
    • /
    • 제42권11호
    • /
    • pp.1303-1313
    • /
    • 2015
  • 맵리듀스는 대용량 데이터 처리를 위한 시스템 안정성과 유용성을 제공한다. 맵리듀스 기반 k-최근접점 조인 질의처리 알고리즘은 두 데이터 집합 R과 S를 기반으로 R의 모든 레코드에 대해 S의 데이터 중 가장 인접한 k개의 레코드를 탐색하는 알고리즘으로써, 대용량 데이터 분석을 위한 중요한 질의 처리 알고리즘이다. 그러나 기존 k-최근접점 조인 질의처리 알고리즘은 높은 인덱스 구축비용 문제로 인해 대용량 데이터 처리에 적합하지 않은 문제점을 지닌다. 따라서, 본 논문에서는 그리드 기반 인덱스 생성 및 k-최근접점 질의 처리 알고리즘을 제안한다. 제안하는 기법은 질의 셀로부터 인접한 데이터만을 찾아 맵리듀스 테스크에 전송함으로써 데이터 전송 및 k-최근접점 연산 오버헤드를 줄인다. 성능평가를 통해, 제안하는 기법이 정확 매칭 질의를 제공하는 동시에 기존 기법에 비해 질의 처리 시간 측면에서 최대 7배의 성능을 개선함을 보인다.

Mini-MAP 환경에서 네트워크 접속장치의 구현과 시험 운영 (Implementation and Operation of Network Interface Module based on Mini- MAP Environment)

  • 이민남;김정호;이상범
    • 한국정보처리학회논문지
    • /
    • 제1권2호
    • /
    • pp.263-271
    • /
    • 1994
  • 제조장치의 네트워크 환경은 PLC, 로보트와 같은 프로그래머블디바이스에 Mini- MAP 네트워크 접속장치를 장착하여 원격제어가 가능한 공정한 네트워크 시스템 구성 이 연구되고 있다. 본 논문에서 설계된 공정 네트워크 접속장치는 MAP 3.0 규격을 근거로 MAC부 계층은 TBC(token bus controller)가 수행하고, LLC부 계층은 class 3으로, 응용계층은 MMS(manufacturing message standard)를 기본으로 설계하였다. 구현된 소프트웨어는 Mini-MAP의 실시간 정보 전송 성능을 보존하기 위하여 C Exec. 의 real-time executive를 기반으로 설계하여 firmware로 탑재하였다. 본 접속장치는 군관리 공정 모델에서 시험 운영하였으며, LLC 계층의 오류검출과 전송기능은 프로토 콜 분석기를 이용하여 확인하였으며, MMS는 적합성 시험을 이미 받은 MMS를 탑재한 상용제품과의 통신운영을 통하여 적합성 시험을 확인하였다.

  • PDF

의사결정 지원을 위한 사용자 중심의 수치지도 (User-Oriented Digital Maps for Supporting Decision Making)

  • 이동천;이용욱;박기석
    • 한국측량학회지
    • /
    • 제27권2호
    • /
    • pp.235-247
    • /
    • 2009
  • 지도는 인간생활에 필수적인 정보의 매체로서 최근에는 지도제작 기술의 획기적인 발전뿐 아니라, 최신의 다양한 데이터를 사용자에게 제공하여 여러 분야에서 지도의 활용도가 급격히 증가하고 있는 추세이다. 활용도가 높은 지도의 예는 차량항법 지도이다. 차량항법 지도의 사용이 많은 이유는 사용자가 원하는 신뢰성 높은 다양한 정보를 편리하게 제공하고 있기 때문이다. 이와 같이 지도는 제작 중심이 아닌 사용자 중심으로 변모해야 한다. 최근 국내외에서 구축되고 있는 공간 데이터 인프라의 궁극적인 목적은 사용자에게 필요한 실세계 정보를 용이하게 제공하는 것이다. 그러나 대부분의 수치지도의 구축은 최신의 데이터 제공을 위한 지도갱신 방안, 정확한 데이터 구축을 위한 첨단 측량기술 도입, 많은 데이터 제공을 위한 레이어(정사 영상, DEM 등) 추가와 같은 주로 제작 중심으로 이루어지고 있다. 지도 사용자를 위한 지도 데이터 프로세싱 툴이 제공된다면, 전문적인 소프트웨어나 전문적 지식이 부족한 일반 사용자도 용이하게 원하는 정보를 추출하여 다양한 의사결정에 활용할 수 있다. 이에 본 논문은 지도 사용자를 위한 프로세싱 서비스에 관한 방안을 제시하는 것을 목적으로 하고 있다.

AZ31 Mg 합금의 고온 성형 시 미세조직 예측 (Prediction of Microstructure during Hot-working of AZ31 Mg Alloy)

  • 이병호;이종수
    • 소성∙가공
    • /
    • 제17권2호
    • /
    • pp.117-123
    • /
    • 2008
  • In this study, optimum processing condition of rolled AZ31 Mg alloy was investigated by utilizing processing map and constitutive equation considering microstructure evolution(dynamic recrystallization) occurring during hot-working. A series of mechanical tests were conducted at various temperatures and strain rates to construct a processing map and to formulate the recrystallization kinetics in terms of grain size. Dynamic recrystallization(DRX) was observed to occur at a domain of $250^{\circ}C$ and 1/s(maximum dissipation-efficiency region). The effect of DRX kinetics on microstructure evolution was implemented in a commercial FEM code followed by remapping of the state variables. The volume fraction and grain size of deformed part were predicted using a modified FEM code and were compared with those of actual hot forged part. A good agreement was observed between the experimented results and predicted ones.

등고선 지도를 기반으로 한 수치 지형도 자동생성에 관한 연구 (A Study on the Automatic Generation of Digital Elevation Map based on Contour Map)

  • 김해정;김준식
    • 한국정보처리학회논문지
    • /
    • 제7권2호
    • /
    • pp.558-568
    • /
    • 2000
  • 본 논문에서는 등고선 지도의 3차원 정보를 이용하여 수치지형도 자동 생성방법을 제안한다. 제안된 방법은 등고선의 세선화와 라벨링을 통해 등고성분과 비 등고성분을 정확히 구분하였으며, Bezier 곡선을 사용하여 끊어진 등고선을 부드럽게 연결한다. 마지막으로 등고선으로부터 얻어진 고도 데이터를 사용하여 3차원 데이터를 생성한다. 제안된 방법은 수치 지형도를 만들기 위해 소요되는 막대한 양의 인력과 시간, 비용을 절약할 수 있다.

  • PDF

SSD를 사용한 맵리듀스 정렬 성능개선 (A Study for Improving MapReduce Performance using Solid State Drive)

  • 강석훈;강운학;이상원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2012년도 춘계학술발표대회
    • /
    • pp.1118-1120
    • /
    • 2012
  • 컴퓨터 메모리의 용량이 커지고 기술이 발전하며 메모리와 저장장치의 데이터 처리속도 차이는 나날이 커지고 있다. 이를 보완하고자 데이터 처리를 가급적 메모리에서 해결하여 처리속도를 높이고자 하는 연구가 많이 있다. 그 중 MapReduce에 대한 연구는 현재 주목이 되고 있는 분야이다. MapReduce는 빅데이터를 클러스터 환경에서 처리하기에 대중적인 프로그래밍 모델이다. 본 논문은 MapReduce 기반의 Hadoop을 SSD를 적용하여 실행속도를 증진시키려 한다. 전통적인 MapReduce 모델은 데이터를 정렬하는데에 I/O가 크게 발생하는데, MapRedce가 사용하는 병합정렬의 I/O 병목현상을 개선하고자 SSD를 사용하였다.