• 제목/요약/키워드: reduce

검색결과 47,424건 처리시간 0.061초

MapReduce 프레임워크의 I/O 비용 평가 (I/O Cost Evaluation of the MapReduce Framework)

  • 김현규;강우람
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1068-1069
    • /
    • 2013
  • 최근 정보 기술과 웹의 발전으로 많은 응용에서 데이터의 양이 급격이 증가하였다. MapReduce는 이러한 대용량 데이터를 처리하기 위해 구글에서 제안한 프레임워크이다. MapReduce 프레임워크는 데이터 전달 패러다임을 기반으로 한다. 이로부터, 데이터 처리 및 질의에 있어 I/O 비용이 전체 처리 비용에서 큰 부분을 차지한다. 본 논문에서는 MapReduce 프레임워크에서 I/O에 소요되는 비용을 확인하기 위해, 실제 데이터를 기반으로 실험을 수행하였다. 이를 통해, MapReduce 기반 시스템의 성능 예측이나 성능 향상을 위해 고려되어야 할 부분을 제시하고자 하였다.

MRSPAKE : Hadoop MapReduce를 이용한 웹 규모의 공간 지식 추출기 (MRSPAKE : A Web-Scale Spatial Knowledge Extractor Using Hadoop MapReduce)

  • 이석준;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.569-584
    • /
    • 2016
  • 본 논문에서는 Hadoop MapReduce 병렬 분산 컴퓨팅 환경을 이용해 개발한 공간 지식 추출기를 제안한다. 이 공간 지식 추출기는 대용량의 공간 데이터 집합으로부터, 임의의 두 공간 객체들 사이에 만족되는 위상 관계와 방향 관계를 나타내는 정성 공간 지식 베이스를 생성해낸다. 본 논문에서 제안하는 MapReduce 기반의 대용량 공간 지식 추출기 MRSPAKE는 HDFS 상의 분산 공간 데이터 파일에 대한 R 트리 색인과 범위 질의들을 이용함으로써, 웹 규모의 정성 공간 지식 베이스를 매우 효율적으로 추출해낸다. 대표적인 공개 데이터 집합인 Open Street Map(OSM)을 이용한 성능 분석 실험을 통해, 본 논문에서 제안하는 웹 규모의 공간 지식 추출기 MRSPAKE의 높은 성능과 확장성을 확인할 수 있었다.

빅 데이터의 MapReduce를 이용한 효율적인 병렬 유전자 알고리즘 기법 (The Efficient Method of Parallel Genetic Algorithm using MapReduce of Big Data)

  • 홍성삼;한명묵
    • 한국지능시스템학회논문지
    • /
    • 제23권5호
    • /
    • pp.385-391
    • /
    • 2013
  • 빅 데이터는 일반적으로 사용되는 데이터 관리 시스템으로 데이터의 처리, 수집, 저장, 탐색, 분석을 할 수 없는 큰 규모의 데이터를 말한다. 빅 데이터 기술인 맵 리듀스(MapReduce)를 이용한 병렬 GA 연구는 Hadoop 분산처리환경을 이용하여, 맵 리듀스에서 GA를 수행함으로써 GA의 병렬처리를 쉽게 구현할 수 있다. 기존의 맵 리듀스를 이용한 GA들은 GA를 맵 리듀스에 적절히 변형하여 적용하였지만 잦은 데이터 입출력에 의한 수행시간 지연으로 우수한 성능을 보이지 못하였다. 본 논문에서는 기존의 맵 리듀스를 이용한 GA의 성능을 개선하기 위해, 맵과 리듀싱과정을 개선하여 맵 리듀스 특징을 이용한 새로운 MRPGA(MapReduce Parallel Genetic Algorithm)기법을 제안하였다. 기존의 PGA의 topology 구성과 migration 및 local search기법을 MRPGA에 적용하여 최적해를 찾을 수 있었다. 제안한 기법은 기존에 맵 리듀스 SGA에 비해 수렴속도가 1.5배 빠르며, sub-generation 반복횟수에 따라 최적해를 빠르게 찾을 수 있었다. 또한, MRPGA를 활용하여 빅 데이터 기술의 처리 및 분석 성능을 향상시킬 수 있다.

SHIFT-REDUCE 알고리즘을 이용한 한국어 자동 분석 기법 (A Parsing Technique for Korean Using Shift-Reduce Algorithm)

  • 김지은
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.439-442
    • /
    • 1994
  • 본 논문은 PC 환경에서 한국어 문장구조를 분석할 수 있는 분석 기법을 제시한다. 상대적으로 어순이 자유로운 언어인 한국어의 특성에 중점을 두어, 이를 효과적으로 처리할 수 있는 분식 기법으로 shift-reduce 알고리즘을 제시한다. shift-reduce 분석 기법은 구문론 및 의미론적 하위 범주화어 의한 분석을 효율적으로 실행할 수 있도록 해주며. bottom-up과 left-right에 의한 분석 과정을 보완하여 준다.

  • PDF

버링 가공을 이용한 자동차 요크 제품의 가공 공정 설계 (Process Design of Automobile Steering Yoke with burring)

  • 김병민
    • 한국소성가공학회:학술대회논문집
    • /
    • 한국소성가공학회 2000년도 춘계학술대회논문집
    • /
    • pp.151-154
    • /
    • 2000
  • The yoke is used for joining the mechanical element of a spider and shaft in the steering system of automobiles. Conventional yoke forming processes are too complicated such as 4 stages bending and forming. The weight of yoke is also heavy than other components. New process is necessary to reduce the product weight to improve the strength and to reduce the costs. Process designed to reduce number of forming stages and to reduce its weight. To check the strength the stress analyses are performed between conventional yoke and developed one.

  • PDF

MRQUTER: MapReduce 프레임워크를 이용한 병렬 정성 시간 추론기 (MRQUTER : A Parallel Qualitative Temporal Reasoner Using MapReduce Framework)

  • 김종훈;김인철
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권5호
    • /
    • pp.231-242
    • /
    • 2016
  • 빠른 웹 정보의 변화에 잘 대응하기 위해서는, 사실과 지식이 실제로 유효한 시간과 장소들도 함께 표현하고 그들 간의 관계도 추론할 수 있도록 웹 기술의 확장이 필요하다. 본 논문에서는 그동안 소규모 지식 베이스를 이용한 실험실 수준의 정성 시간 추론 연구들에서 벗어나, 웹 스케일의 대규모 지식 베이스를 추론할 수 있는 병렬 정성 시간 추론기인 MRQUTER의 설계와 구현을 소개한다. Hadoop 클러스터 시스템과 MapReduce 병렬 프로그래밍 프레임워크를 이용해 개발된 MRQUTER에서는 정성 시간 추론 과정을 인코딩 및 디코딩 작업, 역 관계 및 동일 관계 추론 작업, 이행 관계 추론 작업, 관계 정제 작업 등 몇 개의 MapReduce 작업으로 나누고, 맵 함수와 리듀스 함수로 구현되는 각각의 단위 추론 작업을 효율화하기 위한 최적화 기술들을 적용하였다. 대규모 벤치마킹 시간 지식 베이스를 이용한 실험을 통해, MRQUTER의 높은 추론 성능과 확장성을 확인하였다.

MapReduce와 시공간 데이터를 이용한 빅 데이터 크기의 이동객체 갱신 횟수 감소 기법 (Update Frequency Reducing Method of Spatio-Temporal Big Data based on MapReduce)

  • 최용권;백성하;김경배;배해영
    • Spatial Information Research
    • /
    • 제20권2호
    • /
    • pp.137-153
    • /
    • 2012
  • 지금까지 대규모의 이동객체 관리를 위해 갱신 비용을 감소시킬 수 있는 인덱스 기법들이 제안되었다. 이동객체 인덱스는 빈번하게 위치정보가 변화하는 이동객체를 관리하기 위해 주기적으로 갱신 되어야 하기 때문이다. 그러나 이러한 기법들은 이동객체의 수가 현저히 증가하는 경우 인덱스의 갱신 가능범위를 초과하는 부하가 발생한다. 본 논문에서는 이처럼 기존의 처리 가용량을 초과하는 빅 데이터 크기의 이동객체에서 발생하는 갱신요청들을 MapReduce와 기존 인덱스기법을 조합하여 감소시키는 기법을 제안한다. 이 기법에서는 수많은 이동객체에서 발생하는 갱신요청들을 MapReduce를 이용하여 각각의 이동객체 별로 그룹화하는 방법을 사용한다. 각 이동객체 별로 그룹화 데이터들의 최신의 데이터와 가장 오래된 데이터를 비교하여 갱신여부를 판단하고 최신의 요청만 갱신하도록 하여 전체 갱신 횟수를 크게 감소시킨다. 갱신이 지연된 경우 기존의 갱신요청들을 가지고 있는 해시 테이블에 일정기간 보관하여 지연된 갱신요청이 분실되지 않고 지속적으로 갱신되도록 한다. 실험을 통해 제안한 기법을 적용한 경우와 적용하지 않은 경우를 비교해 전체 갱신 횟수 및 갱신 비용이 감소되는 것을 알 수 있다.

시호가용골모려탕(柴胡加龍骨牡蠣湯)으로 호전된 갱년기증후군 환자 치험 5례 (5 Cases Report of Climacteric Symptoms with Shihogayonggolmoryo-tang)

  • 이용현
    • 대한한방부인과학회지
    • /
    • 제26권1호
    • /
    • pp.121-134
    • /
    • 2013
  • Objectives: The purpose of this study is to evaluate the effects of Shihogayonggolmoryo-tang on climacteric symptoms. Methods: We studied 5 climacteric symptoms patients who visited Oriental Hospital of OO University from March 2012 to September 2012. We treated them with Shihogayonggolmoryo-tang, acupuncture and moxibustion. The patients of climacteric symptoms had been estimated with Kupperman's index. Results: After treatment, climacteric symptoms were improved and mean score of Kupperman's index was reduced(the first case reduce from 82 to 13 during 3 months, the second case reduce from 81 to 19 during 2 months, the third case reduce from 80 to 21 during 2 months, the fouth case reduce from 50 to 9 during 2 months, the fifth case reduce from 66 to 17 during 1 month). Conclusions: This study suggests that Shihogayonggolmoryo-tang is significantly effective on climacteric symptoms patients.

High-Performance Korean Morphological Analyzer Using the MapReduce Framework on the GPU

  • Cho, Shi-Won;Lee, Dong-Wook
    • Journal of Electrical Engineering and Technology
    • /
    • 제6권4호
    • /
    • pp.573-579
    • /
    • 2011
  • To meet the scalability and performance requirements of data analyses, which often involve voluminous data, efficient parallel or concurrent algorithms and frameworks are essential. We present a high-performance Korean morphological analyzer which employs the MapReduce framework on the graphics processing unit (GPU). MapReduce is a programming framework introduced by Google to aid the development of web search applications on a large number of central processing units (CPUs). GPUs are designed as a special-purpose co-processor. Their programming interfaces are typically formulated for graphics applications. Compared to CPUs, GPUs have greater computation power and memory bandwidth; however, GPUs are more difficult to program because of the design of their architectures. The performance of the Korean morphological analyzer using the MapReduce framework on the GPU is evaluated in comparison with the CPU-based model. The proposed Korean Morphological analyzer shows promising scalable performance on distributed computing with the GPU.

MapReduce 프레임워크를 위한 JobTracker 결함허용 메커니즘 (A JobTracker Fault-tolerant Mechanism for MapReduce Framework)

  • 황병현;박기진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(A)
    • /
    • pp.317-318
    • /
    • 2010
  • 클라우드 컴퓨팅 서비스를 제공하기 위해서는 클라우드 컴퓨팅에 적합한 데이터 분산 저장 및 병렬 처리가 가능한 IT 인프라 구축이 필수적이다. 이를 위해서 분산 파일 시스템 중 하나인 HDFS(Hadoop File System)와 병렬 데이터 처리를 지원하기 위한 MapReduce 프레임워크 관련 연구가 각광 받고 있다. 하지만 MapReduce 프레임워크를 구성하는 JobTracker 노드는 SPoF(Single Point of Failure)이기 때문에, 작업 도중 JobTracker 노드의 결함이 발생하게 되면 전체 작업이 실패하게 된다. 위와 같은 문제를 해결하기 위해서 본 논문에서는 MapReduce 프레임워크의 JobTracker 노드 결함 발생에 대처할 수 있는 결함허용 메커니즘을 제안하였다.

  • PDF