• 제목/요약/키워드: 분산병렬처리|최적화

검색결과 39건 처리시간 0.029초

분산 환경에서 클러스터 노드 할당 시스템을 위한 유전자 기반 최적화 모델 (A Genetic-Based Optimization Model for Clustered Node Allocation System in a Distributed Environment)

  • 박경모
    • 정보처리학회논문지A
    • /
    • 제10A권1호
    • /
    • pp.15-24
    • /
    • 2003
  • 본 논문에서는 분산 컴퓨팅 환경에서 클러스터 노드 할당 시스템에 대한 최적화 모델을 제시한다. 분산 파일 시스템 구조를 지닌 제시 모델에서는 시간에 따른 시스템의 역동적인 움직임을 면밀하게 고려하여 클러스터 노드 할당 세트가 타당한지를 조사하는 클러스터 모니터 노드의 기능이 주어진다. 노드 할당 시스템의 클러스터 모니터 노드는 병렬 모듈들을 클러스터 노드들에 분산시키면서 유전 알고리즘을 이용하여 좋은 할당 솔루션을 제공한다. 실험적 연구의 일환으로 코딩 기법, 교배, 돌연변이, 개체집단 크기 같은 다양한 유전 인자 파라미터와 노드 모듈개수에 따른 솔루션 품질 및 계산 시간에 관한 비교 실험 결과를 발표한다.

맵리듀스의 데이터 로컬리티 향상을 위한 데이터 복제기법 (Data Replication Technique for Improving Data Locality of MapReduce)

  • 이정하;유헌창;이은영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(A)
    • /
    • pp.218-220
    • /
    • 2012
  • 인터넷 활용과 웹 어플리케이션의 개발이 증가함에 따라 처리해야하는 데이터의 양도 또한 증가하고 있다. 대량의 데이터를 효과적으로 처리하기 위한 방법 중 하나로 병렬처리 프로그래밍 모델인 맵리듀스가 있다. 하둡은 맵리듀스의 오픈소스 구현으로 대량의 데이터를 병렬로 처리하는 무료 자바 소프트웨어 프레임워크이다. 분산 파일 시스템을 사용하는 하둡에서는 처리하는 데이터가 다른 노드에 위치하는 데이터 로컬리티 문제가 전체 작업 수행시간의 증가를 야기하는 문제가 있다. 본 논문에서는 하둡에서의 데이터 로컬리티 문제를 해결하기 위한 데이터 복제기법을 제안한다. 제안하는 데이터 복제기법에서는 1) 라그랑지 보간법을 사용하여 과거 접근수를 이용한 미래 접근수를 예측하고, 2) 예측된 값을 Threshold값으로 설정하고, 3) 데이터 로컬리티 문제가 발생하였을 때, 복제사본을 생성할 것인지 캐시를 생성할 것인지를 결정하여 복제 사본의 수를 최적화 한다. 실험을 통해 단순히 복제사본 수를 증가시킴으로써 데이터 로컬리티를 향상을 이루어도 작업 완료시간이 감소하는 것이 아니라는 결과를 볼 수 있었고, 오버 런치로 인한 작업 완료시간 증가를 줄이기 위해 데이터 복제사본 수 최적화의 필요성을 확인할 수 있었다.

외판원 문제를 위한 효율적인 분산 최근접 휴리스틱 알고리즘 (An Efficient Distributed Nearest Neighbor Heuristic for the Traveling Salesman Problem)

  • 김정숙;이희영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (하)
    • /
    • pp.1373-1376
    • /
    • 2000
  • 외판원 문제(Traveling Salesman Problem)는 주어진 n개의 도시들과 그 도시들간의 거리 비용이 주어졌을 매, 처음 출발도시에서부터 정확히 한 도시는 한 번씩만 방문하여 다시 출발도시로 돌아오면서 방문한 도시들을 연결하는 최소의 비용이 드는 경로를 찾는 문제로 최적해(optimal value)를 구하는 것은 전형적인 NP-완전 문제중의 하나이다[2,4,5, 8]. 따라서 이들의 수행시간을 줄이고자 하는 연구가 많이 진행된다. 본 논문에서는 외판원 문제의 최적의 해를 구하는데. 휴리스틱 알고리즘인 최근접 휴리스틱을 이용한다. 물론 수행 시간을 줄이고자 최적화 문제에서 좋은 성능을 보이는 유전 알고리즘 (Genetic Algorithm)으로 얻은 근사해(near optimal)를 초기 분기 함수로 사용하고, 근거리 통신망(Local Area Network)에 기반한 분산 처리 환경에서 여러 프로세서에 분산시켜 병렬성을 살린다.

  • PDF

분산 인 메모리 DBMS 기반 병렬 K-Means의 In-database 분석 함수로의 설계와 구현 (Design and Implementation of Distributed In-Memory DBMS-based Parallel K-Means as In-database Analytics Function)

  • 구해모;남창민;이우현;이용재;김형주
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권3호
    • /
    • pp.105-112
    • /
    • 2018
  • 데이터의 양이 증가하면서 단일 노드 데이터베이스로는 저장과 처리를 동시에 수행하기에는 부족하다. 따라서, 데이터를 분산시켜 복수 노드로 구성된 분산 데이터베이스에 저장되고 있으며 분석 역시 효율성을 위해 병렬 기능을 제공해야한다. 전통적인 분석 방식은 데이터베이스에서 분석 노드로 데이터를 이동시킨 후 분석을 수행하기 때문에 네트워크의 비용이 발생하며 사용자가 분석을 위해 분석 프레임 워크도 다를 수 있어야한다. 본 연구는 군집화 분석 기법인 K-Means 군집화 알고리즘을 관계형 데이터 베이스와 칼럼 기반 데이터베이스를 이용한 분산 데이터베이스 환경에서 SQL로 구현하는 In-database 분석 함수로의 설계와 구현 그리고 관계형 데이터베이스에서의 성능 최적화 방법을 제안한다.

확장된 MapReduce를 이용한 병렬 진화 전략 (Parallel Evolution Strategy Using an Extended MapReduce)

  • 최현화;이미영;이규철
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2009년도 추계학술발표대회
    • /
    • pp.97-98
    • /
    • 2009
  • 진화 전략은 생식, 돌연변이, 재조합과 같은 생물의 진화과정을 모델링하여 복잡한 문제를 해결하고자 하는 개체군 기반의 조합 최적화 알고리즘 중의 하나이다. 데이터 집약적이며, 소요 시간이 오래 걸리는 진화 전략은 클라우드 컴퓨팅 하의 IT 서비스로서 적합한 대표적인 예이다. 이에 본 논문에서는 최근 분산 환경 하에서 병렬 처리 응용을 쉽게 개발할 수 있도록 지원하는 프로그래밍 모델인 MapReduce 를 확장하여 진화 전략을 수행할 수 있는 방법을 제안한다.

맵리듀스 프레임웍 상에서 맵리듀스 함수 호출을 최적화하는 순차 패턴 마이닝 기법 (Sequential Pattern Mining with Optimization Calling MapReduce Function on MapReduce Framework)

  • 김진현;심규석
    • 정보처리학회논문지D
    • /
    • 제18D권2호
    • /
    • pp.81-88
    • /
    • 2011
  • 시퀀스(sequence) 데이터가 주어졌을 때 그 중에서 빈번(frequent)한 순차 패턴을 찾는 순차 패턴 마이닝(sequential pattern mining)은 여러 어플리케이션(application)에 사용되는 중요한 데이터마이닝 문제이다. 순차 패턴 마이닝은 웹 접속 패턴, 고객 구매 패턴, 특정 질병의 DNA 시퀀스를 찾는 등 광범위한 분야에서 사용된다. 본 논문에서는 맵리듀스(MapReduce) 프레임웍 상에서 맵리듀스 함수 호출을 최적화하는 순차 패턴 마이닝 알고리즘을 개발하였다. 이 알고리즘은 여러 대의 기계에 데이터들을 분산시켜 병렬적으로 빈번한 순차 패턴을 찾는다. 실험적으로 다양한 데이터를 이용하여 파라미터 값을 변화시켜가며 제안된 알고리즘의 성능을 종합적으로 확인하였다. 그리고 실험 결과를 통해 제안된 알고리즘은 기계 수에 대해 선형적인 속도 개선을 보인다는 것을 확인하였다.

이동 에이전트 환경에서 최적화된 작업할당 방법에 대한 연구 (A Study of Optimized Task Allocation Method using Mobile Agents)

  • 김용호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.622-624
    • /
    • 2001
  • 인터넷 환경에서 유휴 컴퓨팅 자원들을 활용하여 병렬 작업들을 분산 처리하는 많은 연구들이 선행 되어왔다. 기존의 방법들은 하나의 작업을 여러 개의 작은 단위로 나누어 각각을 다수의 노드에서 분산 처리하는 방식으로 분해할 수 없는 다수의 작업에 대한 고려가 되어 있지 않다. 이러한 방법은 각 노드의 성능과 자원에 대한 고려가 없기 때문에 서로 다른 성능과 자원을 가지는 노드들로 구성된 시스템에서는 시스템을 효율적으로 사용할 수 없는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 이동 에이전트를 이용하여 각 노드의 성능과 자원에 대한 정보를 수집하고 이를 이용하여 주어진 작업에 대해 최적의 노드를 선택하여 할당하는 방법을 제안하고 구현하였다. 분해할 수 없는 작업의 경우 최적의 노드를 선택하여 작업을 할당하는 것은 작업 처리량을 극대화하여 시스템의 효율성을 높일 수 있을 것이다.

  • PDF

실행시간 적응에 의한 병렬처리시스템의 성능개선 (Performance Improvement of Parallel Processing System through Runtime Adaptation)

  • 박대연;한재선
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권7호
    • /
    • pp.752-765
    • /
    • 1999
  • 대부분 병렬처리 시스템에서 성능 파라미터는 복잡하고 프로그램의 수행 시 예견할 수 없게 변하기 때문에 컴파일러가 프로그램 수행에 대한 최적의 성능 파라미터들을 컴파일 시에 결정하기가 힘들다. 본 논문은 병렬 처리 시스템의 프로그램 수행 시, 변화하는 시스템 성능 상태에 따라 전체 성능이 최적화로 적응하는 적응 수행 방식을 제안한다. 본 논문에서는 이 적응 수행 방식 중에 적응 프로그램 수행을 위한 이론적인 방법론 및 구현 방법에 대해 제안하고 적응 제어 수행을 위해 프로그램의 데이타 공유 단위에 대한 적응방식(적응 입도 방식)을 사용한다. 적응 프로그램 수행 방식은 프로그램 수행 시 하드웨어와 컴파일러의 도움으로 프로그램 자신이 최적의 성능을 얻을 수 있도록 적응하는 방식이다. 적응 제어 수행을 위해 수행 시에 병렬 분산 공유 메모리 시스템에서 프로세서 간 공유될 수 있은 데이타의 공유 상태에 따라 공유 데이타의 크기를 변화시키는 적응 입도 방식을 적용했다. 적응 입도 방식은 기존의 공유 메모리 시스템의 공유 데이타 단위의 통신 방식에 대단위 데이타의 전송 방식을 사용자의 입장에 투명하게 통합한 방식이다. 시뮬레이션 결과에 의하면 적응 입도 방식에 의해서 하드웨어 분산 공유 메모리 시스템보다 43%까지 성능이 개선되었다. Abstract On parallel machines, in which performance parameters change dynamically in complex and unpredictable ways, it is difficult for compilers to predict the optimal values of the parameters at compile time. Furthermore, these optimal values may change as the program executes. This paper addresses this problem by proposing adaptive execution that makes the program or control execution adapt in response to changes in machine conditions. Adaptive program execution makes it possible for programs to adapt themselves through the collaboration of the hardware and the compiler. For adaptive control execution, we applied the adaptive scheme to the granularity of sharing adaptive granularity. Adaptive granularity is a communication scheme that effectively and transparently integrates bulk transfer into the shared memory paradigm, with a varying granularity depending on the sharing behavior. Simulation results show that adaptive granularity improves performance up to 43% over the hardware implementation of distributed shared memory systems.

다중 GPU기반 홀로그램 생성을 위한 병렬처리 성능 최적화 기법 (An Optimization Method for Hologram Generation on Multiple GPU-based Parallel Processing)

  • 국중진
    • 스마트미디어저널
    • /
    • 제8권2호
    • /
    • pp.9-15
    • /
    • 2019
  • 홀로그램의 생성을 위한 연산은 포인트 클라우드의 규모에 따라 연산량이 기하급수적으로 증가하기 때문에 최근에는 다중의 GPU를 기반으로 CUDA 또는 OpenCL 라이브러리를 활용한 병렬처리가 이루어지고 있다. GPU기반의 병렬처리를 위한 CUDA 커널은 GPU의 코어 개수와 메모리 크기를 고려하여 쓰레드(thread), 블록(block), 그리드(grid)를 구성해야 하며, 다중 GPU 환경인 경우 GPU의 개수에 따른 그리드, 블록, 또는 쓰레드 단위의 분산처리가 필요하다. 본 논문에서는 CGH 생성에 대한 성능평가를 위해 포인트 클라우드의 포인트 개수를 10~1,000,000개 범위에서 점진적으로 증가시키면서 CPU, 단일 GPU, 다중 GPU 환경에서 연산 속도를 비교해 보았으며, 다중 GPU 환경에서 CGH(Computer Generated Hologram) 생성 연산을 가속화하기 위한 CUDA 기반의 병렬처리 과정에서 요구되는 메모리 구조 설계와 연산 방법을 제안한다.

신경회로망의 광학적 구현 (Optical Implementation of Neural Neworks)

  • 김흥만;정재우
    • 한국광학회:학술대회논문집
    • /
    • 한국광학회 1991년도 광학 및 양자전자학 워크샵
    • /
    • pp.55-59
    • /
    • 1991
  • 신경회로망은 뒤뇌의 신경조직이 갖는 병렬적이며 분산적인 정보처리 능력을 흉내낸 인공적인 회로망이다. 이러한 신경회로망을 영상인식, 음성인식, 적응제어 및 최적화등에 응용할 경우 지금까지 얻지 못하였던 우수한 여러 가지 특성을 얻을수 있음을 알려짐에 따라 신경회로망을 구체적으로 구현하고자 하는 연구가 활발히 이루어지고 있다. 본 고에서는 신경소자간의 연결세기의 변조에 의한 학습 원리를 설명하고 광전기적인 그현방법에 대해서 몇 개의 예를 들어 설명하고 그 발전 가능성에 대하여 기술하였다.

  • PDF