• 제목/요약/키워드: 병렬/분산 컴퓨팅 환경

검색결과 100건 처리시간 0.024초

분산 인 메모리 DBMS 기반 병렬 K-Means의 In-database 분석 함수로의 설계와 구현 (Design and Implementation of Distributed In-Memory DBMS-based Parallel K-Means as In-database Analytics Function)

  • 구해모;남창민;이우현;이용재;김형주
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권3호
    • /
    • pp.105-112
    • /
    • 2018
  • 데이터의 양이 증가하면서 단일 노드 데이터베이스로는 저장과 처리를 동시에 수행하기에는 부족하다. 따라서, 데이터를 분산시켜 복수 노드로 구성된 분산 데이터베이스에 저장되고 있으며 분석 역시 효율성을 위해 병렬 기능을 제공해야한다. 전통적인 분석 방식은 데이터베이스에서 분석 노드로 데이터를 이동시킨 후 분석을 수행하기 때문에 네트워크의 비용이 발생하며 사용자가 분석을 위해 분석 프레임 워크도 다를 수 있어야한다. 본 연구는 군집화 분석 기법인 K-Means 군집화 알고리즘을 관계형 데이터 베이스와 칼럼 기반 데이터베이스를 이용한 분산 데이터베이스 환경에서 SQL로 구현하는 In-database 분석 함수로의 설계와 구현 그리고 관계형 데이터베이스에서의 성능 최적화 방법을 제안한다.

A synchronous/asynchronous hybrid parallel method for some eigenvalue problems on distributed systems

  • 박필성
    • 한국전산응용수학회:학술대회논문집
    • /
    • 한국전산응용수학회 2003년도 KSCAM 학술발표회 프로그램 및 초록집
    • /
    • pp.11-11
    • /
    • 2003
  • 오늘날 단일 슈퍼컴퓨터로는 처리가 불가능한 거대한 문제들의 해법이 시도되고 있는데, 이들은 지리적으로 분산된 슈퍼컴퓨터, 데이터베이스, 과학장비 및 디스플레이 장치 등을 초고속 통신망으로 연결한 GRID 환경에서 효과적으로 실행시킬 수 있다. GRID는 1990년대 중반 과학 및 공학용 분산 컴퓨팅의 연구 과정에서 등장한 것으로, 점차 응용분야가 넓어지고 있다. 그러나 GRID 같은 분산 환경은 기존의 단일 병렬 시스템과는 많은 점에서 다르며 이전의 기술들을 그대로 적용하기에는 무리가 있다. 기존 병렬 시스템에서는 주로 동기 알고리즘(synchronous algorithm)이 사용되는데, 직렬 연산과 같은 결과를 얻기 위해 동기화(synchronization)가 필요하며, 부하 균형이 필수적이다. 그러나 부하 균형은 이질 클러스터(heterogeneous cluster)처럼 프로세서들의 성능이 서로 다르거나, 지리적으로 분산된 계산자원을 사용하는 GRID 환경에서는 이기종의 문제뿐 아니라 네트워크를 통한 메시지의 전송 지연 등으로 유휴시간이 길어질 수밖에 없다. 이처럼 동기화의 필요성에 의한 연산의 지연을 해결하는 하나의 방안으로 비동기 반복법(asynchronous iteration)이 나왔으며, 지금도 활발히 연구되고 있다. 이는 알고리즘의 동기점을 가능한 한 제거함으로써 빠른 프로세서의 유휴 시간을 줄이는 것이 목적이다. 즉 비동기 알고리즘에서는, 각 프로세서는 다른 프로세서로부터 갱신된 데이터가 올 때까지 기다리지 않고 계속 다음 작업을 수행해 나간다. 따라서 동시에 갱신된 데이터를 교환한 후 다음 단계로 진행하는 동기 알고리즘에 비해, 미처 갱신되지 않은 데이터를 사용하는 경우가 많으므로 전체적으로는 연산량 대비의 수렴 속도는 느릴 수 있다 그러나 각 프로세서는 거의 유휴 시간이 없이 연산을 수행하므로 wall clock time은 동기 알고리즘보다 적게 걸리며, 때로는 50%까지 빠른 결과도 보고되고 있다 그러나 현재까지의 연구는 모두 어떤 수렴조건을 만족하는 선형 시스템의 해법에 국한되어 있으며 비교적 구현하기 쉬운 공유 메모리 시스템에서의 연구만 보고되어 있다. 본 연구에서는 행렬의 주요 고유쌍을 구하는 데 있어 비동기 반복법의 적용 가능성을 타진하기 위해 우선 이론적으로 단순한 멱승법을 사용하여 실험하였고 그 결과 순수한 비동기 반복법은 수렴하기 어렵다는 결론을 얻었다 그리하여 동기 알고리즘에 비동기적 요소를 추가한 혼합 병렬 알고리즘을 제안하고, MPI(Message Passing Interface)를 사용하여 수원대학교의 Hydra cluster에서 구현하였다. 그 결과 특정 노드의 성능이 다른 것에 비해 현저하게 떨어질 때 전체적인 알고리즘의 수렴 속도가 떨어지는 것을 상당히 완화할 수 있음이 밝혀졌다.

  • PDF

클라우드 컴퓨팅을 이용한 재난관리시스템 구축 (The Construction of Disaster Management System using Cloud Computing)

  • 나방현;이상화;정상;최규출
    • 한국화재소방학회:학술대회논문집
    • /
    • 한국화재소방학회 2011년도 추계학술논문발표회 논문집
    • /
    • pp.282-285
    • /
    • 2011
  • 클라우드 컴퓨팅에 있어서 이질적 컴퓨팅 자원들을 소프트웨어에 의해 논리적 방법으로 제어할 수 있도록 하는 가상화와 대용량 데이터의 분산병렬처리가 핵심적인 기술이다. 재난의 예방 및 대응을 위해 다양한 센서들이 개발되고 있으며, 재난관리 어플리케이션들은 센서들에 의해 획득된 대용량의 데이터를 상호 관련성에 따라 신속하게 처리할 것이 요구된다. 이 논문에서는 클라우드 컴퓨팅을 이용한 재난관리시스템 구축을 위해 다양한 이질적 센서들을 가상화하여 센서 클라우드 환경을 구성하는 방안을 제시한다.

  • PDF

Co-allocation 환경의 그리드 시스템에서 통신비용에 따른 스케줄링 알고리즘의 성능 분석 (Performance Evaluation of Scheduling Algorithms according to Communication Cost in the Grid System of Co-allocation Environment)

  • 강오한;강상성;김진석
    • 정보처리학회논문지A
    • /
    • 제14A권2호
    • /
    • pp.99-106
    • /
    • 2007
  • 지역적으로 분산되어 있는 이기종의 시스템들을 하나로 묶어 사영하는 그리드 컴퓨팅이 차세대 병렬.분산 연산을 위한 새로운 패러다임으로 관심을 끌고 있다. 고속 네트워크로 연결된 다수의 컴퓨터 시스템이 사용자에게 통합된 가상의 컴퓨팅 서비스를 제공하는 그리드 시스템은 통신비용에 대한 중요성이 매우 크다. 따라서 그리드 환경에서 스케줄링 알고리즘은 작업의 실행시간을 단축하기 위하여 자원들의 연산능력과 함께 통신에 대한 비용을 고려하여야 한다. 그러나 현재까지 발표된 대부분의 스케줄링 알고리듬들은 작업이 한 클러스터에서 처리되는 것을 가정함으로써 통신비용을 무시하였으며, 작업이 다수의 클러스터에 분산되어 처리되는 경우에도 통신비용에 관한 오버헤드를 고려하지 않았다. 본 논문에서는 그리드 시스템에 적합한 기존 스케줄링 알고리즘들의 성능을 분석하였으며, 작업이 다수의 클러스터에 분산되어 수행되는 co-allocation 환경에서 통신비용을 고려하여 알고리즘들의 성능을 비교하고 분석하였다.

GIS와 ITS 서비스를 위한 효율적인 다중 에이전트 시스템 (An Efficient and Intelligent Multi-Agents System for GIS and ITS)

  • 노상겸;김신덕
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.661-664
    • /
    • 2000
  • 본 연구에서는 인터넷을 기반으로 하고 GIS(Geographical Information System)와 ITS(Intelligent Transportation System)제어 응용을 고려 한 컴퓨팅 플랫폼으로 EIMAS(Efficient and Intelligent Multi-Agent System)을 제안한다. GIS 와 관련 활용 시스템들은 개방형 지리 정보 처리 상호 운용 개념이 확산되면서 물리적으로 분산된 환경을 가지지게 되었고 이러한 분산 환경에서 프로그램개발과 사용자의 요구에 서비스를 효과적으로 제공하기 위하여, GIS와 이와 연계한 GI(Geographical Information) 활용시스템들의 각기 다른 구성 요소들을 통합하는 시스템이 요구된다. GIS 와 GIS Application으로 ITS(Intelligent Transportation System)위한 Java Mobile Agent와 Multiple Agent System 인 EIMAS를 플렛폼으로 제안한다. 이 시스템은 GIS 시스템과 ITS 시스템에 제공되는 Agent가 활동하는 플레이스 위에서 에이전트가 목적과 워크에 적합한 효율적인 워크플로우를 생성하여 시간 효율적이고 지능적인 분산. 병렬처리를 수행하는 플렛폼을 설계한다.

  • PDF

유한요소 구조해석 다중쓰레드 병렬 선형해법의 스케쥴링 및 부하 조절 기법 연구 (Scheduling and Load Balancing Methods of Multithread Parallel Linear Solver of Finite Element Structural Analysis)

  • 김민기;김승조
    • 한국항공우주학회지
    • /
    • 제42권5호
    • /
    • pp.361-367
    • /
    • 2014
  • 본 논문은 최근에 널리 사용되는 다중코어 컴퓨팅 환경에서 병렬 다중프론트 해법의 스케쥴링 및 부하조절 기법에 대해 논의한다. 통상적으로 구조해석 문제들은 불규칙한 격자계와 혼재된 물성 때문에 병렬화 알고리즘 구현 시 병목현상을 일으키고 불필요한 유휴시간을 초래한다. 따라서 이를 극복하며 효율성을 향상시키기 위해 다중쓰레드 기반 환경에 걸맞는 작업 스케쥴링 및 부하 분산 기법의 적용이 필수적이다. 본 논문에서 제시된 정적, 동적 스케줄링 기법과 정적 전 임무 분산, 최소최대 임무 결합 등의 부하 분산 기법들에 대한 이론적, 실제 결과를 제시함으로서 그 유용성을 논의하고자 한다.

다차원 데이터 처리를 위한 맵리듀스 기반의 그리드 파일 생성기법에 관한 연구 (A Study on The Grid File Construction Method based on MapReduce for Multidimensional Data Processing)

  • 정주혁;이상호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 춘계학술발표대회
    • /
    • pp.77-80
    • /
    • 2014
  • 최근 컴퓨터와 인터넷 이용의 확산, 스마트폰을 포함한 스마트 기기의 보급과 소셜 네트워크 이용의 확대, 위치 기반의 다양한 서비스 확대 등으로 처리해야 할 데이터 크기가 증가하는 추세이다. 이에 따라 대용량 데이터에 대한 처리가 큰 이슈로 떠오르고 있다. 그로 인해 대용량 데이터 처리를 위한 큰 규모의 분산 컴퓨팅 환경을 지원하는 프레임워크인 하둡이 개발되었으며 많은 기업에서 이를 활용하고 있는 추세이다. 하지만 대용량 데이터 중 영상, 의료, 센서 데이터 등 다차원 데이터 처리에 관한 연구는 미비한 상태이다. 기존의 다차원 데이터 처리를 위해 다양한 다차원 인덱스가 제안되었지만, 대용량 다차원 데이터 처리는 단일머신에서는 비효율적인 단점이 있다. 본 논문에서는 다차원 인덱스 기법인 그리드 파일을 하둡의 분산 병렬 처리 모델인 맵리듀스를 기반으로 생성하는 기법을 제안한다. 또한 앞서 생성된 그리드 파일을 가지고 맵리듀스를 이용한 질의처리 방법을 제안 한다. 이로 인해 단일머신에서의 그리드 파일 생성을 병렬처리 함으로써 생성 시간을 단축시키고 질의 처리 또한 맵리듀스를 이용하여 병렬 처리 함으로써 질의 시간 단축을 예상한다.

Edge Computing 환경에서의 Stale Synchronous Parallel Model 연구 (Stale Synchronous Parallel Model in Edge Computing Environment)

  • 김동현;이병준;김경태;윤희용
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제57차 동계학술대회논문집 26권1호
    • /
    • pp.89-92
    • /
    • 2018
  • 본 논문에서는 Edge computing 환경에서 다수의 노드들로 구성된 네트워크의 디바이스를 효율적으로 관리하기 위한 방법을 제안한다. 기존의 클라이언트-서버 모델은 모든 데이터와 그에 대한 요청을 중심 서버에서 처리하기 때문에, 다수의 노드로부터 생성된 많은 양의 데이터를 처리하는 데 빠른 응답속도를 보장하지 못한다. Edge computing은 분담을 통해 네트워크의 부담을 줄일 수 있는 IoT 네트워크에 적합한 방법으로, 데이터를 전송하고 받는 과정에서 네트워크의 대역폭을 사용하는 대신 서로 연결된 노드들이 협력해서 데이터를 처리하고, 또한 네트워크 말단에서의 데이터 처리가 허용되어 데이터 센터의 부담을 줄일 수 있다. 여러병렬 기계학습 모델 중 본 연구에서는 Stale Synchronous Parallel(SSP) 모델을 이용하여 Edge 노드에서 분산기계 학습에 적용하였다.

  • PDF

이동 에이전트 환경에서 최적화된 작업할당 방법에 대한 연구 (A Study of Optimized Task Allocation Method using Mobile Agents)

  • 김용호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.622-624
    • /
    • 2001
  • 인터넷 환경에서 유휴 컴퓨팅 자원들을 활용하여 병렬 작업들을 분산 처리하는 많은 연구들이 선행 되어왔다. 기존의 방법들은 하나의 작업을 여러 개의 작은 단위로 나누어 각각을 다수의 노드에서 분산 처리하는 방식으로 분해할 수 없는 다수의 작업에 대한 고려가 되어 있지 않다. 이러한 방법은 각 노드의 성능과 자원에 대한 고려가 없기 때문에 서로 다른 성능과 자원을 가지는 노드들로 구성된 시스템에서는 시스템을 효율적으로 사용할 수 없는 문제점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 이동 에이전트를 이용하여 각 노드의 성능과 자원에 대한 정보를 수집하고 이를 이용하여 주어진 작업에 대해 최적의 노드를 선택하여 할당하는 방법을 제안하고 구현하였다. 분해할 수 없는 작업의 경우 최적의 노드를 선택하여 작업을 할당하는 것은 작업 처리량을 극대화하여 시스템의 효율성을 높일 수 있을 것이다.

  • PDF

이동 호스트의 병렬적 위치 정보 탐색을 위한 서버의 계층 구조 (A Hierarchical Server Structure for Parallel Location Information Search of Mobile Hosts)

  • 정광식;유헌창;황종선
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제28권1_2호
    • /
    • pp.80-89
    • /
    • 2001
  • A Hierarchical Server Structure for Parallel Location Information Search of Mobile Hosts이동 컴퓨팅 환경의 발전은 기존의 분산 시스템에서는 볼 수 없었던 이동 호스트의 위치 정보 관리 문제, 이동 호스트의 접속 단절 문제, 낮은 무선 통신 대역폭의 문제 등 과 같은 새로운 문제점을 발생시켰다. 특히 이동 호스트의 위치 정보 관리 기법은 이동 컴퓨팅 환경의 성능을 저하시킨다. 이동 호스트의 이동성으로 인해 이동 호스트의 주소가 이동 호스트의 위치에 종속적으로 변화하며, 이동 호스트의 주소는 고유 주소와 현재 주소의 사상을 통해 관리된다. 이동 호스트의 고유 주소와 현재 주소를 사상시켜 주기 위한 이전의 기법들은 이동 호스트의 증가 및 위치 정보의 분산관리를 고려하지 않았기 때문에 시스템의 확장성에 큰 문제를 가지고 있다. 이 논문에서는 이동 호스트의 주소를 분산 관리하기 위해 개선된 n-깊이 위치 정보 탐색 트리와 개선된 n-깊이 위치 정보 탐색 트리를 기반으로 한 병렬적 위치 정보 탐색과 갱신 기법을 제안한다. 개선된 n-깊이 위치 정보 탐색 트리는 링 구조를 이용하여 위치 정보 서버를 지역적으로 분할한 위치 정보 서버의 논리적 계층 구조이며, 병렬적 탐색 기법을 기반으로 이동 호스트의 위치 탐색 비용과 갱신 비용을 줄였다. 개선된 n-깊이 위치 정보 탐색 트리를 기반으로 한 위치 정보 탐색/갱신 기법은 위치 정보 서버의 논리적 위치가 멀리 떨어져 있는 경우에도 병렬적 탐색 기법을 통해 기존의 방법보다 좋은 결과를 보인다. 또한, 탐색비용의 감소에도 불구하고 갱신 비용의 증가를 가져오지 않는다.

  • PDF