• Title/Summary/Keyword: 병렬/분산 시스템

Search Result 380, Processing Time 0.028 seconds

Open Distributed Cloud Computing based on High-Speed Big Data Transfer (고속 빅데이터 전송 기반의 오픈 분산 컴퓨팅 플랫폼 개발 및 연구)

  • Kim, Ki-Hyeon;Moon, Junghoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.38-41
    • /
    • 2021
  • 최근 빅데이터, 인공지능 키워드를 이용한 다양한 연구들이 진행되고 있으며, 인공지능 연구를 통해 자동화 자율화를 위한 연구들이 주를 이루고 있다. 인공지능 연구를 수행하기 위해서는 거대한 데이터를 빠르게 전송해야하며, 인공지능을 손쉽게 수행하기 위한 플랫폼이 필요하다. 하지만 많은 연구기관에서는 빅데이터 전송 속도의 한계가 존재하며, 인공지능 알고리즘 수행을 위한 플랫폼 또한 부족한 것이 현실이다. 이를 해결하기 위해 ScienceDMZ 기술을 활용하여 고속의 빅데이터 전송을 위한 인프라를 구축하고, 엣지 컴퓨팅 기반의 오픈 분산 컴퓨팅 플랫폼을 개발한다. 이 시스템을 통해 사용자들에게 빅데이터를 빠르게 전송하고 전송된 데이터를 이용하여 바로 인공지능 연구를 수행하여 결과를 도출할 수 있는 시스템을 구축하고자 한다. 이 시스템을 이용하여 GPU 분산 컴퓨팅을 수행하였을 때 성능과 GPU 병렬 컴퓨팅을 수행하였을 때의 결과를 비교하여 성능을 검증하고자 한다.

An Efficient Parallel Information Retrieval System using Document Clustering (문서 클러스터링에 의한 효율적인 병렬 정보검색 시스템)

  • Gang, Yu-Gyeong;Ryu, Gwang-Ryeol;Jeong, Sang-Hwa
    • Journal of KIISE:Software and Applications
    • /
    • v.28 no.2
    • /
    • pp.157-167
    • /
    • 2001
  • 본 논문은 고품질의 정보를 신속하게 제공할 수 있으면서 가격대 성능비가 우수한 병렬 정보 검색 시스템을 제시하고 있다. 본 검색 시스템은 문서 라이브러리를 여러 개의 클러스터로 세분화하고 검색 시 클러스터 단위로 프로세서에 할당함으로써 작업 단위를 적절한 규모로 하였을 뿐만 아니라, 문서의 점수 계산 시 프로세서 간 통신이 전혀 필요치 않게 하였다. 검색은 1차로 클러스터 레벨에서 관련 클러스터들을 찾는 것으로 시작하여 2차로 관련 클러스터 내에서 실제 문서를 찾는 방식으로 이루어진다. 이러한 계층적인 검색 구조로 인하여 1차 검색 후 여과가 가능하므로 전체적인 검색의 부하를 줄일 수 있다. 또한 문서의 클러스터가 가능한 한 유사한 문서군이 되도록 함으로써 불필요한 클러스터가 검색될 가능성을 최소화하여 성능을 높였다. 본 검색 시스템은 분산메모리 MIMD 구조의 다중 트랜스퓨터 시스템에서 구현되었으며, 실험 결과 무작위적으로 클러스터링한 경우에 비해 유사 문서군으로 클러스터링한 접근 방법이 우수함을 확인하였다.

  • PDF

A Method to Access Data for Spatial Operation in Parallel Distributed Processing System (병렬 분산 처리 시스템에서 공간 연산을 위한 데이터 접근 방안)

  • Kim, Jindeog
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2016.10a
    • /
    • pp.442-444
    • /
    • 2016
  • 과거에 비해 비약적으로 생산되는 공간 데이터에 대한 처리를 위한 공간 연산은 빠른 처리 응답성을 요구하는 경우가 많다. 그래서 최근 하둡(Hadoop)과 같은 빅데이터 처리 시스템을 이용하여 처리하고자 하는 시도가 많다. 한편, 공간 조인은 데이터 분할(Partitioning)과 공간 색인의 이용 여부, 여과 단계와 정제 단계를 거치는 등 그 복잡도가 강한 공간 연산이다. 그래서 빅데이터 처리 시스템을 이용한 공간 조인의 처리 방식은 매우 다양하다. 그러나 지금까지 이러한 공간 조인의 처리 방식에 다른 리소스 활용에 대한 비교는 거의 없다. 이 논문에서는 다양한 공간 연산의 수행 방법에 따른 빅데이터 시스템 클러스터에서 데이터 전송 방식을 고찰하고 데이터 전송에 따른 네트워크 리소스의 효율적인 사용 방안을 제안하고자 한다. 구체적으로 단일할당과 다중할당 색인 기법의 비교, 파티셔닝 방법의 비교, 맵리듀스 시스템의 태스크 할당 방법에 따른 비교를 통해 다양한 연산 유형에 따른 공간 조인의 처리 방안 선정에 고려 요소를 제시하고자 한다.

  • PDF

A study on link system of the programmable controller (Programmable Controller의 Link System에 관한 연구)

  • 안재봉;지동근;최호현
    • 제어로봇시스템학회:학술대회논문집
    • /
    • 1986.10a
    • /
    • pp.175-177
    • /
    • 1986
  • 본 연구에서는 금성계전에서 이미 개발된 고기능 PC인 STARCON-M에 적용 할 수 있는 Link 시스템을 구성하여 다음과 같은 결론을 얻을 수 있었다. 1) 병렬 Link 시스템을 구성하여 최대 입출력 점수가 280점인 PC를 최대 744점 프로그램 용량이 최대 12K Word까지 확장하여 사용 할 수 있었다. 2) 직렬 Link 시스템을 구성하여 완벽한 분산제어 시스템을 구성할 수 있었으며 Master와 Local의 비율을 1:7까지 할 수 있고 동축 cable에 의해 500m 까지 연결하므로서 PC의 효율성을 증가시켰다. 3) Computer Link 에 의해 PC와 Computer간에 Data를 교신하므로서 관리 감시 제어 시스템을 구성할 수 있었다.

  • PDF

Service Oriented Workflow System on Grid (그리드 환경에서 서비스 기반 워크플로우 시스템 설계 및 구현)

  • Choi Ju-Ho;Kwon Yong-Won;Ryu So-Hyun;Jeong Chang-Sung
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07a
    • /
    • pp.43-45
    • /
    • 2005
  • 그리드 어플리케이션을 분산, 병렬 환경에서 효과적으로 만들기 위해, 그리드 포탈시스템인 Workflow based grid portal for problem Solving Environment(WISE)를 개발해왔다. WISE는 Globus Toolkit 2를 기반으로 그리드 워크플로우 기술을 사용하여 사용자가 좀 더 쉽게 그리드 어플리케이션을 프로그래밍 할 수 있는 환경을 제공한다. 그러나 현재 그리드 기술은 서비스 기반 구조(Open Grid Service Architecture)로 변화하고 있고 WISE도 기술적 흐름에 따라 그것을 충족시킬 수 있도록 변화해야 한다. 그래서 서비스 기반 구조에 대응할 수 있는 워크플로우 엔진을 새로 설계하여 WISE에 적용하고자 한다. 새로 설계한 시스템은 Service Oriented Workflow System on Grid(SOWS-G)이다. 이것은 계산량이 많은 문제에 대해 효과적으로 분산, 병렬 실행을 가능하게 하고, 다양한 워크플로우 패턴을 지원하며, 웹 서비스를 이용할 수 있도록 설계하였다. 이 논문에서는 SOWS-G를 서비스 기반 그리드 환경을 지원하는 Globus Toolkit 3를 이용하여 설계한 구조를 살펴보고 웹서비스를 이용할 수 있도록 추가된 기능들에 대해서 설명하고자한다.

  • PDF

Development of Bent Glass Automatic Shaping System using PC-based Parallel Distributed Control Scheme (PC기반 병렬 분산제어방식을 이용한 곡면유리 자동성형기 개발)

  • 양근호
    • Journal of the Institute of Convergence Signal Processing
    • /
    • v.5 no.1
    • /
    • pp.40-45
    • /
    • 2004
  • This paper presents the parallel distributed control scheme for shaping of the bent glass. The designed system consists of a PC, a main controller and 11 servo-controllers, the precision motion controllers. Each elements are connected by using RS-232C and 8-bit data bus. In order to guarantee the stability and the control performance, we use a precision PID motion controller and a H-bridge on the servo-drivers. PC calculates position values of 11 DC motors by using the pre-determined curvature value and offers the user interface environment operator. The main controller provides the control instructions and parameter values to 11 servo-controllers by chip enable signal, simultaneously. Using the received commands and parameter values, the servo-controllers control the positions of the DC motors based on PID control scheme.

  • PDF

Generating Raster DSM from Airborne Laser Scanned Data Using Parallel Processing and Virtual Grid (병렬처리와 가상격자를 이용한 대용량 항공 레이저 스캔 자료의 정규격자 수치표면모델 생성)

  • Han, Soo-Hee;Heo, Joon;Kim, Sung-Sam;Kim, Sung-Hoon
    • Proceedings of the Korean Association of Geographic Inforamtion Studies Conference
    • /
    • 2008.06a
    • /
    • pp.318-321
    • /
    • 2008
  • 본 연구에서는 대용량의 항공 레이저 스캔 포인트 자료로부터 정규 격자 형태의 수치 표면 모델을 고속으로 생성하기 위하여 가상격자와 병렬처리를 기반으로 한 자료 처리 기법을 제안하였다. 수십$\sim$수백 평방 킬로미터 영역에 대하여 항공 레이저 스캔을 중복적으로 수행할 경우 포인트 수는 수억$\sim$수십억에 이르며 이를 일반적인 시스템에서 처리하는 데에는 한계가 존재한다. 이에 본 연구에서는 병렬처리를 위해 구성한 피씨 클러스터 상에서 자료를 분산시켜 가상격자를 이용하여 처리하는 방식을 제안하였다. 즉, 마스터 노드는 포인트 자료를 읽어 들여 포인트의 평면 좌표 값에 따라 슬래이브 노드로 전송하고 각 슬래이브 노드에서는 전송받은 포인트를 가상 격자에 저장한 후 보간(interpolation)을 수행한다. 보간 방식으로는 IDW(Inverse Distance Weightin)을 사용하였으며 제안한 방식의 효율성을 평가하기 위하여 사용된 슬래이브 노드 수에 대한 처리 시간을 측정하였다.

  • PDF

Efficient Executions of MPI Parallel Programs in Memory-Centric Computer Architecture (메모리 중심 컴퓨터 구조에서 MPI 병렬 프로그램의 효율적인 수행)

  • Lee, Je-Man;Lee, Seung-Chul;Shin, Dong-Ha
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2019.07a
    • /
    • pp.257-258
    • /
    • 2019
  • 본 논문에서는 "프로세서 중심 컴퓨터 구조"에서 개발된 MPI 병렬 프로그램을 수정하지 않고 "메모리 중심 컴퓨터 구조"에서 더 효율적으로 수행시키는 기술을 제안한다. 본 연구에서 제안하는 기술은 메모리 중심 컴퓨터 구조가 가지는 "빠른 대용량 공유 메모리" 특징을 이용하여 MPI 표준 라이브러리가 수행하는 네트워크 통신을 통한 느린 데이터 전달을 공유 메모리를 통한 빠른 데이터 전달로 대체하여 효율성을 얻는다. 본 연구에서 제안한 기술은 도커 가상화 기술을 사용한 분산 시스템 환경에서 MC-MPI-LIB 라이브러리 및 MC-MPI-SIM 시뮬레이터로 구현되었으며 다수의 MPI 병렬 프로그램으로 시험 수행하여 효율성이 있음을 보였다.

  • PDF

A JobTracker Fault-tolerant Mechanism for MapReduce Framework (MapReduce 프레임워크를 위한 JobTracker 결함허용 메커니즘)

  • Hwang, Byung-Hyun;Park, Kie-Jin
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06a
    • /
    • pp.317-318
    • /
    • 2010
  • 클라우드 컴퓨팅 서비스를 제공하기 위해서는 클라우드 컴퓨팅에 적합한 데이터 분산 저장 및 병렬 처리가 가능한 IT 인프라 구축이 필수적이다. 이를 위해서 분산 파일 시스템 중 하나인 HDFS(Hadoop File System)와 병렬 데이터 처리를 지원하기 위한 MapReduce 프레임워크 관련 연구가 각광 받고 있다. 하지만 MapReduce 프레임워크를 구성하는 JobTracker 노드는 SPoF(Single Point of Failure)이기 때문에, 작업 도중 JobTracker 노드의 결함이 발생하게 되면 전체 작업이 실패하게 된다. 위와 같은 문제를 해결하기 위해서 본 논문에서는 MapReduce 프레임워크의 JobTracker 노드 결함 발생에 대처할 수 있는 결함허용 메커니즘을 제안하였다.

  • PDF

A Fast Transmission of Mobile Agents Using Binomial Trees (바이노미얼 트리를 이용한 이동 에이전트의 빠른 전송)

  • Cho, Soo-Hyun;Kim, Young-Hak
    • The KIPS Transactions:PartA
    • /
    • v.9A no.3
    • /
    • pp.341-350
    • /
    • 2002
  • As network environments have been improved and the use of internet has been increased, mobile agent technologies are widely used in the fields of information retrieval, network management, electronic commerce, and parallel/distributed processing. Recently, a lot of researchers have studied the concepts of parallel/distributed processing based on mobile agents. SPMD is the parallel processing method which transmits a program to all the computers participated in parallel environment, and performs a work with different data. Therefore, to transmit fast a program to all the computers is one of important factors to reduce total execution time. In this paper, we consider the parallel environment consisting of mobile agents system, and propose a new method which transmits fast a mobile agent code to all the computers using binomial trees in order to efficiently perform the SPMD parallel processing. The proposed method is compared with another ones through experimental evaluation on the IBM's Aglets, and gets greatly better performance. Also this paper deals with fault tolerances which can be occurred in transmitting a mobile agent using binomial trees.