• 제목/요약/키워드: 병렬/분산 시스템

검색결과 380건 처리시간 0.028초

이기종 병렬 시스템을 위한 자동적 병렬화 컴파일러 후위 (Backend of a Parallelizing Compiler for an Heterogeneous Parallel System)

  • 권대석;김흥환;한상영
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제27권8호
    • /
    • pp.710-718
    • /
    • 2000
  • 고전적 시스템의 성능 향상을 위해 많은 병렬 처리 시스템들이 제안되어 왔다. 그러나 이들 시스템들은 흔히 통신과 동기화 부담을 과소 평가함으로써 기대한 만큼의 성능을 보이지 못하였다. 본 논문에서는 그러한 결과를 초래하는 이유를 설명하고, 병렬화 컴파일러가 만족시켜야 하는 성능상의 요구조건을 제시한다. 병렬화 결정은 성능 저하를 피하기 위해 반드시 통신과 동기화 부담(overhead)에 대한 분석에 기초하여 이루어져야 한다. 본 연구진은 이러한 발상을 자동적 병렬화 컴파일러 SUIF에 적용하여 SUIF의 후위를 MPI 함수를 이용하는 새로운 후위로 교체하고, 여기에 병렬화 결정의 타당성을 부담 정보에 기초하여 평가하는 능력을 부여하였다. 새로운 컴파일러 후위는 병렬화 가능한 부분이 명시된 SUIF 중간 코드를, 성능 저하를 초래하지 않으면서 MPI 함수 호출을 포함하는 분산 메모리 구조 병렬 프로그램으로 변환한다.

  • PDF

분산 공간 데이터베이스 시스템에서의 효율적인 질의 처리를 위한 병렬 연쇄 공간 죠인 기법 (Parallel Pipelined Spatial Join Method for Efficient Query Processing In Distributed Spatial Database Systems)

  • 고주일;이환재;김명근;이순조;배해영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.11-14
    • /
    • 2002
  • 분산 공간 데이터베이스 시스템에서 자주 수행되는 공간 죠인 질의는 공간 데이터의 특징인 대용량성과 복잡성으로 인하여 공간 연산 수행시 연간을 수행하는 서버의 CPU 및 디스크 I/O상의 과부하를 일으킨다. 본 논문은 이러한 분산 광간 데이터베이스 시스템에서 수행 비용이 많이 드는 원격 사이트간의 공간 죠인 질의를 병렬적이며 연쇄적으로 수행하는 기법을 제안한다. 본 기법은 공간 죠인 연산의 대상이 되는 릴레이션들을 공간 연산의 특성에 따라 순서화하고, 그 중 최하위의 죠인에 참여하는 릴레이션들 중 하나를 이등분 하는 방법으로 공간 죠인 연산을 분리한 추, 질의 수행에 참여하는 두 서버에게 죠인 연산을 분배한다. 각 서버는 분할된 공간 죠인 연산을 동시에 연쇄적으로 저리하고 결과를 병합하여 최종 죠인 결과를 생성한다. 본 기법은 릴레이션을 분할하여 죠인을 수행함으로써 공간 연산에 참여하는 객체의 수를 절반으로 줄이며 R-Tree 등의 공간 인덱스 탐색 횟수와 그 범위를 감소시킨다. 또한 연쇄적인 질의 처리로 죠인의 결과인 임시 릴레이션을 생성하지 않으므로 대용량의 데이터에 대한 복잡한 질의에 대해서도 제한 없이 수행한다.

  • PDF

Fast Ethernet 환경에서 병렬 멀티미디어 파일 시스템의 설계와 구현 (Design and Implementation of the Parallel Multimedia File System on Fast Ethernet)

  • 박성호;김광문;정기동
    • 정보처리학회논문지B
    • /
    • 제8B권1호
    • /
    • pp.89-97
    • /
    • 2001
  • 대용량 멀티미디어 미디어 서버를 구성함에 있어 I/O 병목현상을 극복하기 위하여 저장 서버들과 제어 서버로 구성되어진 2계층 분산 클러스터 서버구조가 많이 사용된다. 2 계층 분산 클러스터 서버는 부하 균등, 대역폭 관리 및 저장 서버의 관리 측면에서 유리한 반면, 저장 서버와 제어 서버간의 통신 오버헤드를 발생시킨다. 이러한 오버헤드를 줄이기 위해서는 저장 서버에서 읽은 미디어 데이터를 제어 서버를 거치지 않고 직접 클라이언트에 전송할 수 있어야 한다. 그리고, 저장 용량을 확장하거나 손상된 디스크를 교체하는 경우를 대비하여 분산 클러스터 서버는 다양한 성능의 이기종 디스크를 지원하여야 한다. 또한, I/O 장치와 운영체제가 빠르게 발전됨에 따라 미디어 서버는 새로운 I/O 장치 및 운영체제 등에 쉽게 이식될 수 있어야 하고, 응용 소프트웨어 개발자가 시스템의 환경에 따라 블록크기, 데이터 배치정책, 사본 정책 등을 유연하게 조절할 수 있어야 한다. 본 논문에서 위에서 언급한 멀티미디어 서버의 요구를 고려하여 Fast Ethernet 환경에서 병렬 멀티미디어 파일 시스템(PMFS : Parallel Multimedia File System)을 설계 및 구현하고 실험을 통해 PVFS(Parallel Virtual File System)와 성능을 비교 분석하였다. 이 실험의 결과에 따르면 PMFS는 멀티미디어 데이터에 대하여 PVFS보다 3%∼15%의 향상된 성능을 보였다.

  • PDF

Cray T3E에서 극한 고유치문제의 효과적인 수행 (Efficient Implementation of an Extreme Eigenvalue Problem on Cray T3E)

  • 김선경
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2000년도 추계학술대회 학술발표 논문집
    • /
    • pp.480-483
    • /
    • 2000
  • 공학의 많은 응용분야에서 큰 회소 행렬(Large Sparse Matrices)에 대한 가장 작거나 또는 가장 큰 고유치(Eigenvalues)들을 요구하게 되는데, 이때 많이 이용되는 것은 Krylov Subspace로의 Projection방법이다. 대칭 행렬에 대해서는 Lanczos방법을, 비대칭 행렬에 대해서는 Biorhtogonal Lanczos방법을 이용할 수 있다. 이러한 기존의 알고리즘들은 새롭게 제안되는 병렬처리 시스템에서 효과적이지 못하다. 많은 프로세서를 가지는 병렬처리 컴퓨터 중에서도 분산 기억장치 시스템(Distributed Memory System)에서는 프로세서들 사이의 Data Communication에 필요한 시간을 줄이도록 해야한다. 본 논문에서는 기존의 Lanczos 알고리즘을 수정함으로써, 알고리즘의 동기점(Synchronization Point)을 줄이고 병렬화를 위한 입상(Granularity)을 증가시켜서 MPP인 Cray T3E에서 Data Communication에 필요한 시간을 줄인다. 많은 프로세서를 사용하는 경우 수정된 알고리즘이 기존의 알고리즘에 비해 더 나은 speedup을 보여준다.

  • PDF

병렬 연결 간의 트래픽 간섭 현상 분석 및 대역폭 예측 (Analysis of the Interference between Parallel Socket Connections and Prediction of the Bandwidth)

  • 김영신;허의남;김일중;황준
    • 인터넷정보학회논문지
    • /
    • 제7권1호
    • /
    • pp.131-141
    • /
    • 2006
  • 최근 들어, 고에너지 물리학 등의 과학 기술이 고도로 발전함에 따라 실험 데이터 등이 대량으로 생산되고 있다. 따라서 이러한 데이터를 분산된 스토리지를 이용하여 저장하고 있으며, 이로 인해 지역적으로 분산된 자원을 하나의 자원처럼 사용 할 수 있는 환경이 요구되고 있다. 그러나 분산된 자원을 관리하는 대부분의 시스템은 다른 관리 시스템과 호환이 되지 않는다는 문제점을 가지고 있다. 데이터 그리드는 이러한 문제를 해결하고 있으며, 효율적인 데이터 관리를 위해 데이터 전송의 안전성과 신속성을 보장하는 GridFTP를 이용하고 있다. 그러나 이러한 툴의 사용은 병렬 전송 기술을 이용하기 때문에 네트워크 과부하가 발생할 가능성이 높으며, 많은 소켓연결을 생성한 응용 프로그램이 네트워크 대역폭의 대부분을 점유하는 문제점이 발생한다. 그러나 현재 병렬 전송 기술의 특성이나 문제점에 대한 분석이 이루어지지 않고 있으며, 특히, 소켓 연결들 간의 간섭 현상에 대한 분석이 이루어지지 않고 있다. 따라서 본 논문에서는 병렬 전송의 특성을 여러 실험 결과를 통하여 분석하고, 소켓 연결들 간의 간섭 현상을 분석한다. 응용 프로그램이 요구하는 네트워크 대역폭 확보를 위한 소켓 연결의 개수 계산과 새로운 소켓 연결에 의한 간섭 발생 이후 기존의 응용프로그램이 사용할 대역폭을 예측한다.

  • PDF

분산 하둡 시스템의 성능 비교 분석 (Performance Analysis of Distributed Hadoop Systems)

  • 배병진;김영주;김영국
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2014년도 춘계학술대회
    • /
    • pp.479-482
    • /
    • 2014
  • 오늘날 급증하는 빅데이터를 효율적으로 관리하기 위해 오픈소스인 하둡을 많이 사용한다. 하둡은 분산 파일 처리 시스템인 HDFS(Hadoop Distributed File System)와 분산 병렬 처리 시스템인 맵리듀스(MapReduce)로 구성되어 있다. 하둡의 맵리듀스 프레임워크에서는 빅데이터를 HDFS에서 읽어들이고 분석 처리된 결과를 다시 HDFS에 쓴다. 이러한 분산 병렬 처리 방식은 하둡 버전에 따라 다른 시스템 구조를 가진다. 따라서 본 논문에서는 하둡 버전에 따른 빅데이터 처리 시에 동작하는 하둡시스템들의 내부 성능을 비교 분석한다. 이를 위해서 하둡 시스템을 감시할 수 있는 방법을 고안하여 내부적으로 생성되는 프로세스 및 스레드들과 변수들의 발생빈도를 측정하여 분석 지표로 사용한다.

  • PDF

고성능, 고확장성 빅데이터 분석 플랫폼 (High-performance and Highly Scalable Big Data Analysis Platform)

  • 박경석;유찬희;김유선;엄정호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.535-536
    • /
    • 2021
  • 빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

클라우드 기반 UHD 영상 트랜스코딩 시스템 (UHD Video Transcoding System in Cloud Computing Environment)

  • 문희철;김용환;김동혁
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2014년도 추계학술대회
    • /
    • pp.203-205
    • /
    • 2014
  • UHD 영상 콘텐츠는 FHD 영상에 비해 생생하고 더 좋은 고화질의 영상을 제공하지만 영상정보의 데이터 양은 4K UHD 경우 4 배 이상이다. 이러한 초대용량의 UHD 영상을 기존의 병렬/분산 처리를 이용하여 비디오 코딩 한다면 UHD 의 초대용량 특성으로 인하여 연산량 부하가 발생하게 된다. 따라서 UHD 영상은 기존의 분산처리 방식이 아닌 초대용량 데이터를 빠르게 처리 할 수 있는 새로운 분산 처리기술이 필요하다. 본 논문은 UHD 콘텐츠를 빠르게 트랜스코딩 할 수 있는 클라우드 기반 UHD 영상 트랜스코딩 시스템을 제안한다. 본 논문에서 제안하는 UHD 영상 트랜스코딩 시스템은 다음 3 가지 패킷 분석기, 분산 트랜스코더, 스트림 합성기로 구성된다. 패킷 분석기는 입력 영상을 분석하여 오디오와 비디오 스트림을 분할하고 비디오 스트림은 분산처리를 할 수 있도록 영상 패킷을 분할한다. 분산 트랜스코더는 클라우드 환경을 이용하여 분할된 영상 패킷들을 분산 디코드 및 인코드 처리한다. 스트림 합성기는 트랜스코딩이 완료된 비디오 스트림과 패킷 분석기에서 획득하였던 오디오 스트림을 합성하는 기능을 한다. 제시하는 방안을 적용하여 클라우드 기반 영상 트랜스 코딩 시스템을 구현하였으며, 구현된 시스템은 대용량의 UHD 영상을 빠른 속도로 트랜스코딩이 가능하다.

  • PDF

GIS와 ITS 서비스를 위한 효율적인 다중 에이전트 시스템 (An Efficient and Intelligent Multi-Agents System for GIS and ITS)

  • 노상겸;김신덕
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.661-664
    • /
    • 2000
  • 본 연구에서는 인터넷을 기반으로 하고 GIS(Geographical Information System)와 ITS(Intelligent Transportation System)제어 응용을 고려 한 컴퓨팅 플랫폼으로 EIMAS(Efficient and Intelligent Multi-Agent System)을 제안한다. GIS 와 관련 활용 시스템들은 개방형 지리 정보 처리 상호 운용 개념이 확산되면서 물리적으로 분산된 환경을 가지지게 되었고 이러한 분산 환경에서 프로그램개발과 사용자의 요구에 서비스를 효과적으로 제공하기 위하여, GIS와 이와 연계한 GI(Geographical Information) 활용시스템들의 각기 다른 구성 요소들을 통합하는 시스템이 요구된다. GIS 와 GIS Application으로 ITS(Intelligent Transportation System)위한 Java Mobile Agent와 Multiple Agent System 인 EIMAS를 플렛폼으로 제안한다. 이 시스템은 GIS 시스템과 ITS 시스템에 제공되는 Agent가 활동하는 플레이스 위에서 에이전트가 목적과 워크에 적합한 효율적인 워크플로우를 생성하여 시간 효율적이고 지능적인 분산. 병렬처리를 수행하는 플렛폼을 설계한다.

  • PDF

연속 시간과 이산 시간 비선형 상호 결합 시스템을 위한 분산 정적 출력 궤한 제어기 설계 (Decentralised Static Output Feedback Controller Design for Continuous-time and Discrete-time Nonlinear Interconnected Systems)

  • 구근범;주영훈;박진배
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2007년도 제38회 하계학술대회
    • /
    • pp.292-293
    • /
    • 2007
  • 본 논문은 연속 시간과 이산 시간 비선형 상호 결합 시스템에 대한 분산 정적 출력 궤한 제어기의 설계에 대해 연구한다. 먼저 퍼지 모델 기법을 이용하여 비선형 상호 결합 시스템을 Takagi-Sugeno (T-S)퍼지 모델로 모델링한다. 각각의 하위 시스템에 대한 정적 출력 궤한 제어기를 병렬 분산 보상(PDC)기법을 이용하여 구한다. 선형 행렬 부등식(LMI)을 통하여 하위 시스템의 안정화를 위한 이득값을 구한다. 이득값을 통하여 하위 시스템들이 안정화되고 그를 통해 전체 상호 결합 시스템이 안정화됨을 모의실험을 통하여 증명한다.

  • PDF