• Title/Summary/Keyword: 병렬분산처리 모델

Search Result 82, Processing Time 0.026 seconds

네트워크에 기반한 MT자료의 처리기술 개발 연구 (Development of Network Based MT Data Processing System)

  • 이희순;권병두;정호준;오석훈
    • 지구물리와물리탐사
    • /
    • 제3권2호
    • /
    • pp.53-60
    • /
    • 2000
  • 본 연구에서는 급격히 증가하는 인터넷망 및 분산(distribution) 컴퓨팅 환경을 이용한 서버/클라이언트(server/client) MT자료 처리 시스템의 구축을 위한 여러 가지 기술적 사항에 대해 논의하였다. 이러한 시스템은 표준적인 처리 방식의 도입과 인증된 자료 처리 서버에서의 해석 수행을 통해 일관성과 안정성을 동시에 제공할 수 있을 것이다. 또한 인터넷망을 이용하여 현장에서의 자료해석이 가능해지므로 탐사 시간, 경비의 감소 및 추가 탐사 계획 수립에도 도움을 줄 것이다. 각종 자바 기술(pure java와 enterprised java)은 네트워크 프로그램을 손쉽게 개발할 수 있는 많은 방법들을 제공한다. 본 연구에서는 이를 이용하여 웹(web)에 의한 서버/클라이언트 모델과, 소켓(Socket) 및 원격 함수 호출(RMI: Remote Method Invocation) 에 의한 처리 기법을 MT자료의 해석에 적용하기 위한 방법에 대해 논하였다. 또한 MT자료의 특성상, 그 해석은 고성능의 컴퓨터를 이용하였을 때에도 상당한 시간을 필요로 하므로 이를 극복하기 위해 서버 프로그램에 MPI(Message Passing Interface) 병렬처리 기술을 적용하고자 한다. 이는 고가의 병렬 처리 컴퓨터를 대체할 수 있으며, 표준적인 코딩이 제시되었으므로 관리 및 유지, 보수에 있어 효율성을 제공할 것이다.

  • PDF

회의 소집을 위한 다중 에이전트 시스템의 구현 (Implementation of A Multiple-agent System for Conference Calling)

  • 유재홍;노승진;성미영
    • 지능정보연구
    • /
    • 제8권2호
    • /
    • pp.205-227
    • /
    • 2002
  • 이 연구는 웹 기반 협동작업 시스템에서 지능적인 에이전트들을 이용하여 원격 회의의 소집을 자동화함으로써 여러 참여자들에게 보다 편리한 형태의 협동작업 환경을 지원해 주는 시스템에 대한 것이다 회의 일정을 잡는 작업을 자동화하는 것은 각 개인의 공적인 일정 뿐만 아니라 개인의 사정과 선호도 등에 대한 세심한 배려를 요구한다. 그러므로, 회의 소집 자동화는 신뢰성과 병렬성을 높이기 위해서 각 개인의 일정을 병렬적으로 별도 관리하는 작업을 지원하는 분산 처리 작업이 요구된다. 이 논문에서는 회의 소집에 들이는 시간과 노력을 최소로 줄여주는 다중 에이전트 시스템의 설계와 구현에 대하여 자세하게 소개한다. 이 시스템은 서버-를라이언트 모델에 기반하며, 서버 측에서는 스케줄 에이전트, 협상 에이전트, 개인정보 관리 에이전트, 그룹 정보 관리 에이전트, 세션관리 에이전트와 조정 에이전트가 활동한다. 클라이언트 측에서는 인터페이스 에이전트, 미디어 에이전트와 협동 에이전트가 활동한다. 이들 에이전트들은 통신은 표준화된 지식 표현 언어를 이용하여 통신하므로 분산 협동 처리를 위한 에이전트들 간의 통신에 있어 가장 큰 문제점인 이형질성을 극복할 수 있도록 해준다. 본 시스템의 회의소집 지원 에이전트들은 전진연결 알고리즘으로 추론하고 역전파 네트워크 알고리즘으로 학습하여 가장 많은 사람이 참여할 수 있는 날짜를 제안해줌으로써 회의 소집자가 회의 소집에 들이는 노력을 최소로 줄일 수 있게 해 준다.

  • PDF

다중스레드 코드 생성을 위한 배열 지역화 (Array Localization for Multithreaded Code Generation)

  • 양창모;유원희
    • 한국정보처리학회논문지
    • /
    • 제3권6호
    • /
    • pp.1407-1417
    • /
    • 1996
  • 지금까지 다중스레드 모델을 위한 다중스레드 코드의 생성 및 스레드 분할에 대 하여 이루어진 연구는 실행시간을 번역시간에 예측할 수 없는 연산을 경계로 삼아 스 레드를 분할하고, 스레드의 길이를 증가시키기 위하여 주어진 제약조건내에서 스레드 를 병합하는 것이다. 이러한 정책으로 인하여 병렬성이 적은 프로그램이라 하여도 원 격자료 접근이 많으면 스레드의 길이가 짧아지고 그에 따라 문맥전환이 늘어나기 때 문에 시스템에 부담이 된다. 본 논문에서는 스레드의 길이를 늘이고, 메세지 전송횟 수를 감소시키기 위한 다른 방법으로 프로그램의 루프에서 접근되는 배열의 첨자를 분석하고 이를 바탕으로 루프 액티베이션에서 참조되는 배열의 원소를 해당 루프 액 티베이션이 수행되는 노드에 분산 저장하는 배열의 지역화방안을 제안한다. 배열을 지역화하기 위하여 먼저 루프 액티베이션에서 접근되는 배열의 이름, 루프 첨자와 접 근되는 배열원소의 첨자간의 차이인 종속거리 그리고 배열원소의 용도에 관한 정보를 얻기 위한 원소 접근 형태 분석을 수행한다. 원소 접근 형태 분석으로 부터 얻어진 정보를 이용하여 가능한한 지역 기억장치에서 필요한 배열의 원소를 읽어올 수 있도 록 배열 원소에 접근하는 루프 액티베이션이 수행되는 처리기 모임의 지역 기억장치 에 배열원소를 저장하는 배열 지역화를 수행한다. 실험결과, 배열을 지역화함으로써 다른 처리기 모임의 지역 기억장치로부터 배열의 원소를 읽어오기 위한 원격자료 접 근을 지역자료 접근으로 대치함으로써 원격접근의 수가 줄어든다. 이로 인하여 스레 드의 길이가 증가하며, 원격접근 횟수 및 문맥 전환의 수가 줄어들어 시스템의 성능 향상을 꾀할 수 있었다.

  • PDF

GPGPU를 활용한 스파크 기반 공간 연산 (Spatial Computation on Spark Using GPGPU)

  • 손찬승;김대희;박능수
    • 정보처리학회논문지:컴퓨터 및 통신 시스템
    • /
    • 제5권8호
    • /
    • pp.181-188
    • /
    • 2016
  • 최근 급격히 증가하는 공간 데이터를 효율적으로 처리하기 위해 많은 연구들이 진행되고 있다. 기존 관계형 데이터베이스 시스템을 확장한 공간 데이터베이스 시스템은 확장성에 대한 문제가 있으며, 분산 처리 플랫폼인 하둡을 확장한 SpatialHadoop은 중간 연산 결과를 디스크에 작성하기 때문에 파일 입출력의 오버헤드로 성능이 저하되는 문제가 있다. 본 논문은 인-메모리 기반 분산 처리 프레임워크인 스파크를 확장한 공간 연산 스파크를 제안하였다. 또한 공간 연산 스파크의 성능을 향상시키기 위하여 GPGPU를 결합한 모델을 개발하였다. 공간 연산 스파크는 중간 연산 결과를 메모리에 유지시키는 스파크의 특징을 그대로 사용하고 있으며, GPGPU 기반 공간 연산 스파크의 경우 다수의 PE를 이용하여 병렬처리하기 때문에 효율적으로 공간 연산을 수행할 수 있다. 본 논문은 단일 AMD 시스템에서 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크를 구현하였다. 공간 연산 스파크와 GPGPU 기반 공간 연산 스파크의 성능을 평가하기 위하여 Point-in-Polygon 연산과 Spatial Join 연산을 수행하였으며, SpatialHadoop에 비하여 최대 8배의 성능 향상을 확인하였다.

네트워크 기반 클러스터 시스템을 위한 적응형 동적 부하균등 방법 (Adaptive Dynamic Load Balancing Strategies for Network-based Cluster Systems)

  • 정훈진;정진하;최상방
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제28권11호
    • /
    • pp.549-560
    • /
    • 2001
  • 클러스터 시스템을 계산능력과 메모리 크기에 있어서 바람직한 확장성을 제공한다. 또한 고속의 컴퓨터 네트워크 기술의 발달로 인해 클러스터 시스템은 값비싼 MPPs (Massively Parallel Processors)와 비교하여 경쟁력을 얻고 있다. 부적당한 작업 스케줄링은 시스템의 기능을 충분히 이용할수 없고, 병렬처리 프로그램에서 프로그램 실행 전에 각 태스크의 부하를 예측하기 어려우며, 태스크들은 다양한 형태로 서로 의존적이다. 동적 부하균등 알고리즘에서는 실행시간에 각 프로세서의 부하를 평가한 후, 각 태스크를 적절한 크기로 분할하고 그것들을 각 프로세서의 수행능력에 비례하여 클러스터 시스템에 할당한다. 그러나, 프로세싱 노드간의 통신비용이 높으면, 모든 노드들이 부하분산에 참여하는 것은 효율적이지 못하다. 본 논문에서는 부하분산에 참여하는 프로세서를 통신비용과 평균 부하로부터의 편차를 고려하여 제한하였다. 기존의 부하균등 방식과 제안된 동적 알고리즘을 비교하기 위하여, 통신비용, 노드 수, 그리고 부하의 범위와 같은 파라메터를 사용하여 다양한 모델의 클러스터 시스템에 관한 시뮬레이션을 수행하였다.

  • PDF

대심도 신금호역사의 화재 유동에 대한 고찰 (Investigation for Fire Flow of the Deeply Underground Shin-Gum-Ho Subway Station)

  • 장용준;박일순;김진호;정우성;김학범;이창현
    • 한국철도학회:학술대회논문집
    • /
    • 한국철도학회 2010년도 춘계학술대회 논문집
    • /
    • pp.110-115
    • /
    • 2010
  • 최근 도심지의 지하철 노선들은 과거에 지어진 지하철 노선들에 비하여 대심도 터널이 증대하고 있다. 신금호 역사(5호선, 깊이 : 46m)는 수도권에 있는 지하철 역사 중에서 3번째로 깊은 역사로서 대심도 역사의 모델로 선정되었으며, 신금호 전체 역사에 대한 화재시뮬레이션을 시도하였다. 신금호 역사는 3개의 출입구, 지하 1층 대합실, 지하 2층 대합실, 지하 2층에서 8층으로의 연결통로, 지하 8층 승강장으로 구성되어 있다. 본 연구에서는 지하 8층 승강장에서 지상 출입구 까지 전체 역사를 대상으로 연기거동을 해석하기 위하여 9,000,000개의 격자를 생성하였으며, 계산 효율을 증대시키기 위하여 19개의 블록으로 나누어서 처리하였다. 화재해석은 화재에 특화된 CFD 코드인 FDS를 사용하였으며 난류해석 기법은 LES가 사용되었다. MPI의 병렬처리기법을 이용하여 19개의 블록을 각각의 CPU에서 분산처리 하였다. 본 전산수치해석에 사용된 CPU 자원은 Intel 3.0 GHz Dual CPU 10개 (Core 20개)이다.

  • PDF

클라우드 환경에서 MongoDB 기반의 비정형 로그 처리 시스템 설계 및 구현 (Design and Implementation of MongoDB-based Unstructured Log Processing System over Cloud Computing Environment)

  • 김명진;한승호;최운;이한구
    • 인터넷정보학회논문지
    • /
    • 제14권6호
    • /
    • pp.71-84
    • /
    • 2013
  • 컴퓨터 시스템 운용 간에 발생하는 많은 정보들이 기록되는 로그데이터는 컴퓨터 시스템 운용 점검, 프로세스의 최적화, 사용자 최적화 맞춤형 제공 등 다방면으로 활용되고 있다. 본 논문에서는 다양한 종류의 로그데이터들 중에서 은행에서 발생하는 대용량의 로그데이터를 처리하기 위한 클라우드 환경 하에서의 MongoDB 기반 비정형 로그 처리시스템을 제안한다. 은행업무간 발생하는 대부분의 로그데이터는 고객의 업무처리 프로세스 간에 발생하며, 고객 업무 프로세스 처리에 따른 로그데이터를 수집, 저장, 분류, 분석하기 위해서는 별도로 로그데이터를 처리하는 시스템을 구축해야만 한다. 하지만 기존 컴퓨팅환경 하에서는 폭발적으로 증가하는 대용량 비정형 로그데이터 처리를 위한 유연한 스토리지 확장성 기능, 저장된 비정형 로그데이터를 분류, 분석 처리할 수 있는 기능을 구현하기가 매우 어렵다. 이에 따라 본 논문에서는 클라우드 컴퓨팅 기술을 도입하여 기존 컴퓨팅 인프라 환경의 분석 도구 및 관리체계에서 처리하기 어려웠던 비정형 로그데이터를 처리하기 위한 클라우드 환경기반의 로그데이터 처리시스템을 제안하고 구현하였다. 제안한 본 시스템은 IaaS(Infrastructure as a Service) 클라우드 환경을 도입하여 컴퓨팅 자원의 유연한 확장성을 제공하며 실제로, 로그데이터가 장기간 축적되거나 급격하게 증가하는 상황에서 스토리지, 메모리 등의 자원을 신속성 있고 유연하게 확장을 할 수 있는 기능을 포함한다. 또한, 축적된 비정형 로그데이터의 실시간 분석이 요구되어질 때 기존의 분석도구의 처리한계를 극복하기 위해 본 시스템은 하둡 (Hadoop) 기반의 분석모듈을 도입함으로써 대용량의 로그데이터를 빠르고 신뢰성 있게 병렬 분산 처리할 수 있는 기능을 제공한다. 게다가, HDFS(Hadoop Distributed File System)을 도입함으로써 축적된 로그데이터를 블록단위로 복제본을 생성하여 저장관리하기 때문에 본 시스템은 시스템 장애와 같은 상황에서 시스템이 멈추지 않고 작동할 수 있는 자동복구 기능을 제공한다. 마지막으로, 본 시스템은 NoSQL 기반의 MongoDB를 이용하여 분산 데이터베이스를 구축함으로써 효율적으로 비정형로그데이터를 처리하는 기능을 제공한다. MySQL과 같은 관계형 데이터베이스는 복잡한 스키마 구조를 가지고 있기 때문에 비정형 로그데이터를 처리하기에 적합하지 않은 구조를 가지고 있다. 또한, 관계형 데이터베이스의 엄격한 스키마 구조는 장기간 데이터가 축적되거나, 데이터가 급격하게 증가할 때 저장된 데이터를 분할하여 여러 노드에 분산시키는 노드 확장이 어렵다는 문제점을 가지고 있다. NoSQL은 관계형 데이터베이스에서 제공하는 복잡한 연산을 지원하지는 않지만 데이터가 빠르게 증가할 때 노드 분산을 통한 데이터베이스 확장이 매우 용이하며 비정형 데이터를 처리하는데 매우 적합한 구조를 가지고 있는 비관계형 데이터베이스이다. NoSQL의 데이터 모델은 주로 키-값(Key-Value), 컬럼지향(Column-oriented), 문서지향(Document-Oriented)형태로 구분되며, 제안한 시스템은 스키마 구조가 자유로운 문서지향(Document-Oriented) 데이터 모델의 대표 격인 MongoDB를 도입하였다. 본 시스템에 MongoDB를 도입한 이유는 유연한 스키마 구조에 따른 비정형 로그데이터 처리의 용이성뿐만 아니라, 급격한 데이터 증가에 따른 유연한 노드 확장, 스토리지 확장을 자동적으로 수행하는 오토샤딩 (AutoSharding) 기능을 제공하기 때문이다. 본 논문에서 제안하는 시스템은 크게 로그 수집기 모듈, 로그 그래프생성 모듈, MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈로 구성되어져 있다. 로그 수집기 모듈은 각 은행에서 고객의 업무 프로세스 시작부터 종료 시점까지 발생하는 로그데이터가 클라우드 서버로 전송될 때 로그데이터 종류에 따라 데이터를 수집하고 분류하여 MongoDB 모듈과 MySQL 모듈로 분배하는 기능을 수행한다. 로그 그래프생성 모듈은 수집된 로그데이터를 분석시점, 분석종류에 따라 MongoDB 모듈, Hadoop기반 분석 모듈, MySQL 모듈에 의해서 분석되어진 결과를 사용자에게 웹 인터페이스 형태로 제공하는 역할을 한다. 실시간적 로그데이터분석이 필요한 로그데이터는 MySQL 모듈로 저장이 되어 로그 그래프생성 모듈을 통하여 실시간 로그데이터 정보를 제공한다. 실시간 분석이 아닌 단위시간당 누적된 로그데이터의 경우 MongoDB 모듈에 저장이 되고, 다양한 분석사항에 따라 사용자에게 그래프화해서 제공된다. MongoDB 모듈에 누적된 로그데이터는 Hadoop기반 분석모듈을 통해서 병렬 분산 처리 작업이 수행된다. 성능 평가를 위하여 로그데이터 삽입, 쿼리 성능에 대해서 MySQL만을 적용한 로그데이터 처리시스템과 제안한 시스템을 비교 평가하였으며 그 성능의 우수성을 검증하였다. 또한, MongoDB의 청크 크기별 로그데이터 삽입 성능평가를 통해 최적화된 청크 크기를 확인하였다.

자연재난 데이터 실감 가시화 시스템 (Visualization System for Natural Disaster Data)

  • 김종용;정석철;이계원;조준영;김동욱;박상훈
    • 한국컴퓨터그래픽스학회논문지
    • /
    • 제24권3호
    • /
    • pp.21-31
    • /
    • 2018
  • 태풍, 해일, 홍수, 범람 등에 관련된 자연재난 데이터를 빠르고 효과적으로 가시화하여 재난 재해 상황에서 정확한 의사결정을 할 수 있도록 지원하는 시스템을 소개한다. 재난정보를 포함하는 데이터는 적게는 수백 MB에서 많게는 수십, 수백 GB로 구성되어 있으므로 개인이 지닌 컴퓨터로는 처리할 수 없다. 그렇기 때문에 본 시스템은 클라이언트-서버 기반의 시스템을 제공하여 고성능 서버에서 가시화 결과를 생성하고 클라이언트에서는 결과를 받아 출력하는 형태로 구현되었다. 서버는 클라이언트의 요청을 처리하고 내장된 고성능 클러스터로 렌더링된 결과를 클라이언트로 전송한다. 클라이언트는 원하는 기간을 지정하여 가시화된 결과를 이미지, 동영상, 3D 그래픽 모델 중 원하는 형태로 서버로부터 제공받아 표출할 수 있으며 사용자 친화적인 GUI와 효과적으로 가시화 결과를 볼 수 있는 다양한 기능을 사용자에게 제공한다.

KDSM(KAIST Distributed Shared Memory) 시스템의 설계 및 구현 (Design and Implementation of KDSM(KAIST Distributed Shared Memory) System)

  • 이상권;윤희철;이준원;맹승렬
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제29권5호
    • /
    • pp.257-264
    • /
    • 2002
  • 본 논문에서는 KDSM(KAIST Distributed Shared Memory) 시스템의 설계 및 구현에 관해서 설명한다. KDSM은 Linux 2.2.13 상에서 실행되는 사용자 수준 라이브러리로 구현되었고, TCP/IP를 기반 통신 구조로 사용한다. KDSM은 페이지 기반 무효화 프로토콜(page-based invalidation protocol)과 다중 쓰기 프로토콜(multiple writer protocol)을 기반으로 하고, HLRC(Home-barred Lazy Release Consistency) 메모리 일관성 모델을 사용한다. KDSM의 성능을 측정하기 위해서 4개의 과학계산용 응용 프로그램을 실행하여 JIAJIA와 성능 비교를 하였다. 그 결과, 2개의 응용은 같은 결과를 냈고, 나머지 2개는 KDSM의 성능이 우수하였다.

프로세스 분할 병행에 의한 통합 구조설계 운용 (Integrated Structural Design Operation by Process Decomposition and Parallelization)

  • 황진하;박종회
    • 한국전산구조공학회논문집
    • /
    • 제21권1호
    • /
    • pp.113-124
    • /
    • 2008
  • 본 연구는 제품(구조물)최적화와 프로세스 병렬화가 통시에 실행되는 통합구조설계운용 방법을 제시한다. 관행적 설계방법과 최적화설계방법의 장점들을 선택적으로 수용 보완하는 DB연동 혼성방법을 통해 설계조건을 단계적으로 적용함으로써 대형최적화문제의 계산적 부담 및 이질감을 최소화하였다. PC 네트워크상에서 공학설계를 구성하는 수치연산과 도면작성이 동시공학적 절차로 구현되고, 여기서 설계의 수치연산은 유한요소기반 최적화 방법에 기초하며, 그래픽작업은 AutoLISP 프로그래밍을 통하여 AutoCAD로 표현된다. 수치연산을 병행하는 서버 및 이산최적화를 지원하는 DB서버와 그래픽스테이션 간의 통신은 메시지패싱 방식으로 이루어진다. 표준최적화모델인 트러스구조에 대한 수치실험은 연구의 타당성과 유용성을 보여준다. 공학설계를 구성하는 주된 작업요소를 분산 병행 처리하는 된 연구는 일반적 방법론 및 산업표준환경 등에 기초한다는 점에서 충분한 적용성과 확장성을 갖는다.