• 제목/요약/키워드: Distributed memory

검색결과 397건 처리시간 0.023초

분포형 강우유출모형 병렬화 처리기법 적용 (Application of MPI Technique for Distributed Rainfall-Runoff Model)

  • 정성영;박진혁;허영택;정관수
    • 한국수자원학회논문집
    • /
    • 제43권8호
    • /
    • pp.747-755
    • /
    • 2010
  • 지금까지 분포형 모형은 개념적 모형에 비해 운동역학적인 이론에 근거하여 물의 흐름을 수치해석으로 추적해 나가기 때문에 많은 컴퓨터 메모리용량이 요구되고 계산수행시간이 상대적으로 오래 걸리는 단점이 있었다. 그래서 분포형모형의 적용은 주로 소유역에 국한되어 적용되어왔으며, 대유역에 적용하기 위해서는 격자의 해상도를 낮추거나 소유역 적용과 동일한 해상도에서는 계산 시간이 많이 소요되어 실무적용을 어렵게 하는 요인이 되어왔다. 이에 대해 본 연구에서는 MPI (Message Passing Interface)기법을 적용하여 물리적이고 복잡한 수치계산을 하는 분포형모형의 단점 중 하나인 대유역 적용시의 계산소요 문제를 해결하고자 하였다. 또한 병렬화 기법의 적용효과를 분석하기 위하여 단일 영역에서 계산된 결과와 다수의 소영역으로 분할하여 수행되어진 계산 결과를 비교하였다. 용담댐 유역에 2006년 태풍 '에위니아' 사상을 대상으로 병렬화 계산을 수행한 결과 단일 프로세서에서 분포형모형을 수행하는 것보다 병렬코드에서 수행한 경우가 유출계산 값의 변동 없이 최고 10배에 해당되는 계산시간이 단축되었다.

EXT3NS 파일 시스템을 위한 버퍼 캐시의 설계 및 구현 (Design and Implementation of Buffer Cache for EXT3NS File System)

  • 손성훈;정성욱
    • 한국정보통신학회논문지
    • /
    • 제10권12호
    • /
    • pp.2202-2211
    • /
    • 2006
  • EXT3NS 파일 시스템은 Network-Storage Card(NS 카드)라는 전용 하드웨어를 기반으로 하는 멀티미디어 스트리밍 서버를 위한 파일 시스템이다. EXT3NS는 NS 카드 상의 PCI memory(PMEM)를 이용, 스트리밍 시 디스크에 있는 데이터를 메인 메모리를 거치지 않고 바로 네트워크 카드로 내보냄으로써 스트리밍 서버의 성능을 향상시킨다. 본 논문에서는 NS 카드에 있는 PMEM을 기반으로 한 버퍼 캐시를 추가 설계, 구현하고, 이 버퍼 캐시가 EXT3NS 파일 시스템을 채용한 서버의 멀티미디어 스트리밍의 성능을 개선시킬 수 있음을 보인다. 또한, 제안된 버퍼 캐시 상에서 다수의 동시 사용자를 지원하는 멀티 미디어 스트리 밍 서버를 위한 버퍼 캐시 교체 정책인 Old New Section(ONS) 교체 기법을 제안한다. 제안된 OSN 교체 기법은 멀티미디어 스트리밍 환경에서 기존의 교체 정책들 보다 좋은 성능을 보인다. 성능 평가 결과, 다시 읽기동작과 무작위 읽기 동작에서 기존의 EXT3NS 파일 시스템 보다 PMEM에 캐시를 사용한 EXT3NS가 각각 평균 33MB/sec, 2.4MB/sec의 성능이 향상 되었다. 또한, 다시 읽기 동작의 경우 기존의 Least Frequently Used(LFU) 교체 정 책을 사용한 경우보다 ONS 교체 정책을 사용한 경우가 약 600KB/sec의 성능 증가를 보인다. 이러한 결과는 동시에 여러명의 사용자 요구를 처리해야 하는 대용량 멀티 미디어 스트리밍 서버에서 보다 효과적인 읽기 동작을 처리할 수 있음을 나타낸다.

다중 TMS320C31 DSP를 사용한 3-D 비젼센서 Implementation (A 3-D Vision Sensor Implementation on Multiple DSPs TMS320C31)

  • V.옥센핸들러;A.벤스하이르;P.미셰;이상국
    • 센서학회지
    • /
    • 제7권2호
    • /
    • pp.124-130
    • /
    • 1998
  • 독립적인 로보트나 자동차 제어 응용을 위하여 고속 3-D 비젼시스템들은 매우 중요하다. 이 논문은 다음과 같은 세가지 과정으로 구성되는 stereo vision process 개발에 대하여 논술한다 : 왼쪽과 오른쪽 이미지의 edges 추출, matching coresponding edges와 3-D map의 계산. 이 process는 VME 150/40 Imaging Technology vision system에서 이루어졌다. 이것은 display, acqusition, 4Mbytes image frame memory와 세 개의 연산 카드로 구성되는 modular system이다. 40 MHz로 작동하는 프로그래머불 연산 모듈은 $64{\times}32$ bit instruction cache와 두개의 $1024{\times}32$ bit RAM을 가진 TMS320C31 DSP에 기초를 두고 있다. 그것들은 각각 512 Kbyte static RAM, 4 Mbyte image memory, 1 Mbyte flash EEPROM과 하나의 직렬 포트로 구성되어있다. 모듈간의 데이터 전송과 교환은 8 bit globalvideo bus와 세 개의 local configurable pipeline 8 bit video bus에 의하여 이루어졌고, system management를 위하여 VME bus가 쓰였다. 두 개의 DSP는 왼쪽 및 오른쪽 이미지 edges 검출을 위하여 쓰였고 마지막 processor는 matching process와 3-D 연산에 사용되었다. $512{\times}512$픽셀 이미지에서 이 센서는 scene complexity에 따라 1Hz정도의 조밀한 3-D map을 생성했다. 특수목적의 multiprocessor card들을 사용하면 결과를 향상시킬 수 있을 것이다.

  • PDF

클라우드 컴퓨팅 환경에서의 대용량 RDFS 추론을 위한 분산 테이블 조인 기법 (Distributed Table Join for Scalable RDFS Reasoning on Cloud Computing Environment)

  • 이완곤;김제민;박영택
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.674-685
    • /
    • 2014
  • 지식 서비스 시스템이 효과적인 서비스를 제공하기 위해서는, 명시된 지식을 바탕으로 새로운 지식을 추론 할 수 있어야 한다. 대부분 지식 서비스 시스템은 온톨로지로 지식을 표현한다. 실 세계의 지식 정보의 양은 점점 방대해지고 있으며, 따라서 대용량 온톨로지를 효과적으로 추론하는 기법이 요구되고 있다. 본 논문은 클라우드 컴퓨팅 환경을 기반으로 대용량 온톨로지를 RDFS수준으로 추론하기 위한 분산 테이블 조인 방법을 제안하고, 성능을 평가한다. 본 논문에서 제안하는 RDFS 추론은 분산 파일 시스템 환경에서 RDFS 메타 테이블을 기반으로 맵-리듀스를 적용한 방식과, 맵-리듀스를 사용하지 않고 클라우드 컴퓨터의 메모리만 사용한 방식에 초점을 맞추었다. 따라서 본 논문에서는 제안하는 각 기법에 대한 추론 시스템 구조와 RDFS 추론 규칙에 따른 메타 테이블 설계 및 추론 전략 알고리즘에 대해서 중점적으로 설명한다. 제안하는 기법의 효율성을 검증하기 위해 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM1000부터 LUBM6000을 대상으로 실험을 수행 하였다. 가장 큰 LUBM6000(8억 6천만 트리플)의 경우, 메타 테이블 기반의 RDFS 추론 기법은 전체 추론 시간이 13.75분(초당 1,042 트리플 추론) 소요된 반면, 클라우드 컴퓨터의 메모리를 적용한 방식은 7.24분(초당 1,979 트리플 추론)이 소모되어 약 2배정도 빠른 추론 속도를 보였다.

DA구조 이용 가산기 수를 감소한 2-D DCT/IDCT 프로세서 설계 (2-D DCT/IDCT Processor Design Reducing Adders in DA Architecture)

  • 정동윤;서해준;배현덕;조태원
    • 대한전자공학회논문지SD
    • /
    • 제43권3호
    • /
    • pp.48-58
    • /
    • 2006
  • 본 논문은 가산기 기반 DA(Distributed Arithmetic: 분산 산술연산)구조로서 ROM과 같은 일반적인 메모리가 사용되지 않는 8x8의 2차원 DCT(Discrete Cosine Transform)/IDCT(Inverse DCT) 프로세서를 제안 설계하였다. 제안된 논문은 DCT와 IDCT의 계수 행렬에서 하드웨어를 줄이기 위해 계수 행렬의 홀수 부분을 공유하였고, 2차원 DCT/IDCT 프로세서의 계수 연산을 위해 단지 29개의 가산기만을 사용하였다. 이는 8x8 1차원 DCT NEDA(NEw DA)구조에서의 가산기 수 보다 48.6%를 감소 시켰다. 또한, 기존의 전치메모리와는 다른 새로운 전치네트워크 구조를 제안하였다. 제안된 전치네트워크 구조에서는 전치메모리 블록 대신 하드웨어를 줄이기 위해 레지스터 형태의 새로운 레지스터 블록 전치네트워크 형태를 제안하였다. 제안된 전치네트워크 블록은 64개의 레지스터를 사용하며, 이는 일반적인 메모리를 사용하는 기존의 전치메모리 구조에 사용된 트랜지스터 수 보다 18%가 감소하였다. 또한 처리율 향상을 위해 새롭게 적용되고 있는 방식으로, 입력 데이터에 대해 매 클럭 주기마다 8개의 화소데이터를 받아서 8개의 화소데이터를 처리하도록 하여 출력하는 비트 병렬화 구조로 설계하였다.

빅데이터 기반의 융합 보이스피싱을 이용한사회공학적 공격 기법과 대응방안 (A Scheme of Social Engineering Attacks and Countermeasures Using Big Data based Conversion Voice Phishing)

  • 김정훈;고준영;이근호
    • 한국융합학회논문지
    • /
    • 제6권1호
    • /
    • pp.85-91
    • /
    • 2015
  • 최근 전자금융사기가 급증하여 정부에서 스미싱, 파밍, 피싱, 메모리 해킹에 대한 예방법, 대처 요령을 배포하고 전자금융거래법을 강화하였다. 이에 따라 전자금융사기 방법 또한 진화하고 대처하기 어렵게 변하고 있다. 과거의 무작위 대상로 보이스피싱이 아닌 공격 대상의 개인 정보를 알아내서, 공격대상의 개인정보를 빅데이터로 만들어 치밀하게 분석한다. 분석한 정보를 토대로 보이스피싱을 하는 신종 전자금융사기로 진화하였다. 빅데이터화된 개인정보를 융합한 보이스피싱의 공격 방법을 분석하고 앞으로 점점 더 진화하고 있는 전자금융사기의 대응방안을 제안한다. 메모리에 의미 없는 데이터를 저장하는 방법으로 공격자는 빅데이터 기반으로 개인정보를 획득한다해도 정확한 정보를 도출 시킬 수 없으며 보이스피싱 또한 제대로 할 수 없게 된다. 본 논문에서 새로운 사회공학적 공격을 알아보고 그에 따른 대응방안을 제안한다.

에너지 빅데이터를 수용하는 빅데이터 시스템 개발 (Development of Big Data System for Energy Big Data)

  • 송민구
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제24권1호
    • /
    • pp.24-32
    • /
    • 2018
  • 본 논문은 산업 현장과 민간에서 실시간으로 수집되는 에너지 빅데이터를 수용하는 빅데이터 시스템을 제안한다. 구축된 빅데이터 시스템은 하둡(Hadoop) 기반이며, 빅데이터 처리에 있어 인메모리(in-memory) 분산처리 컴퓨팅을 지원하는 스파크(Spark) 프레임워크가 동시에 적용되었다. 본문에서는 지역난방에 사용되는 열에너지 형태의 빅데이터에 초점을 두어, 입출력되는 에너지의 특성을 고려하며 실시간 수집되는 빅데이터를 적재, 관리, 처리 및 분석하는 방법을 다룬다. 이 때, 외부에서 유입되는 빅데이터는 시스템 내부에 설계된 관계형 데이터베이스 스키마에 따라 저장하고 관리되며, 저장된 빅데이터는 설정된 목적에 따라 처리하고 분석된다. 제안된 빅데이터 시스템과 더불어 지역난방과 관련한 복수의 실증현장으로부터 실시간으로 수집되는 열에너지 빅데이터에 대해 시스템이 활용된 사례를 기술한다.

클라우드 데이터베이스에서의 꼬리응답시간 감소를 위한 가비지 컬렉션 동기화 기법 (Garbage Collection Synchronization Technique for Improving Tail Latency of Cloud Databases)

  • 한승욱;한상욱;김지홍
    • 정보과학회 논문지
    • /
    • 제44권8호
    • /
    • pp.767-773
    • /
    • 2017
  • 클라우드 데이터베이스와 같은 분산 시스템 환경에서는 균일한 서비스 품질을 보장하기 위해 꼬리 응답시간을 짧게 유지하는 것이 중요하다. 본 논문에서는 카산드라 데이터베이스를 대상으로, 긴 꼬리 응답시간에 해당하는 지연이 메모리 공간 부족으로 인해 발생한다는 것을 보이며, 이러한 지연이 메모리 공간 확보를 위해 버퍼에 저장된 데이터를 저장장치에 완전히 내려쓸 때까지 카산드라가 사용자의 요청을 받지 않기 때문임을 밝힌다. 버퍼에 저장된 데이터를 내려쓰는데 걸리는 시간은 저장장치 성능에 따라 결정되므로 SSD의 가바지 컬렉션으로 인한 성능 저하가 꼬리 응답시간을 더 길게 만들고 있음을 관찰하였다. 우리는 자바가상기계에서의 가비지 컬렉션과 SSD에서의 가비지 컬렉션을 함께 수행하여 SSD의 가비지 컬렉션 비용을 숨기는, SyncGC 기법을 제안한다. 실험 결과, SyncGC 기법을 통해 꼬리 응답시간인 $99.9^{th}$$99.9^{th}-percentile$을 각각 31%, 36% 줄일 수 있었다.

다중 마이크로 컴퓨터를 이용한 발전소 공정제어 그래픽 시스템의 개발 (Development of Process Control Graphic System for Power Plant Using Multiple Microcomputers)

  • 조영조;김기홍;김병국
    • 대한전기학회논문지
    • /
    • 제38권3호
    • /
    • pp.217-227
    • /
    • 1989
  • 발전고의 운정을 감시하기 위한 효과적인 수단으로 공정제어 그래픽 시스템이 제안되었다. 이는 분산 컴퓨터 시스템의 한 적용 형태인 공유 메모리를 이용한 다중프로세서 구조를 사용하므로 기능상 확장성이 있고 실시간 프로세서에 적용이 가능하다. 공유 메모리는 프로세스 값과 사용자 명령을 다루는 실시간 데이타 베이스로 사용된다. 본 시스템에 사용되는 데이타 베이스 파일들은 사용자 대화형 화상편집 프로그램에 해 생성되며 간편하고 사용자에 친근한 특성을 갖는다. 본 공정제어 그래픽 시스템은 발전소 보일러의 운전 감시 및 보일러 제어기의 bcak-up제어기능을 갖도록 구현되어, 실제 울산 화력발전소에 적용되었다. 그 결과 운전자 메뉴에 따라 14페이지 의 칼라 그래픽 화면으로 보일러의 운전 데이타를 정확히 디스플레이 하였으며, 아울러 고장 대응 기능도 원활히 수행하였다. 수행하였다.

실행시간 적응에 의한 병렬처리시스템의 성능개선 (Performance Improvement of Parallel Processing System through Runtime Adaptation)

  • 박대연;한재선
    • 한국정보과학회논문지:시스템및이론
    • /
    • 제26권7호
    • /
    • pp.752-765
    • /
    • 1999
  • 대부분 병렬처리 시스템에서 성능 파라미터는 복잡하고 프로그램의 수행 시 예견할 수 없게 변하기 때문에 컴파일러가 프로그램 수행에 대한 최적의 성능 파라미터들을 컴파일 시에 결정하기가 힘들다. 본 논문은 병렬 처리 시스템의 프로그램 수행 시, 변화하는 시스템 성능 상태에 따라 전체 성능이 최적화로 적응하는 적응 수행 방식을 제안한다. 본 논문에서는 이 적응 수행 방식 중에 적응 프로그램 수행을 위한 이론적인 방법론 및 구현 방법에 대해 제안하고 적응 제어 수행을 위해 프로그램의 데이타 공유 단위에 대한 적응방식(적응 입도 방식)을 사용한다. 적응 프로그램 수행 방식은 프로그램 수행 시 하드웨어와 컴파일러의 도움으로 프로그램 자신이 최적의 성능을 얻을 수 있도록 적응하는 방식이다. 적응 제어 수행을 위해 수행 시에 병렬 분산 공유 메모리 시스템에서 프로세서 간 공유될 수 있은 데이타의 공유 상태에 따라 공유 데이타의 크기를 변화시키는 적응 입도 방식을 적용했다. 적응 입도 방식은 기존의 공유 메모리 시스템의 공유 데이타 단위의 통신 방식에 대단위 데이타의 전송 방식을 사용자의 입장에 투명하게 통합한 방식이다. 시뮬레이션 결과에 의하면 적응 입도 방식에 의해서 하드웨어 분산 공유 메모리 시스템보다 43%까지 성능이 개선되었다. Abstract On parallel machines, in which performance parameters change dynamically in complex and unpredictable ways, it is difficult for compilers to predict the optimal values of the parameters at compile time. Furthermore, these optimal values may change as the program executes. This paper addresses this problem by proposing adaptive execution that makes the program or control execution adapt in response to changes in machine conditions. Adaptive program execution makes it possible for programs to adapt themselves through the collaboration of the hardware and the compiler. For adaptive control execution, we applied the adaptive scheme to the granularity of sharing adaptive granularity. Adaptive granularity is a communication scheme that effectively and transparently integrates bulk transfer into the shared memory paradigm, with a varying granularity depending on the sharing behavior. Simulation results show that adaptive granularity improves performance up to 43% over the hardware implementation of distributed shared memory systems.