• 제목/요약/키워드: Sun Grid Engine

검색결과 9건 처리시간 0.023초

위성 데이터 분산처리 시스템 최적화 및 안정화 (Optimization and Stabilization of Satellite Data Distributed Processing System)

  • 최윤수;이원구;이민호;김선태;이상환
    • 한국컴퓨터정보학회논문지
    • /
    • 제18권11호
    • /
    • pp.13-21
    • /
    • 2013
  • 본 논문은 다양한 분야에서 활용되고 있는 초기의 위성 데이터가 자체적으로 내포하고 있는 많은 왜곡 요소(구름, 광휘 등)에 대한 보정 작업을 클러스터에서 분산 처리함으로써 성능 향상 및 안정성을 제공해 주는 것이 목적이다. 이를 위해 로컬 스토리지와 상태 테이블을 이용한SGE(Sun Grid Engine) 기반 분산 처리 방식을 제안하였고, 시스템으로 구현하였다. 이를 검증하기 위해 7개의 실행노드를 이용한 실험 결과에서는 기존 시스템보다 138.81%의 성능 향상을 가져옴을 알 수 있었으며, 분산 처리 작업에 대한 안정성 또한 확보됨을 보여주었다. 이는 위성 데이터에 대한 분산 처리 작업이 I/O바운드 작업보다는 CPU 바운드 작업에 보다 더 적합하다는 것을 보여주며, 이러한 SGE 기반 분산 처리 방식은 위성영상 데이터를 처리해야하는 다양한 분야에서의 데이터 처리 및 분석 속도 향상을 가져올 수 있고, 더 나아가 근실시간적 서비스를 가능하게 할 것으로 기대한다.

Sun Grid Engine 기반 위성영상 처리 시스템 (Sun Grid Engine-based Satellite Image Processing System)

  • 최윤수;이민호;이상환
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 춘계학술발표대회
    • /
    • pp.61-63
    • /
    • 2013
  • 환경, 해양, 지질자원, 기상 기후 등 다양한 분야에서 연구목적으로 인공위성에 의해 관측된 위성영상을 활용하고 있다. 인공위성으로부터 수신된 영상데이터는 많은 왜곡을 포함하고 있으므로, 이를 이용하여 신뢰할 수 있는 분석을 하기 위해서는 영상데이터에 대한 보정 작업이 선행되어야 한다. 하지만 대부분의 전처리 작업이 단일노드/단일코어를 이용하고 있기 때문에 많은 연구자들이 불편함을 가지고 있다. 본 논문은 단일노드/단일코어 상에서 수행되는 위성영상 처리 방식을 다중노드/다중코어를 이용하는 분산 처리 방안을 제안한다. 7개의 작업 실행 노드를 이용하여 실험한 결과에서, 분산 기반의 처리 성능이 단일노드/단일코어에서 수행된 처리 성능보다 최고 560.65% 향상되었음을 보여주었다.

HPC 환경에서 사용자 로그 분석을 통한 작업 성공률 개선 (Improving the Job Success Rate through Analysis of User Logs in HPC)

  • 윤준원;홍태영;공기식;박찬열
    • 디지털콘텐츠학회 논문지
    • /
    • 제16권5호
    • /
    • pp.691-697
    • /
    • 2015
  • 슈퍼컴퓨터는 대량의 계산이 필요한 첨단 과학기술분야의 수치계산뿐만 아니라 산업분야의 신제품 설계 및 개발에도 다양하게 접목되어 사용되고 있다. KISTI의 슈퍼컴퓨터 4호기 Tachyon은 SUN Blade 서버기반으로 구성된 초병렬 컴퓨팅 시스템으로 3,200개의 컴퓨팅 노드와 인프라 노드들로 구분된다. 이 시스템은 현재 만여 명의 사용자와 170여개의 기관이 사용 중에 있으며, 수많은 작업들이 스케줄러를 통해 배치형태로 작업을 수행하고 있다. 또한 Tachyon에서는 작업 제출부터 종료까지 관련된 해당 스크립트와 수행 환경, 라이브러리, 작업수행로그 등을 저장하게 된다. 본 논문에서는 스케줄러로 사용되고 있는 Sun Grid Engine의 배치작업정보와 Tachyon 작업수행로그를 가지고 분석을 진행하였다. 특히, Tachyon에서 사용자가 수행했던 작업 결과 중 실패 작업을 구분하여 원인을 분석하고 그중 일부 작업에 대한 개선을 통해 정상 작업을 추출함으로써 시스템의 전체 성공률을 향상시킬 수 있다.

공기를 이용한 축소형 4노즐 클러스터드 엔진 저부 유동의 CFD 해석 검증 (A Study on the Accuracy of CFD Prediction for Small Scaled 4 Nozzle Clustered Engine Using Air)

  • 김성룡;김인선
    • 한국추진공학회:학술대회논문집
    • /
    • 한국추진공학회 2011년도 제37회 추계학술대회논문집
    • /
    • pp.78-84
    • /
    • 2011
  • 공기를 이용한 축소형 4 노즐 클러스터드 엔진 저부 유동에 대한 CFD 해석을 수행하여 격자 및 차분법, 난류 모델에 따른 비교를 수행하였다. 해석 결과 Roe나 AUSM 차분에 따른 차이는 발견되지 않았으나, 난류 모델에 따른 차이는 적지 않은 것으로 나타났다. 본 연구의 결과로는 Spalart-Allmaras 1 방정식 난류 모델이 SST k-w 모델에 비하여 경향성을 잘 맞추는 것으로 드러났다. 엔진 저부의 마하수, 압력 속도 등의 변화를 분석하면, 엔진과 엔진 사이의 외부 노출 공간에서 유동의 목을 형성하는 것은 아닌 것으로 보이고 이는 노즐과 노즐 사이의 공간이 목을 형성한다는 일부 해석적 이론에서 가정한 상황과 약간 다른 것이다.

  • PDF

위성 데이터 분산 처리 시스템의 확장성 평가 (Evaluating the Scalability of Distributed Satellite Data Processing System)

  • 최윤수;이민호;이상환
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2013년도 제48차 하계학술발표논문집 21권2호
    • /
    • pp.395-397
    • /
    • 2013
  • MODIS는 기상, 대기, 해양, 그리고 육상 등의 지구전체에 대한 정보를 산출하기 위한 센서로서, 인공위성에 탑재되어 지구관측 데이터를 생산한다. 최초의 MODIS 위성 데이터는 많은 왜곡을 포함하고 있으므로 지형 및 광휘 보정작업은 분석 작업을 하기 위한 필수적인 전처리 작업이다. 위성 데이터 처리를 위해 개발된 SeaDAS는 단일노드/단일코어상에서 수행되기 적합하게 개발되었기 때문에, 대용량의 위성데이터를 전처리하기 위해 많은 시간을 소비해야 한다. 본 논문은 Sun Grid Engine 기반의 다중노드/다중코어를 이용하는 위성 데이터 분산 처리 방법을 제안하고 성능 및 확장성에 대한 평가를 수행한다.

  • PDF

원격 SGE(Sun Grid Engine) 연동을 위한 Ganga 플러그인 설계 및 구현 (Design and Implementation of Ganga Plugins for Remote SGE)

  • 김한기;황순욱
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(B)
    • /
    • pp.523-526
    • /
    • 2010
  • 고에너지 물리나 바이오 인포매틱스 연구 분야는 대량의 컴퓨팅 자원을 필요로 한다. 이를 위해서 클러스터 컴퓨팅, 그리드 컴퓨팅, 슈퍼 컴퓨팅, 클라우드 컴퓨팅 자원 등의 여러 컴퓨팅 자원이 사용된다. 사용자는 각 컴퓨팅 자원을 이용하기 위해서 각각의 사용 방법을 배우고, 저마다의 방법으로 각 컴퓨팅 자원을 사용한다. 사용자가 각 컴퓨터 자원의 사용 방법을 습득하기 위해서는 많은 비용과 시간이 필요하다. 사용자가 보다 쉽고 빠르게 컴퓨팅 자원을 활용하기 위하여 여러 컴퓨팅 자원을 사용하기 위한 동일 인터페이스 개발이 필요하다. 본 논문에서는 한국과학기술정보연구원의 타키온 슈퍼컴퓨터를 이용하는 사용자에게 동일한 사용자 인터페이스를 제공하기 위한 Ganga의 원격 SGE 백엔드(Backend) 플러그인을 설계하고 구현하였다.

  • PDF

RNG $k-\varepsilon$ 모델의 적용성에 대한 연구 (A Study of Applicability of a RNG $k-\varepsilon$ Model)

  • 양희천;유홍선;임종한
    • 대한기계학회논문집B
    • /
    • 제21권9호
    • /
    • pp.1149-1164
    • /
    • 1997
  • In this study, the applicability of the RNG k-.epsilon. model to the analysis of the complex flows is studied. The governing equations based on a non-orthogonal coordinate formulation with Cartesian velocity components are used and discretized by the finite volume method with non-staggered variable arrangements. The predicted results using the RNG k-.epsilon. model of three complex flows, i.e., the flow over a backward-facing step and a blunt flat plate, the flow around a 2D model car are compared to these from the standard k-.epsilon. model and experimental data. That of the unsteady axisymmetric turbulent flow within a cylinder of reciprocating model engine including port/valve assembly and the spray characteristics within a chamber of direct injection model engine are compared to these from the standard k-.epsilon. model and experimental data. The results of reattachment length, separated eddy size, average surface pressure distribution using the RNG k-.epsilon. model show more reasonable trends comparing with the experimental data than those using the modified k-.epsilon. model. Although the predicted rms velocity using the modified k-.epsilon. model is lower considerably than the experimental data in incylinder flow with poppet valve, predicted axial and radial velocity distributions at the valve exit and in-cylinder region show good agreements with the experimental data. The spray tip penetration predicted using the RNG k-.epsilon. model is more close to the experimental data than that using the modified k-.epsilon. model. The application of the RNG k-.epsilon. model seems to have some potential for the simulations of the unsteady turbulent flow within a port/valve-cylinder assembly and the spray characteristics over the modified k-.epsilon. model.

KMTNet 실시간 자료처리 파이프라인 개발 (DEVELOPMENT OF REAL-TIME DATA REDUCTION PIPELINE FOR KMTNet)

  • 김동진;이충욱;김승리;박병곤
    • 천문학논총
    • /
    • 제28권1호
    • /
    • pp.1-6
    • /
    • 2013
  • Real-time data reduction pipeline for the Korea Microlensing Telescope Network (KMTNet) was developed by Korea Astronomy and Space Science Institute (KASI). The main goal of the data reduction pipeline is to find variable objects and to record their light variation from the large amount of observation data of about 200 GB per night per site. To achieve the goal we adopt three strategic implementations: precision pointing of telescope using the cross correlation correction for target fields, realtime data transferring using kernel-level file handling and high speed network, and segment data processing architecture using the Sun-Grid engine. We tested performance of the pipeline using simulated data which represent the similar circumstance to CTIO (Cerro Tololo Inter-American Observatory), and we have found that it takes about eight hours for whole processing of one-night data. Therefore we conclude that the pipeline works without problem in real-time if the network speed is high enough, e.g., as high as in CTIO.

계산과학 시뮬레이션을 위한 HPC 작업 관리 프레임워크의 설계 및 구현 (Design and Implementation of HPC Job Management Framework for Computational Scientific Simulation)

  • 유정록;김한기;변희정
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2016년도 춘계학술대회
    • /
    • pp.554-557
    • /
    • 2016
  • 최근, 슈퍼컴퓨터 시스템은 교육, 의료, 국방 등은 물론 계산과학 시뮬레이션까지 다양한 분야에서 활용되고 있다. 특히, 슈퍼컴퓨터, 클라우드 등 이종의 계산 자원을 연동하는 시뮬레이션 환경은 시간, 공간적 한계를 극복하는 차세대 연구 환경으로서 다양한 응용 분야에서 큰 각광을 받고 있다. 그러나 기존의 이종 슈퍼컴퓨팅 환경은 API(Application Programming Interface)의 부재로 터미널 접근을 통해 계산 작업을 수행하는 단조로운 형태를 띠고 있으며, 이는 이종 컴퓨팅 자원의 접근성 및 활용성을 저해하는 주요 요소이다. 이러한 문제점을 해결하고, 슈퍼컴퓨팅 서비스의 다양성을 확보하기 위해, 본 논문에서는 계산과학 시뮬레이션을 위한 웹 기반 HPC (High Performance Computing) 작업 관리 프레임워크의 설계 및 구현에 대해 기술한다. 제안한 프레임워크는 슈퍼컴퓨터, 클라우드, 그리드 등의 다양한 이기종 자원을 활용하여 시뮬레이션 계산 작업을 수행할 수 있도록 플러그-인 기반 표준 인터페이스 및 번들 플러그-인을 제공하며, 플러그-인 관리자를 통해 손쉽게 자원 확장이 가능하다. 또한 시뮬레이션 작업의 생성, 제출, 제어, 상태 모니터링 등의 전주기적인 작업 라이프사이클 관리를 위해 HTTP 표준 방식의 RESTful endpoints들을 제공한다.

  • PDF