A Study on the Test Results and Implementation of Correlated Result Saving System using the Gluster File System

Gluster 파일시스템을 이용한 상관자료 수집 시스템 구축 및 시험고찰

  • Yeom, Jae-Hwan (Radio Astronomy Division, Korea Astronomy and Space Science Institute) ;
  • Oh, Se-Jin (Radio Astronomy Division, Korea Astronomy and Space Science Institute) ;
  • Roh, Duk-Gyoo (Radio Astronomy Division, Korea Astronomy and Space Science Institute) ;
  • Jung, Dong-Kyu (Radio Astronomy Division, Korea Astronomy and Space Science Institute) ;
  • Hwang, Ju-Yeon (Radio Astronomy Division, Korea Astronomy and Space Science Institute) ;
  • Oh, Chungsik (Radio Astronomy Division, Korea Astronomy and Space Science Institute) ;
  • Kim, Hyo-Ryoung (Radio Astronomy Division, Korea Astronomy and Space Science Institute)
  • 염재환 (한국천문연구원 전파천문본부) ;
  • 오세진 (한국천문연구원 전파천문본부) ;
  • 노덕규 (한국천문연구원 전파천문본부) ;
  • 정동규 (한국천문연구원 전파천문본부) ;
  • 황주연 (한국천문연구원 전파천문본부) ;
  • 오충식 (한국천문연구원 전파천문본부) ;
  • 김효령 (한국천문연구원 전파천문본부)
  • Received : 2016.10.28
  • Accepted : 2016.12.19
  • Published : 2016.12.31

Abstract

In this paper, we introduce the implementation and test results of a new method of correlated result storage to achieve the full performance of the Daejeon hardware correlator. Recently, the observation of 8 Gbps speed, which is the maximum observational standard of KVN(Korean VLBI Network), has been performed. The correlation processing using the Daejeon hardware correlator is also required. Therefore, a new correlation result storage introduction has become necessary. The maximum correlation result output speed of the Daejeon hardware correlator is 1.4 GB/sec per 25.6 ms integration time. The conventional correlation result storage system can not cope with the maximum correlation output speed of the Daejeon hardware correlator, and the output speed is limited to 1/4. That is, among the four input ports of the Daejeon hardware correlator, the three inputs are limited to correspond to the observation rate of 1 Gbps. This new storage system uses the Gluster file system among many of the latest technologies used in storage systems. In tests that meet the maximum output rate of 1.4 GB/sec for the Daejeon hardware correlator, 350 MB/sec for each of the four optical outputs, resulting in 1.4 GB/sec in total.

본 논문에서는 대전상관기의 전체 성능을 달성하기 위해 새로운 방식의 상관자료 수집장치의 구축과 시험결과에 대해 소개한다. 최근 한국우주전파관측망(Korean VLBI Network, KVN)의 최대 관측규격인 8Gbps 속도의 관측이 수행되고 있으며, 대전상관기를 이용한 상관처리도 요구되고 있기 때문에 노후 장치를 대체하여 최대 상관처리 속도에 대응하기 위한 새로운 상관자료 수집장치의 도입이 필요하게 되었다. 대전상관기의 최대 상관결과 출력속도는 25.6ms 적분시간에 대해 초당 1.4GB/sec이다. 기존에 도입한 상관자료 수집장치는 대전상관기의 최대 상관출력 속도에 대응하지 못해 출력속도를 1/4로 제한하여 활용되었다. 즉, 대전상관기의 입력포트 4개 중에 관측속도 1Gbps에만 대응하도록 3개의 입력은 제한하였다. 이번에 도입한 장치는 스토리지 시스템에서 활용되고 있는 여러 최신의 기술 중에서 Gluster 파일 시스템을 사용하고 있으며, 대전상관기의 최대 출력속도인 1.4GB/sec를 만족하는 시험에서 광 출력 4개에 대해 각각 350MB/sec, 총 1.4GB/sec의 결과를 얻었다.

Keywords

References

  1. Takahashi F., Kondo T., and Koyama Y., Very Long Baseline Interferometer, Ohmsha, 2000, pp. 35-55.
  2. Thompson, A. R., Moran, J. M., and Swenson, G. W.Jr., Interferometry and Synthesis in Radio Astronomy, 2nd Ed., (New York:John Wiley & Sons), 2001, pp. 289.
  3. Duk-Gyoo Roh, Se-Jin Oh, and Jae-Hwan Yeom et al., "2008 Annual Report on Korea-Japan Joint VLBI Correlator and Receiver Development," Korea Astronomy and Space Science Institute, pp. 3-100, 2008.
  4. Se-Jin Oh, Duk-Gyoo Roh, and Jae-Hwan Yeom et al.(2011, October), Performance Evaluation for VLBI Correlation Subsystem Main Product, Journal of The Institute of Signal Processing and Systems, 12(4), pp. 322-331.
  5. http://www.gluster.org
  6. T. Oyama et al., "The development and performance of a new 4 Gbps disk recorder and eVLBI systems using a 10GbE network," 2008 General Meeting of IVS, 2008. 3.
  7. Weil, Sage A., et al., "Ceph: A Scalable, Highperformance Distributed File System," Proceedings of the 7th Symposium on Operating Systems Design and Implementation, USENIX Association, 2006.
  8. Weil, S., Brandt, S.A., Miller, E. L., Maltzahn, C., "Crush: Controlled, Scalable, Decentralized Placement of Replicated Data," Proceedings of SC'06, 2006. 11.
  9. http://lustre.org