• Title/Summary/Keyword: Science & Technology Information,KISTI

Search Result 674, Processing Time 0.03 seconds

A Study on Large-scale Data Analysis based on Hadoop for Astroinformatics (하둡 기반 천문 응용 분야 대규모 데이터 분석 기법 연구)

  • Kwak, Jae-Hyuck;Yoon, Jun-Weon;Jung, Yong-Hwan;Hahm, Jae-Gyoon;Park, Dong-In
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06b
    • /
    • pp.13-16
    • /
    • 2011
  • 과학 응용 분야에서 생성되는 대규모의 데이터를 빠른 시간 내에 효율적으로 처리해야 할 필요성이 대두 되면서 클라우드 컴퓨팅이 주목받고 있다. 하둡(Hadoop)은 대규모 데이터 처리 분석을 위한 소프트웨어 프레임워크를 제공하는 아파치의 오픈소스 프로젝트로서 클라우드 컴퓨팅의 대표적인 기술로서 널리 사용되고 있다. 특히, 하둡은 높은 확장성과 성능을 제공하면서 결함 탐지와 자동 복구 기능이 우수하여 과학 기술 분야에서도 점차적으로 도입 및 활용되고 있다. 본 논문에서는 하둡을 이용하여 천문 응용 분야에서 생성되는 대규모 데이터를 분석하기 위한 방법을 연구하였다. 본 논문에서 관심을 가지는 천문 응용 데이터는 대략 천만개의 작은 크기의 관측 데이터를 처리해야 하지만, 하둡은 대규모 데이터 처리에 특화되어 있어서 많은 개수의 작은 크기를 가지는 관측데이터 처리에는 적합하지 않다. 본 논문에서는 천문 응용 데이터 처리를 위한 입출력 파일을 하둡에서 제공하는 특수화된 데이터 구조를 이용하여 압축하였고, 천문 응용 실행 코드가 하둡에서 실행이 가능하도록 맵리듀스 작업으로 랩핑하여 구현하였다.

Construction and Service of a Web-based Simulation software management system for the Computational Science and Engineering (계산과학공학 분야를 위한 웹 기반 시뮬레이션 소프트웨어 관리 시스템 구축 및 서비스)

  • Jeon, Inho;Kwon, Yejin;Ma, Jin;Lee, Sik;Cho, Kum Won;Seo, Jerry
    • Journal of Internet Computing and Services
    • /
    • v.18 no.4
    • /
    • pp.99-108
    • /
    • 2017
  • Open Science is evolving not only to share research results, but also to open the research process. We are developing the EDISON platform for the spread of open science in computational science and engineering. The EDISON platform provides online simulation services developed by computational science and engineering researchers. It also provides an environment for sharing source code, data, and related research publications. An effective simulation software registration management system is required for successful service on the EDISON platform. In this paper, we proposes a simulation software management system to provide online simulation service through EDISON platform. The proposed system allows the developer to register the simulation software on the EDISON platform without administrator intervention and effectively build a web-based simulation environment.

A Method for Managing Metadata of Hierarchical File System Using RDBMS (관계형 데이터베이스를 이용한 계층적 파일 시스템의 메타데이터 관리 방법)

  • Kim, Sang-Wan;Kwak, Jae-Hyuck;Hahm, Jaeg-Yoon;Hwang, Young-Chul
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2006.10a
    • /
    • pp.547-551
    • /
    • 2006
  • 디렉터리와 파일의 계층적 구조를 가지는 계층적 파일 시스템은 오늘날 대부분의 범용 컴퓨터에서 흔히 사용되고 있다. 계층적 파일 시스템은 직관적이고, 체계적이며, 단순하다는 장점이 있으나 검색이 용이 하지 않으며, 메타데이터를 관리하기 어렵다는 단점이 존재한다. 본 연구에서는 계층적 파일 시스템의 장점과 빠른 검색기능을 활용하여 메타데이터를 검색하고 관리할 수 있는 데이터베이스의 장점을 결합하여 계층적 파일 시스템에서 메타데이터를 관리할 수 있는 방법을 제안하였다. 데이터 그리드와 같이 분산된 데이터 저장 장치를 연동하여야 하는 경우에 원격지에 있는 파일 시스템의 파일들을 검색하는 일이 빈번히 수행되는데, 이 경우 본 연구에서 제안한 방법을 사용하면 효과적인 시스템을 기대할 수 있다.

  • PDF

A Performance Measurement of Premium Service in Differentiated Service Testbed on KOREN (선도시험망에서 트래픽 측정을 통한 차등화 서비스의 성능 평가에 대한 연구)

  • Kim, Ki-Hwan;Seok, Woo-Jin;Kwak, Jai-Seung;Byeon, Ok-Hwan;Chin, Yong-Ohk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10b
    • /
    • pp.1319-1322
    • /
    • 2001
  • 본 논문에서는 WAN 환경에서의 선도시험망 기반 QoS 테스트베드를 구성하고 차등화 서비스에 의한 QoS 의 성능을 측정하였다. 전송율, RTT, 패킷 손실, FTP 소요시간을 대상으로 QoS 보장 서비스와 베스트-에포트 서비스에 대한 성능을 비교 분석하였다. 모든 측정대상에 대하여 QoS 보장 트래픽이 좋은 성능을 보여주었으며, 특히 멀티미디어 어플리케이션의 비디오 트래픽에 대해서도 QoS 보장 서비스에 의한 전송서비스가 고품질의 영상을 제공하였다.

  • PDF

Network Analysis Infrastructure for KREONET (KREONET에서의 네트워크 분석 인프라 구축 연구)

  • Kim, Kook-Han;Lee, Man-Hee;Kwak, Jai-Seung;Byeon, Ok-Hwan;Chin, Yong-Ohk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.10b
    • /
    • pp.1375-1378
    • /
    • 2001
  • 네트워크에 흐르는 트래픽 측정을 효율적으로 함으로서 트래픽의 종류와 양을 알 수 있고, 이를 기반으로 측정 네트워크의 트래픽 특성과 상태를 파악할 수 있다. 본 고에서는 초고속 연구망 환경에 적합한 네트워크 분석 인프라(NAI) 구축을 제시한다. NAI 구성은 네트워크 링크를 모니터링하는 수동적 측정 방법 MRTG 와 NAVI, 그리고 인위적으로 트래픽을 발생시켜 그 결과를 분석하는 능동적 측정 방법 PingER 와 AMP 두 가지 종류로 나뉜다. 현재 초고속 연구망에서 적용중인 네트워크 트래픽 분석 측정 도구 하나씩 알아보고, 국내 외로 링크된 네트워크 트래픽의 특성과 상태를 균형적으로 분석 할 도구에 대한 모델을 알아본다.

  • PDF

A Study on Sharing Method of Business Connection Information for Knowledge Management (지식관리 측면에서의 거래처 정보 공유 방법에 대한 연구)

  • Han, Hee-Jun;Huh, Tae-Sang;Lee, Seung-Bock;Yae, Yong-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.11a
    • /
    • pp.631-634
    • /
    • 2005
  • 공공기관 및 국가 연구기관 뿐만 아니라, 대학 및 모든 기업체는 연구 및 업무 수행 중 발생하는 모든 제반 지식 및 성과 정보를 관리하고 공동 활용하기 위하여 지식관리 시스템(Knowledge Management System)을 구축하여 업무 수행의 효율성을 꾀하고 있다. 각 기관은 연구 활동 및 업무 수행에 필요한 기자재 구입이나 연구비(비용) 지출에 대한 거래처 정보(거래 관계자 및 해당 은행 계좌정보)를 관리 및 활용하고 있는데, 거래처 정보는 일반적으로 특정 부서 및 업무 담당자에 의해 관리됨으로 인해 유용한 정보를 공유하는데 있어서 어려움을 지닌다. 본 논문에서는 지식관리 측면에서의 거래처 정보 공유 방법을 제시함으로써, 연구 활동 및 업무 수행에 있어서 거래처 정보 및 구매 혹은 지출 등의 관련 거래 정보를 유용한 지식으로써 공동 활용코자 한다.

  • PDF

Design and Prototype Implementation of Scheduler for Consolidation Computing Environment (통합컴퓨팅 환경을 위한 스케쥴러 설계 및 Prototype 구현)

  • Sung, Jin-Woo;Lee, Sang-Dong;Kim, Sung-Jun;Lee, Young-Joo;Kim, Joong-Kwon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2005.05a
    • /
    • pp.675-678
    • /
    • 2005
  • 고성능의 컴퓨터들이 많이 보급되었으며, 또한, 클러스터 시스템 기술의 발전으로 클러스터 시스템의 활용이 크게 늘고 있다. 이러한 고성능의 시스템을 사용하는 사용자들은 다수의 시스템에서 수행하는 작업들을 관리(실행, 모니터링, 삭제, 결과물 관리 등)할 때에 반복적인 작업들이 많이 존재한다. 그러므로, 이러한 반복적인 작업을 손쉽게 수행해 줄 수 있는 기능이 제공된다면 업무를 효율적으로 처리할 수 있을 것이다. 이 논문에서는 분산된 다수의 시스템에서 작업을 수행할 때 스케쥴러(예: PBS, NQS)와 작업을 수행하는 일을 대신해줄 수 있는 통합 작업 스케쥴러(CJS, Consolidation Job Scheduler)를 설계하고, 그 prototype을 구현해 보았다. 스케쥴러의 종류가 많기 때문에 여기서는 PBS와 NQS에 한정하여 구현하였다.

  • PDF

Performance Evaluation of Low-Powered Computing Cluster Prototype using Mobile Processors (모바일 프로세서 기반 저전력 컴퓨팅 클러스터 프로토타입 성능 분석)

  • Nam, Dukyun;Gu, Gibeom;Park, Chan Yeol;Ryu, Hoon;Kim, Jik-Soo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2015.10a
    • /
    • pp.230-233
    • /
    • 2015
  • 본 논문에서는 저전력 클러스터 구축을 위해 확장가능성, 저전력 노드 구성, 자율동작 기능 구현, 플러그인을 통한 기능 확장 등 4가지 핵심 추진사항을 도출하고, 모바일 단말기에 사용되는 저전력 프로세서를 이용하여 컴퓨팅 클러스터 프로토타입을 구축했다. 슈퍼컴퓨터 Top500의 성능 측정으로 활용되는 HPL 벤치마크을 이용하여 프로토타입의 성능을 측정 및 분석하고 모바일 프로세서를 이용한 클러스터의 대규모 확장 시 개선되어야 할 사항을 파악했다.

A Disk-based Archival Storage System Using the EOS Erasure Coding Implementation for the ALICE Experiment at the CERN LHC

  • Ahn, Sang Un;Betev, Latchezar;Bonfillou, Eric;Han, Heejune;Kim, Jeongheon;Lee, Seung Hee;Panzer-Steindel, Bernd;Peters, Andreas-Joachim;Yoon, Heejun
    • Journal of Information Science Theory and Practice
    • /
    • v.10 no.spc
    • /
    • pp.56-65
    • /
    • 2022
  • Korea Institute of Science and Technology Information (KISTI) is a Worldwide LHC Computing Grid (WLCG) Tier-1 center mandated to preserve raw data produced from A Large Ion Collider Experiment (ALICE) experiment using the world's largest particle accelerator, the Large Hadron Collider (LHC) at European Organization for Nuclear Research (CERN). Physical medium used widely for long-term data preservation is tape, thanks to its reliability and least price per capacity compared to other media such as optical disk, hard disk, and solid-state disk. However, decreasing numbers of manufacturers for both tape drives and cartridges, and patent disputes among them escalated risk of market. As alternative to tape-based data preservation strategy, we proposed disk-only erasure-coded archival storage system, Custodial Disk Storage (CDS), powered by Exascale Open Storage (EOS), an open-source storage management software developed by CERN. CDS system consists of 18 high density Just-Bunch-Of-Disks (JBOD) enclosures attached to 9 servers through 12 Gbps Serial Attached SCSI (SAS) Host Bus Adapter (HBA) interfaces via multiple paths for redundancy and multiplexing. For data protection, we introduced Reed-Solomon (RS) (16, 4) Erasure Coding (EC) layout, where the number of data and parity blocks are 12 and 4 respectively, which gives the annual data loss probability equivalent to 5×10-14. In this paper, we discuss CDS system design based on JBOD products, performance limitations, and data protection strategy accommodating EOS EC implementation. We present CDS operations for ALICE experiment and long-term power consumption measurement.

CrossRef the leading DOI service organization & DOI Center in KISTI (DOI 서비스의 중심 CrossRef와 KISTI의 DOI Center)

  • Oh, Hye-Min;Cho, Eun-Jin;Kang, Mu-Yeong
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2011.08a
    • /
    • pp.67-70
    • /
    • 2011
  • 국내학술지의 국제적 이용과 인용확대를 위해 국가출연기관인 한국과학기술정보연구원(KISTI)은 CrossRef에 Co-Sponsoring Member로 가입하여 디지털 콘텐츠의 식별과 접근을 위한 고유 식별 체계인 DOI(Digital Object Identifier) 번호부여 및 DOI 기탁사업을 추진해오고 있다. CrossRef는 논문, 회의자료, 단행본 자료의 DOI 기탁업무를 수행하는 전 세계적인 비영리기관이며 DOI에 기반하여 Cited-by linking 서비스를 시행하고 이용자들의 필요에 따른 다양한 학술서비스를 제공하고 있다. 따라서 본 논문에서는 CrossRef에서 시행하는 서비스인 DOI, CrossCheck, Cited-by linking을 소개하고 KISTI를 통한 CrossRef서비스와 KISTI에서 운영하는 DOI Center 대해 기술하고자 한다.

  • PDF