• Title/Summary/Keyword: 데이터그리드

Search Result 513, Processing Time 0.027 seconds

KNU Experiences with Grid3 (그리드3: 데이터 그리드)

  • 권기환;김복주;한대희;조기현;오영도;손동철;이지수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04a
    • /
    • pp.43-45
    • /
    • 2004
  • 그리드3는 데이터 그리드로서 고에너지물리를 포함하는, 많은 양의 데이터를 다루는 7개 분야에 컴퓨팅 및 스토리지 리소스를 제공할 목적으로 미국에서 시작되었다. 경북대학교 고에너지물리연구소는 이 프로젝트에 참여하여 그리드3 데이터 그리드를 경북대학교에 구축하고 다른 미국의 26개 사이트와 컴퓨팅 자원을 공유하며 실제 고에너지물리 실험의 데이터 분석에 일조하고 있다. 한국은 27개 Grids사이트 중 유일하게 북미대륙에 위치하지 않는 사이트로서 네트웍과 데이터 전송의 문제점을 테스트해 볼 수 있는 사이트로서의 의의가 크다. 이 논문에서는 경북대의 그리드3 경험을 바탕으로 그리드3의 구축과정을 비롯한 그리드3를 소개하며 한국 데이터 그리드 측면에서 그리드3의 발전방향을 모색해본다.

  • PDF

A Data Grid Web Service Design (데이터 그리드 웹 서비스 디자인)

  • 김복주;오영도;권기환;한대희;조기현;손동철;이지수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.400-402
    • /
    • 2003
  • 고에너지 물리연구에서는 입자가속기에서 배출되는 막대한 양의 데이터를 저장, 처리하기 위한 계산능력과 대용량의 저장장치를 확보하는데 어려움을 겪어왔다. 또한, 실제 실험에 참여. 연구, 분석하는 인력 또한 전세계에 흩어져 있어 실험의 효율성을 떨어뜨리고 있다. 이러한 어려움을 해결하고자 차세대 인터넷이라 불리는 그리드에 기반을 둔 데이터 그리드를 활용하고자 노력하고 있다. 현재 한국을 포함한 각국에서 데이터 그리드의 구축을 위하여 노력하고 있으며 테스트베드를 구축하여 실험하고 있다. 이러한 데이터 그리드의 활용도를 높이기 위해서 데이터 그리드를 웹에서 접근할 수 있다면 그 유용성은 배가될 것임이 틀림없다. 이러한 측면에서 현재 경북대 고에너지물리연구소에서 개발하고 있는 데이터 그리드 웹서비스 디자인을 살펴본다.

  • PDF

DGNP : Dynamic Grid Naming Protocol for High Performance Computing (DGNP : 고성능 계산을 위한 동적 그리드 이름 프로토콜)

  • 권오경;박형우;이상산
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04a
    • /
    • pp.61-63
    • /
    • 2003
  • 인터넷 기반의 컴퓨팅 환경이 발전함에 따라 자원과 정보의 공유를 위한 그리드 컴퓨팅이 나타나게 되었다. 그리드 컴퓨팅에서는 그리드 응용 수행시 프로그램과 데이터간의 위치가 다르고 분산되어 있는 경우가 많다. 현재 그리드 미들웨어 시장 표준인 글로버스 둘킷(Globus Toolkit$_{TM}$)에서 사용하는 GASS(Global Access to Secondary Storage)는 원격에 있는 관련 데이터들을 로컬 시스템의 데이터에 접근하는 것처럼 처리하는 것을 지원한다. GASS에서는 원격지의 파일 시스템의 접근시 URL(Uniform Resource Locator)을 이용하는데, 그리드 환경에서의 I/O을 위한 파일 시스템은 복수의 파일 형태로 분산되어있기 때문에 하나의 그리드 응용을 수행할 때 URL을 동적으로 바꿔야 하는 문제점을 갖고 있다. 위치에 상관 없고 고성능을 지향하고 데이터의 성격을 쉽게 표현할 수 있는 이름 체제가 필요하다. 그래서 본 연구는 동적이고 다양한 표현이 가능한 URI(Uniform Resource Identifiers)을 사용하여 그리드 상에서 데이터를 사용하는 방법을 제안하고자 한다.

  • PDF

Development of XML Based Integrated Metadata Accessing System (XML기반의 그리드데이터 메타데이터 통합검색시스템 개발에 관한 연구)

  • Lee, Jae-Myung;Kim, Kye-Hyun;Kwon, Oh-Jun
    • Journal of Korea Spatial Information System Society
    • /
    • v.7 no.2 s.14
    • /
    • pp.39-45
    • /
    • 2005
  • Nowadays, the demand of the output analyzed from the grid data have been sharply increased as the remote sensing technologies and GIS related industry have been developed. Therefore, a metadata access system which fits the requirements of the users should be developed for better managing and utilizing gridded data. In this background, this study defined a common application schema through the analysis of the metadata built by numerous institutes based on the draft metadata standards. The draft metadata standards has been proposed from the study supported by ETRI at 2003 which mainly concentrated on establishing the standards of distributing metadata for the grid data. Also, XML based integrated system was developed to access metadata maintained by SaTReC as well as SIMC to facilitate more convenient data access for the grid data users. The results of the pilot system developed from this study can be expected to contribute to build more efficient and enlarged integrated access system of metadata for grid data.

  • PDF

A Dynamic Data Grid Replication Strategy Based on Internet Architecture (인터넷 구조 기반의 동적 데이터 그리드 복제 정책)

  • Kim, Jun-Sang;Lee, Won-Joo;Jeon, Chang-Ho
    • Journal of the Institute of Electronics Engineers of Korea CI
    • /
    • v.45 no.3
    • /
    • pp.1-6
    • /
    • 2008
  • Data grid shares distributed large data via wide-band network. Such grid environment consumes much time for large data transmission. Because it is implemented on internet as physical network. Many replication strategies were proposed for solving this problem, but they are not optimal in real Data grid environments. Because they were proposed that based on logical topology without consideration of real internet architecture. Grid data access time is largely influenced by internet architecture as physical network of Data grid. In this paper, we propose a new data replication strategy RSIA(Replication Strategy based on Internet Architecture) based on internet architecture. The RSIA places replicas considering structural hierarchy in each element of internet, and avoid the performance bottlenecks to reduce system performance degradation when a data transfer. Through simulation, we show that the proposed RSIA data replication strategy improves the performance of Data Grid environment compared with previous strategies.

Design of Cloud based Grid Test-bed for Handling Science Dataset (클라우드 기반 과학데이터 그리드 테스트베드 설계)

  • Kang, Yun-Hee
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2014.04a
    • /
    • pp.90-92
    • /
    • 2014
  • 이 논문에서는 그리드 환경에서 과학응용을 효율적으로 수행시키기 위해 클라우드 기반의 동적자원 프로비저닝 기술을 그리드 응용에 적용하기 위한 테스드베드 설계를 기술한다. 이를 위해 클라우드 기반 그리드 테스트베드 구축을 위한 요구사항 및 응용 아키텍처 설계를 요약한 후 가상화 자원을 이용하는 과학데이터 그리드 플랫폼을 대용량 데이터 처리에 적합하도록 최적화하고, 그 방안을 제시한다. 설계된 테스트베드는 그리드 환경 고도화를 위한 접근 방법으로 계산 자원 제공을 위해 클라우드 기술을 활용하도록 한다.

A Metadata-based Data Grid System for the Integration of Military Information (군 정보통합을 위한 메타데이터 기반의 데이터 그리드 시스템)

  • Ra, Min-Young
    • Journal of the Korea Society of Computer and Information
    • /
    • v.13 no.2
    • /
    • pp.95-103
    • /
    • 2008
  • Recently, the need for integration of military-related information is increasing. The fundamental problem for integrating existing information systems is semantic inconsistency. To solve this problem, the use of metadata is essential, because metadata is a key component for effective information integration. In this paper, we present a metadata-based data grid system for integrating military data sources. First, we investigate federated database approach and data grid approach for information integration, and deal with metadata-based data grid. Then we present a data grid system for the integration of military information.

  • PDF

Study on the data structure design for the integration of water management database (물관리 데이터베이스 통합을 위한 데이터 구조 설계에 관한 연구)

  • Jung, Ji Won;Jung, Seung Kwon;Kang, Hyun Joong;Gwon, Yong Hyeon
    • Proceedings of the Korea Water Resources Association Conference
    • /
    • 2015.05a
    • /
    • pp.637-637
    • /
    • 2015
  • 2009년 미국에서 처음으로 스마트워터그리드의 개념이 도입된 이후로 국내외 국가 기관뿐만 아니라 민간 기업에서도 스마트워터그리드에 대한 관심이 높아지고 있다. 현재 스마트워터그리드는 IBM의 진출을 시작으로 Veolia, Suez 등 다국적 물관리 기업들이 사업을 추진 중이다. 국내의 ICT기술과 수자원시스템의 융합을 통하여 용수 수요 공급량을 실시간으로 파악하고 관리하여 수자원의 지역적 시간적 격차를 해소하는 스마트워터그리드 연구가 국내에서도 진행 중이다. 물관리 시장 주도권을 확보하기 위해 글로벌 물기업간 경쟁이 심화되고 있으며, 개별플랫폼을 구축 활용하여 신규기업의 물산업 진출을 가로막고 있는 실정이다. 이러한 상황에서 국외 물산업 시장 진출을 위하여 통합플랫폼 개발 및 체계적인 데이터 구조 설계가 필요하며, 본 연구는 스마트워터그리드를 운영하기 위해 여러 곳에 분산되어 관리 운영되어지고 있는 수자원 및 물관리 데이터의 통합을 위한 체계적인 데이터베이스 구조설계에 대한 연구를 수행하였다. 이에 본 연구에서는 스마트워터그리드 도메인 내에 주력하고 있는 통합데이터베이스 구조를 외부 데이터 마이닝과 연계하여 확장하는 구조로 현실적이고 단기적인 데이터 통합효과를 위해 ETL/데이터웨어하우스방식을 적용하여 데이터 통합을 추진하였다. 지자체간 분산되어 있는 데이터베이스간의 연동은 관련 법제도 및 지자체간 협의 등 다양한 문제가 연루되어 있어 단기적으로는 B2B 데이터 연동방식을 응용하여 구성하였다. 광역 중앙 제어를 위한 통합데이터베이스는 가상DB 방식을 고려하였으며, 이는 지자체별로 구성된 통합DB에 대한 인터페이스 및 Wrapper 플랫폼을 적용하였다. 이 플랫폼간의 연동은 WaterML2.0을 적용함으로써 단기간내 구현이 가능하도록 하고 상호운용성에 문제를 해결하며, 실시간 데이터 연계를 추구하였다. 본 연구를 통해서 궁극적으로는 수자원 및 물관리 데이터의 통합을 위해 해당플랫폼에서 스키마 맵핑, 프로토콜 변환 정합 등을 실시하며, 실시간 데이터 마이닝 및 통합이 가능하도록 구성함으로써 향후 스마트워터그리드의 빅데이터 플랫폼 개발까지 확장해나갈 수 있을 것으로 기대된다.

  • PDF

Formalized Web-based Data Searching System for GRID Environment (그리드 환경을 위한 정형화된 웹 기반 데이터 검색 시스템)

  • Lee, Sang-keon;Hwang, Seog-chan;Choi, Jae-young;No, Kyoung-Tai
    • The KIPS Transactions:PartA
    • /
    • v.11A no.1
    • /
    • pp.75-80
    • /
    • 2004
  • To interact database data with GRID system, implementation and installation of data manipulation module which manipulates database data and its index is required. Developing a search system searching data on web-based database, and integrating it with grid system, it is possible that searching data on web and use it directly on GRID system without independent data module. So, we can build easy and effective grid system, and the system could have more flexible architecture adapting data change. In this paper, we propose a searching system which interacting web-based database with GRID systems. We integrated the searching system with a bio god system which runs virtual screening jobs. As a result, UB Grid (Universal Bio Grid) is constructed. Developer could reduce time and effort required to integrate web data to GRID system, and user could use UB Grid system easily and effectively.

The Accessibility Improvement of Grid Data I/O based on GASS (GASS 기반 그리드 데이터 I/O의 접근성 개선에 관한 연구)

  • Kwon, Oh-Kyoung;Park, Hyoung-Woo;Lee, Sang-San
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2002.11a
    • /
    • pp.147-150
    • /
    • 2002
  • 인터넷 기반의 컴퓨팅 환경이 발전함에 따라 자원과 정보의 공유를 위한 그리드 컴퓨팅이 나타나게 되었다. 그리드 컴퓨팅에서는 그리드 응용 수행시 프로그램과 데이터간의 위치가 다르고 분산되어 있는 경우가 많다. 현재 그리드 미들웨어 시장 표준인 글로버스 툴킷(Globus Toolkit$^{TM}$)에서 사용하는 GASS와 같은 그리드 I/O 시스템들이 원격에 있는 관련 데이터들을 로컬 시스템의 데이터에 접근하는 것처럼 처리하는 것을 지원한다. 그러나 GASS(Global Access to Secondary Storage)에서는 원격지의 파일 시스템의 접근시 URL을 이용하는데, 그리드 환경에서의 I/O을 위한 파일 시스템은 복수의 파일 형태로 분산되어있기 때문에 하나의 그리드 응용을 수행할 때 URL 을 동적으로 바꿔저야 하는 문제점을 갖고 있다. 본 논문에서는 URL 보다 상위 개념의 주소 체계인 URI 을 도입하고 이를 RSL과 연계하여 분산 환경의 그리드 I/O에서도 간을 주소 형태로 I/O 처리가 가능하는 등 효율적인 그리드 I/O를 위한 GASS 개선 방안을 제시 한다.

  • PDF