• Title/Summary/Keyword: 데이터정보기술

Search Result 12,521, Processing Time 0.071 seconds

A Construction of Management System and Its Portal Site for NTIS Data Quality Management (NTIS 데이터 품질관리 체계와 포털 사이트 구축)

  • Lee, Byeong-Hee;Jung, Ock-Nam;Choi, Heeseok;Lim, ChulSu;Kim, Jaesoo
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.04a
    • /
    • pp.984-987
    • /
    • 2009
  • 데이터가 기업 및 기관 활동의 중요한 자산으로 인식이 높아지고 있지만 저 품질 데이터로 인한 막대한 손실과 비용의 증가는 큰 문제가 되고 있다. 본 논문에서는 교육과학기술부와 KISTI에서 2007년부터 범부처 차원에서 수행중인 국가R&D 정보자원의 데이터 품질관리를 위해 각 부처와 협의하고 수행해 온 국가R&D 데이터 품질관리 체계 수립과 포털 사이트 구축에 관하여 알아본다. 범부처 국가R&D정보 자원의 데이터 품질관리체계 수립과 범부처 적용 지침 및 가이드라인 제시를 위해 NTIS사업단 및 15개 부처(16개 대표전문기관)의 실무팀장 및 DB 관리자 중심으로 총 33명의 설문을 실시하여 품질관리체계 현황을 조사 분석하였다. 또한 부처(기관)별로 국가R&D표준정보 데이터품질 지표 마련과 주기별 데이터 품질 및 개선도 자체점검을 지원하기 위해, 데이터 점검기준과 절차를 마련하고 이를 기반으로 부처(기관)와 협력하여 데이터품질 점검을 기반을 마련하였다. 이렇게 마련된 품질관리체계와 프로세스를 지원하기 위한 자동화 솔루션을 운영하고자 본 논문에서는 NTIS 데이터 품질관리 체계 및 프로세스, 기능이 통합된 웹 포털 구축에 대해서도 알아본다.

Performance Enhancement of A Massive Scientific Data Visualization System on Virtual Reality Environment by Using Data Locality (Data Locality를 활용한 VR환경에서의 대용량 데이터 가시화 시스템의 성능 개선)

  • Lee, Se-Hoon;Kim, Min-Ah;Lee, Joong-Yeon;Hur, Young-Ju
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2012.11a
    • /
    • pp.284-287
    • /
    • 2012
  • GLOVE(GLObal Virtual reality visualization Environment for scientific simulation)는 컴퓨팅 자원의 성능 향상으로 데이터 양이 급속히 증가한 응용 과학과 전산 시뮬레이션 분야의 대용량 과학 데이터를 효율적으로 가시화하여 분석하기 위한 도구이다. GLOVE의 데이터 관리자인 GDM(GLOVE Data Manager)은 대용량 데이터의 분산 병렬 가시화를 위해 분산 공유 메모리를 제공하는 GA(Global Array)를 이용해 테라 바이트 단위의 데이터를 실시간으로 처리한다. 그러나 대용량 과학 데이터를 가시화 하는 과정에서 기존의 Data Locality를 고려하지 않은 데이터 접근 방식으로 인한 성능 저하를 확인했다. 본 논문은 기존 GLOVE에서 발견한 성능 저하 현상을 밝히고, 이에 대한 해결 방법을 제시한다.

Global Open Research Commons and Implications (글로벌 개방형 연구데이터 커먼즈 및 시사점)

  • Sa-kwang Song;Minhee Cho;Mikyoung Lee;Hyung-Jun Yim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.85-88
    • /
    • 2023
  • 오픈 사이언스 운동의 활성화로 인해 다양한 연구 관련 자원들 간의 상호 운용성 확보를 위한 노력이 활발해지고 있다. 특히, 글로벌 연구데이터 커먼즈(Global Open Research Commons) 모델 개발 관련 표준화 활동이 세계 최대 연구데이터 커뮤니티인 RDA(Research Data Alliance)의 주도로 진행되어 왔고, 최근에 GORC Working Group 에서 버전 1.0 모델을 오픈하였다. 이에 이 모델에 대해 살펴보고 국내의 연구데이터 커먼즈인 KRDC(Korea Research Data Commons)와 비교 및 시사점을 논하고 향후 연구 방향을 소개한다.

Adaptive Data Replication Strategy using data access history in DataGrid (데이터 접근 기록 정보를 이용한 적응적 데이터 복제 기법 제안)

  • Sung, GiMun;Lee, DongWoo;Choi, Jihyun;Ramakrishna, R.S.
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.05a
    • /
    • pp.937-940
    • /
    • 2004
  • 프로세서 자원, 데이터 저장장치 자원을 제공하면서 가상기관(Virtual Organization)을 구성하는 각 사이트는 사용할 수 있는 네트윅 자원이 한정된 상황에서 애플리케이션 처리량을 극대화하는 최적화된 데이터그리드 시스템을 기대한다. 본 논문에서는 크기가 제한적이며 지리적으로 분산된 데이터 저장공간에서 적응적 데이터 복제 기법을 제안하고 Replica의 지리적 분배를 위한 평가 모델을 제안한다. 이를 위해 논리 시간 데이터 접근 기록 및 통계를 적용하여 복제할 파일들을 구분 하는 이산적 결정 모델을 제안하고 삭제할 Replica 결정에 논리 시간 접근 기록을 적용한다.

  • PDF

Design and Implementation of Workflow Federation Method for Multi-cluster Based Korea Research Data Commons (멀티 클러스터 기반 국가연구데이터커먼즈 간 워크플로우 연계 방안 설계 및 구현)

  • Dasol Kim;Sang-baek Lee;Seong-eun Park;Minhee Cho;Mikyoung Lee;Sa-kwang Song;Hyung-jun Yim
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.100-102
    • /
    • 2023
  • 최근 오픈 사이언스 문화가 확산됨에 따라 오픈 데이터, 오픈 소스 소프트웨어와 같은 공개된 리소스들을 효율적으로 공유 및 활용하기 위한 방법이 주목을 받고 있다. 본 논문에서는 연구 소프트웨어의 재현성을 향상시키기 위한 국가연구데이터커먼즈(KRDC)를 소개하고 다중 KRDC 클러스터 간 워크플로우 연계 방안을 제안한다. 국가연구데이터커먼즈는 연구 소프트웨어와 분석 환경인 인프라를 결합하여 함께 제공하는 서비스로, 멀티 노드 쿠버네티스(kubernetes) 클러스터를 기반으로 동작한다. 따라서, 서로 다른 KRDC 프레임워크에 존재하는 리소스들을 하나의 워크플로우로 연계하는 것은 복잡한 사용자 인증/인가 문제, 보안 상의 문제를 고려하여야 한다. 본 논문에서는 프록시(proxy) 앱을 사용하는 워크플로우 연계 기능을 제안하고, 이를 지원하기 위한 통합 인증, 인가 체계와 연계 방안을 구현한다. 제안하는 방법을 두 개의 KRDC 프레임워크를 대상으로 적용하여 제안 워크플로우 연계 방법의 유효함을 확인한다. 본 논문에서 제안하는 워크플로우 연계 방법과 시나리오는 실제 멀티 클러스터 연계 방안을 구현한 사례로, KRDC 프레임워크 뿐만 아니라 다양한 쿠버네티스 기반 리소스 연계에 활용할 수 있는 우수한 결과로 사료된다.

Learning model management platform based on hash function considering for integration from different timeseries data (서로 다른 시계열 데이터들간 통합 활용을 고려한 해시 함수 기반 학습 모델 관리 플랫폼)

  • Yu, Miseon;Moon, Jaewon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2022.01a
    • /
    • pp.45-48
    • /
    • 2022
  • IoT 기술의 발전 및 확산으로 다양한 도메인에서 서로 다른 특성의 시계열 데이터가 수집되고 있다. 이에 따라 단일 목적으로 수집된 시계열 데이터만 아니라, 다른 목적으로 수집된 시계열 데이터들 또한 통합하여 분석활용하려는 수요 또한 높아지고 있다. 본 논문은 파편화된 시계열 데이터들을 선택하여 통합한 후 딥러닝 모델을 생성하고 활용할 수 있는 해시함수 기반 학습 모델 관리 플랫폼을 설계하고 구현하였다. 특정되지 않은 데이터들을 기반하여 모델을 학습하고 활용할 경우 생성 모델이 개별적으로 어떤 데이터로 어떻게 생성되었는지 기술되어야 향후 활용에 용이하다. 특히 시계열 데이터의 경우 학습 데이터의 시간 정보에 의존적일 수밖에 없으므로 해당 정보의 관리도 필요하다. 본 논문에서는 이러한 문제를 해결하기 위해 해시 함수를 이용해서 생성된 모델을 계층적으로 저장하여 원하는 모델을 쉽게 검색하고 활용할 수 있도록 하였다.

  • PDF

Cast Study : Visualization of Large Rotor Simulation Data using VTK (사례연구 : VTK를 이용한 대용량 로터 시뮬레이션 데이터의 가시화)

  • Lee, Joong-Youn;Hur, Younju;Kim, MinAh
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2009.11a
    • /
    • pp.393-394
    • /
    • 2009
  • 최근 컴퓨팅 성능의 급격한 발전으로 이를 통해 생산되는 데이터의 크기 역시 매우 커지고 있다. 이는 로터 시뮬레이션 분야에서도 마찬가지인데, 과거에는 백만개 정도의 격자 데이터 정도만을 다루었던 것에 비해 최근에는 1억개 이상의 격자 데이터를 다루려는 시도가 계속되고 있다. 그러나 이렇게 생산된 대용량의 시변환(time-variant) 유동 데이터는 그 크기가 매우 크기 때문에 일반 PC에서는 실시간으로 가시화하기에 곤란한 경우가 많다. 또, 이러한 로터 시뮬레이션 데이터는 매우 복잡한 구조를 가지고 있기 때문에 초보자가 이 데이터에서 vortex와 같은 중요한 정보를 뽑아서 가시화하는 데에는 많은 어려움이 있어 왔다. 본 논문에서는 일반 PC에서 가시화하기 어려운 대용량 로터 시뮬레이션 데이터를 고성능 가시화 컴퓨터와 VTK를 이용해서 빠르게 가시화하기 위한 방법을 서술한다. 또, 복잡한 데이터 내부의 중요한 정보들을 자동으로 빠르고 간편하게 표출하기 위한 방법을 제안한다.

A Study on Linked Platform and Techonology of Big Data and IoT (빅데이터와 사물 인터넷의 연계 플랫폼 및 기술에 관한 연구)

  • Park, Kyung Yeob;Park, Jong Hyuk
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2017.04a
    • /
    • pp.350-353
    • /
    • 2017
  • 사물 인터넷(Internet of Things, IoT)이란 사물 인터넷으로서 사물을 서로 연결 및 통신하여 정보를 주고 받을 수 있게 하는 기술이다. 사물 인터넷의 급속한 성장으로 인해 수많은 데이터가 발생하게 되었고, 이러한 이유로 인해 빅데이터(big-data) 기술이 대두되었다. 빅데이터는 정형 데이터 뿐만 아니라 사진, 동영상 등의 비정형 데이터 또한 분석하고 활용하는 기술이기 때문에 사물 인터넷과 빅데이터 기술은 서로 보완적인 관계에 있다. 이러한 두 가지 기술의 특성에 기초하여, 본 논문에서는 빅데이터와 사물 인터넷에 대한 정의와 동향에 대하여 알아보고 이러한 두 가지 기술을 연계해 활용한 실제 플랫폼과 스마트 시티 등에 대한 실생활에 쓰이는 실제 사례 및 기술들에 대해 연구하였다.

KorSciQA: A Dataset for Machine Comprehension of Korean Scientific Paper (KorSciQA: 한국어 논문의 기계독해 데이터셋)

  • Hahm, Younggyun;Jeong, Youngbin;Jeong, Heeseok;Hwang, Hyekyong;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.207-212
    • /
    • 2019
  • 본 논문에서는 한국어로 쓰여진 과학기술 논문에 대한 기계독해 과제(일명 KorSciQA)를 제안하고자 하며, 그와 수반하는 데이터 구축 및 평가를 보고한다. 다양한 제약조건이 부가된 크라우드소싱 디자인을 통하여, 498개의 논문 초록에 대해 일관성 있는 품질의 2,490개의 질의응답으로 구성된 기계독해 데이터셋을 구축하였다. 이 데이터셋은 어느 논문에서나 나타나는 논박 요소들인 논의하는 문제, 푸는 방법, 관련 데이터, 모델 등과 밀접한 질문으로 구성되고, 각 논박 요소의 의미, 목적, 이유 파악 및 다양한 추론을 하여 답을 할 수 있는 것이다. 구축된 KorSciQA 데이터셋은 실험을 통하여 기존의 기계독해 모델의 독해력으로는 풀기 어려운 도전과제로 평가되었다.

  • PDF

A Study on the MultiMedia Data Mining using Multi-dimensional DataCube (다차원 데이터큐브를 이용한 멀티미디어 데이터 마이닝 연구)

  • 김진옥;황대준
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2001.10a
    • /
    • pp.151-153
    • /
    • 2001
  • 멀티미디어 데이터의 증가와 마이닝 기술의 발전으로 인해 멀티미디어 마이닝에 대한 관심이 증가하고 있다. 본 논문에서는 내용기반의 정보검색 기술과 다차원 다중 데이터큐브 구축기술을 통해 멀터미디어데이타의 마이닝을 구현하는 시스템에 대해 제안한다. 제안 시스템은 멀티미디어 데이터에 내용기반의 정보추출 시스템을 적용하여 성분백터를 추출하고 이를 메타데이타로 한 데이스베이스를 구축한다. 그리고 데이타베이스로부터 지식을 마이닝할 수 있도록 다차원 데이터큐브를 구축하여 빠른 데이터검색과 마이닝결과을 이용자에게 보여주는 모듈로 구성된다. 다차원 데이터큐브는 다중 어레이 구조로써 다차원 데이터를 저장하고, 저장된 여러 데이터 레벨 정보에서 가장 중요한 주제를 통합 생성하여 효율적으로 처리하므로 멀티미디어 데이터를 마이닝하는데 효과적인 방법이다. 또만 다차원데이타큐브를 다중으로 생성하는 방법은 데이터 마이닝 속도를 높이는데 효율적이다.

  • PDF