• The Journal of Bigdata
• /
• v.4 no.2
• /
• pp.93-103
• /
• 2019

In this paper, we introduce a big data platform and a metadata management technique for fishery science R & D information. The big data platform collects and integrates various types of fisheries science R & D information and suggests how to build it in the form of a data lake. In addition to existing data collected and accumulated in the field of fisheries science, we also propose to build a big data platform that supports diverse analysis by collecting unstructured big data such as satellite image data, research reports, and research data. Next, by collecting and managing metadata during data extraction, preprocessing and storage, systematic management of fisheries science big data is possible. By establishing metadata in a standard form along with the construction of a big data platform, it is meaningful to suggest a systematic and continuous big data management method throughout the data lifecycle such as data collection, storage, utilization and distribution.

• Information and Communications Magazine
• /
• v.29 no.11
• /
• pp.11-23
• /
• 2012

본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.24 no.7
• /
• pp.904-913
• /
• 2020

As the data volumes and complexity rapidly increase, data-intensive science handling large-scale scientific data needs to investigate new techniques for intelligent storage and data distribution over networks. Recently, Named Data Networking (NDN) and data-intensive science communities have inspired innovative changes in distribution and management for large-scale experimental data. In this article, analysis on NDN testbeds for large-scale scientific data such as climate science data and High Energy Physics (HEP) data is presented. This article is the first attempt to analyze existing NDN testbeds for large-scale scientific data. NDN testbeds for large-scale scientific data are described and discussed in terms of status, NDN-based application, and features, which are NDN testbed instance for climate science, NDN testbed instance for both climate science and HEP, and the NDN testbed in SANDIE project. Finally various issues to prevent pitfalls in NDN testbed establishment for large-scale scientific data are analyzed and discussed, which are drawn from the descriptions of NDN testbeds and features on them.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.535-536
• /
• 2021

빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.736-737
• /
• 2021

최근의 빅데이터 처리 환경은 실시간 빅데이터를 기반으로 하고 있다. 실시간 빅데이터 처리를 위해서는 기존의 배치처리 방식의 빅데이터 기술에서 발생하는 기술적 요구를 포함하여 추가적으로 요구되는 다양한 문제들을 고려해야 한다. 기계학습 모형을 활용한 의사결정 지원 시스템의 경우 모형 개발을 위한 배치처리 기술과 함께 모형의 배포와 최적화 등도 고려되어야 하며 발전 설비나 제조, 공정, 배송 등의 분야에서 발생하는 대규모 실시간 데이터를 이용하여 추론을 수행해야 한다. 본 연구에서는 센서 데이터를 활용한 예측 모형 개발과 실시간 데이터 처리 그리고 추론을 위한 모델 배포와 최적화 과정을 지원하는 시스템 환경을 제공하여 실제 현장에서 발생하고 있는 데이터를 활용하여 실증을 수행하였다.

• The Journal of the Convergence on Culture Technology
• /
• v.9 no.3
• /
• pp.655-662
• /
• 2023

Big data research plays a role of supplementing existing social science research methods. If the survey and experimental methods are somewhat inaccurate because they mainly rely on recall memories, big data are more accurate because they are real-time records. Social science research so far, which mainly conducts sample research for reasons such as time and cost, but big data research analyzes almost total data. However, it is not easy to repeat and reproduce social research because the social atmosphere can change and the subjects of research are not the same. While social science research has a strong triangular structure of 'theory-method-data', big data analysis shows a weak theory, which is a serious problem. Because, without the theory as a scientific explanation logic, even if the research results are obtained, they cannot be properly interpreted or fully utilized. Therefore, in order for big data research to become a methodological innovation, I proposed big thinking along with researchers' efforts to create new theories(black boxes).

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.110-113
• /
• 2018

본 논문은 최근 데이터 집약형과학분야 연구개발의 비약적인 발전과 관측, 실험, 분석 장비들의 고도화에 따라 생산되는 과학데이터의 빅데이터화, 고부가가치화 등으로 연구 패러다임의 변화가 빅데이터 중심으로 가속되고 있다. 이러한 과학 빅데이터는 ExaByte 급의 대용량으로서 한 곳에서 관리되기보다는 전 세계적으로 분산되어 관리 운영되고 있다. 응용연구자들은 이러한 과학 빅데이터에 대한 초고속 전송/저장/공유에 대한 요구가 높아지고 있으며, 이러한 문제의 해결을 위해 ScienceDMZ 기반의 다양한 고속전송환경이 구축 개발되고 있다. 따라서 본 논문에서는 장러기 빅데이터 전송을 위한 ScienceDMZ의 핵심 기술인 DTN(Data Transfer Node)을 통한 빅데이터의 장거리 전송 시 고대역 네트워크 환경과 시스템 성능에 대한 통합 모니터링 환경을 구축 개발하였다.

• Journal of Integrative Natural Science
• /
• v.13 no.3
• /
• pp.114-119
• /
• 2020

IoT 및 사물인터넷 기반 빅데이터 시스템을 구축하는 경우 발생하는 빈번한 전송에 따른 데이터 오류율과 자원의 비효율적 이용율을 극복하기 위하고 오픈소스기반 하둡시스템의 문제점을 극복하기 위한 본 연구에서는 순수 하둡을 기반으로 적용된 결과를 분석하고 하둡 2.x대 버전을 기준으로 빅데이터 시스템의 용량을 산정한 가이드를 제시하고 용량 산정의 기준을 에코 소프트웨어 적용 플랫폼을 제안한다.

• Communications of the Korean Institute of Information Scientists and Engineers
• /
• v.32 no.11
• /
• pp.46-57
• /
• 2014

다양한 정보 채널의 등장과 함께 빅데이터에 대한 중요성이 부각되고 있다. 본고에서는 빅데이터를 활용한 응용을 활성화기 위해 국가별 빅데이터 정책을 분석하고 분야별로 빅데이터를 활용한 사례를 기술한다. 빅데이터를 활용하여 일상 생활에서 일반 사용자들이 사용할 수 있는 응용 서비스 원천 기술 및 서비스 기술을 개발하고 있는 충북대학교 빅데이터생활형 서비스 연구센터(BLSRC)를 소개하고 센터에서 개발한 응용 서비스를 기술한다. 또한 빅데이터 사용을 활성화하고 실생활에 응용하기 위한 방안을 제언한다.

• Proceedings of the Korean Society for Information Management Conference
• /
• 2016.08a
• /
• pp.19-22
• /
• 2016

본 연구는 빅데이터의 처리 저장 등과 같은 기술적 측면이 아닌 분석 활용적 측면에 초점을 맞춰 관련 학문분야를 파악하고 분야 간 지적구조를 규명하고자 하였다. 연구 결과 빅데이터 관련 연구들이 주제분야에 따라 명백한 차이를 보이고 있음을 확인할 수 있었다. 주제범주 분석을 통해 공학 기술(34.60%), 사회과학(25.24%), 자연과학(23.14%), 의학 보건학(14.85%) 등은 관련 연구가 비교적 고르게 분포되어 있지만, 인문학(1.69%)과 농업과학(0.21%)은 연구가 미비함을 알 수 있었다. 네트워크 분석 결과 사회과학 분야(31.58%)에 비해 공학 및 자연과학 분야(68.42%)의 빅데이터 연구가 더 활발함을 확인할 수 있었다. 또한 공학 및 자연과학 분야 연구들은 다양한 주제분야를 다루는 반면 사회과학 분야에서는 아직 한정된 주제분야에서 연구가 진행되고 있음을 알 수 있었다.