• 한국빅데이터학회지
• /
• 제4권2호
• /
• pp.93-103
• /
• 2019

본 논문에서는 수산과학 R&D 정보의 빅데이터 플랫폼 구축과 메타 데이터 관리기법에 관해 소개한다. 빅데이터 플랫폼에서는 다양한 유형의 수산과학 R&D 정보를 수집하여 통합 연계하고, 이를 데이터 레이크 형태로 구축하는 방안을 제시한다. 수산과학 분야에서 수집, 축적되고 있는 기존의 데이터와 함께 위성영상 데이터, 연구보고서 등 비정형 빅데이터까지 수집하여 다양한 분석을 지원하는 빅데이터 플랫폼의 구축방안을 제시한다. 다음으로 데이터 추출과 전처리 및 저장 과정에서 메타 데이터를 수집하고 관리함으로써 수산과학 빅데이터의 체계적인 관리가 가능하도록 한다. 빅데이터 플랫폼 구축과 함께 메타 데이터를 표준양식으로 구축함으로써 데이터의 수집, 저장, 활용 및 유통 등 데이터 수명주기 전반에 걸쳐 체계적이고도 지속적인 빅데이터 관리 방안을 제시하는데 의의가 있다.

• 정보와 통신
• /
• 제29권11호
• /
• pp.11-23
• /
• 2012

본 고에서는 과학 분야에서의 대용량 데이터 처리를 위한 기술인 사이언스 빅데이터의 처리 기술 동향에 대하여 기술한다. 서론에서 사이언스 빅데이터의 정의 및 필요성을 다루고, 본론에서는 데이터 중심 과학 패러다임의 등장과 그로 인한 사이언스 빅데이터 요구사항, 사이언스 빅데이터 소스 수집 및 정제, 저장 및 관리, 처리, 분석 등으로 이루어지는 사이언스 빅데이터 처리 기법에 대하여 기술한다. 또한 현재 다양한 기관에서 연구하고 있는 사이언스 빅데이터 플랫폼, 맵리듀스 등을 이용한 워크플로우 제어 기반의 사이언스 빅데이터 처리 기법을 예시로 소개한다.

• 한국정보통신학회논문지
• /
• 제24권7호
• /
• pp.904-913
• /
• 2020

데이터 볼륨과 복잡도가 빠르게 증가함에 따라 과학 빅데이터를 다루는 데이터 집적 과학은 네트워크를 통해 보다 효과적인 데이터 저장 및 분배를 위한 새로운 기술을 발견하는 것을 필요로 한다. 최근 네임드 데이터 네트워킹 커뮤니티와 데이터 집적 과학 커뮤니티는 함께 과학 실험 빅데이터의 분배 및 관리에 있어서 혁신적인 변화를 꾀하였다. 본 논문 에서는 기후과학 및 고에너지물리 데이터 등과 같은 과학 빅데이터를 위한 현존하는 엔디엔 테스트베드들에 대한 분석이 처음으로 이루어진다. 과학 빅데이터를 위한 엔디엔 테스트베드들을 현황, 엔디엔 기반 응용, 특징 측면에서 묘사하고 토의한다. 마지막으로 과학 빅데이터를 위한 엔디엔 테스트베드 네트워크를 확립함에 있어서, 함정에 빠질 수 있는 다양한 이슈들을 엔디엔 테스트베드들에 대한 묘사 그리고 특징들로 부터 도출하여, 분석 제시한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.535-536
• /
• 2021

빅데이터를 활용한 기계학습 모델을 개발하기 위해서는 빅데이터 처리를 위한 플랫폼과 딥러닝 프레임 워크 등 고급 분석을 수행할 수 있는 도구의 활용이 동시에 요구된다. 그러나 빅데이터 플랫폼과 딥러닝 프레임워크를 자유롭게 활용하기 위해서는 상당한 수준의 기술적 지식과 경험이 필요하다. 또한 빅데이터를 이용한 딥러닝 모델을 개발할 경우 분산처리와 병렬처리에 대한 지식과 추가적인 작업이 요구된다. 본 연구에서는 빅데이터를 활용한 기계학습 모형을 자유롭게 개발 및 공유하고 분산 딥러닝을 위한 시스템적 지원을 통해 분야별로 딥러닝 모형을 개발하는 응용 연구자들이 활용할 수 있는 플랫폼을 제시하였다. 본 연구를 통해 다양한 분야의 연구자들이 자신의 데이터를 이용하여 모형을 개발할 경우 분산처리와 병렬처리를 위한 기술적 제약을 극복하고 보다 빠르고 효율적인 방법으로 모형을 개발하고 현업에 활용할 수 있을 것으로 기대한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 추계학술발표대회
• /
• pp.736-737
• /
• 2021

최근의 빅데이터 처리 환경은 실시간 빅데이터를 기반으로 하고 있다. 실시간 빅데이터 처리를 위해서는 기존의 배치처리 방식의 빅데이터 기술에서 발생하는 기술적 요구를 포함하여 추가적으로 요구되는 다양한 문제들을 고려해야 한다. 기계학습 모형을 활용한 의사결정 지원 시스템의 경우 모형 개발을 위한 배치처리 기술과 함께 모형의 배포와 최적화 등도 고려되어야 하며 발전 설비나 제조, 공정, 배송 등의 분야에서 발생하는 대규모 실시간 데이터를 이용하여 추론을 수행해야 한다. 본 연구에서는 센서 데이터를 활용한 예측 모형 개발과 실시간 데이터 처리 그리고 추론을 위한 모델 배포와 최적화 과정을 지원하는 시스템 환경을 제공하여 실제 현장에서 발생하고 있는 데이터를 활용하여 실증을 수행하였다.

• 문화기술의 융합
• /
• 제9권3호
• /
• pp.655-662
• /
• 2023

사회과학 분야에서 빅데이터 연구는 기존의 사회과학 연구방법을 보완하는 역할을 하고 있다. 사회과학자들이 선호하는 서베이 및 실험 방법이 주로 회상 기억에 의존하여 다소 부정확하다면 빅데이터는 실시간 기록이라 보다 정확하다. 기존의 사회과학 연구가 시간과 비용 등의 이유로 연구대상을 전수 조사하기보다 표집에 의한 표본 조사를 주로 하는 것과 달리 빅데이터 연구는 전수에 가까운 데이터를 분석한다. 그렇지만 시간의 흐름에 따라 사회 분위기가 변할 수 있고, 연구대상도 동일하지 않아 연구의 반복 및 재현은 둘 다 쉽지 않다. 무엇보다 기존의 사회과학 연구가 '이론-방법-데이터'의 삼각구조가 튼튼한 데 반해 빅데이터를 활용한 분석은 이론의 빈약함을 보이고 있어 심각한 문제다. 과학적 설명논리로서의 이론이 없으면 연구결과를 얻고서도 제대로 해석하지 못하거나 온전히 활용 할 수 없기 때문이다. 그러므로 빅데이터 연구가 진정한 방법론적 혁신이 되기 위해서는 새로운 이론(블랙박스)을 창출하기 위한 연구자들의 노력과 함께 빅 씽킹(big thinking)이 필요함을 제안했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.110-113
• /
• 2018

본 논문은 최근 데이터 집약형과학분야 연구개발의 비약적인 발전과 관측, 실험, 분석 장비들의 고도화에 따라 생산되는 과학데이터의 빅데이터화, 고부가가치화 등으로 연구 패러다임의 변화가 빅데이터 중심으로 가속되고 있다. 이러한 과학 빅데이터는 ExaByte 급의 대용량으로서 한 곳에서 관리되기보다는 전 세계적으로 분산되어 관리 운영되고 있다. 응용연구자들은 이러한 과학 빅데이터에 대한 초고속 전송/저장/공유에 대한 요구가 높아지고 있으며, 이러한 문제의 해결을 위해 ScienceDMZ 기반의 다양한 고속전송환경이 구축 개발되고 있다. 따라서 본 논문에서는 장러기 빅데이터 전송을 위한 ScienceDMZ의 핵심 기술인 DTN(Data Transfer Node)을 통한 빅데이터의 장거리 전송 시 고대역 네트워크 환경과 시스템 성능에 대한 통합 모니터링 환경을 구축 개발하였다.

• 통합자연과학논문집
• /
• 제13권3호
• /
• pp.114-119
• /
• 2020

IoT 및 사물인터넷 기반 빅데이터 시스템을 구축하는 경우 발생하는 빈번한 전송에 따른 데이터 오류율과 자원의 비효율적 이용율을 극복하기 위하고 오픈소스기반 하둡시스템의 문제점을 극복하기 위한 본 연구에서는 순수 하둡을 기반으로 적용된 결과를 분석하고 하둡 2.x대 버전을 기준으로 빅데이터 시스템의 용량을 산정한 가이드를 제시하고 용량 산정의 기준을 에코 소프트웨어 적용 플랫폼을 제안한다.

• 정보과학회지
• /
• 제32권11호
• /
• pp.46-57
• /
• 2014

다양한 정보 채널의 등장과 함께 빅데이터에 대한 중요성이 부각되고 있다. 본고에서는 빅데이터를 활용한 응용을 활성화기 위해 국가별 빅데이터 정책을 분석하고 분야별로 빅데이터를 활용한 사례를 기술한다. 빅데이터를 활용하여 일상 생활에서 일반 사용자들이 사용할 수 있는 응용 서비스 원천 기술 및 서비스 기술을 개발하고 있는 충북대학교 빅데이터생활형 서비스 연구센터(BLSRC)를 소개하고 센터에서 개발한 응용 서비스를 기술한다. 또한 빅데이터 사용을 활성화하고 실생활에 응용하기 위한 방안을 제언한다.

• 한국정보관리학회:학술대회논문집
• /
• 한국정보관리학회 2016년도 제23회 학술대회 논문집
• /
• pp.19-22
• /
• 2016

본 연구는 빅데이터의 처리 저장 등과 같은 기술적 측면이 아닌 분석 활용적 측면에 초점을 맞춰 관련 학문분야를 파악하고 분야 간 지적구조를 규명하고자 하였다. 연구 결과 빅데이터 관련 연구들이 주제분야에 따라 명백한 차이를 보이고 있음을 확인할 수 있었다. 주제범주 분석을 통해 공학 기술(34.60%), 사회과학(25.24%), 자연과학(23.14%), 의학 보건학(14.85%) 등은 관련 연구가 비교적 고르게 분포되어 있지만, 인문학(1.69%)과 농업과학(0.21%)은 연구가 미비함을 알 수 있었다. 네트워크 분석 결과 사회과학 분야(31.58%)에 비해 공학 및 자연과학 분야(68.42%)의 빅데이터 연구가 더 활발함을 확인할 수 있었다. 또한 공학 및 자연과학 분야 연구들은 다양한 주제분야를 다루는 반면 사회과학 분야에서는 아직 한정된 주제분야에서 연구가 진행되고 있음을 알 수 있었다.