• Title/Summary/Keyword: 과학 빅데이터

Search Result 516, Processing Time 0.041 seconds

Design and Implementation of Big Data Streaming Query Processing System for Realtime Power Plant Sensor data (실시간 발전소 시설 장비 센서 데이터에 대한 빅데이터 스트리밍 질의 처리 시스템 설계 및 구현)

  • Um, Jung-Ho;Yu, Chan Hee;Sarda, Komal;Park, Kyongseok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2020.11a
    • /
    • pp.88-91
    • /
    • 2020
  • 발전 시설은 연간 무중단으로 운영되어야 하고, 고장이 발생하면 손해가 막대하기 때문에 발전 시설 장비에는 수십만 개의 센서 데이터가 설치되어 있다. 본 논문에서는 효율적인 센서 데이터의 수집과 시설 모니터링 및 고장 예측 등을 위한 빅데이터 스트리밍 질의 처리 시스템을 설계 및 구현하였다. 또한 실시간 데이터 수집의 효율적인 관리를 위해 인코딩 방식을 설계하였으며, 데이터 전송 성능을 측정하여 문자열로 데이터를 전송하는 것보다 평균 12%, 최대 32% 데이터 처리 성능이 향상됨을 보였다. 또한, 스트리밍 데이터에 대한 윈도우 질의 처리 성능을 측정하여 약 0.97초의 평균 집계 질의 처리 시간이 소요됨을 확인하였다. 향후에는 고장 감지를 위한 인공지능 추론 모델을 제안하는 빅데이터 스트리밍 질의 처리 시스템에 적용할 예정이다.

Faster Data Transfer using Optimized Intermediate Node (최적성능노드 경유 고속전송 방안 연구)

  • Woojin seok
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2024.05a
    • /
    • pp.130-132
    • /
    • 2024
  • 본 논문에서는 과학 빅데이터를 위한 고속 데이터 전송 방식을 제안한다. 최근의 과학연구는 이전보다 훨씬 더 많은 양의 데이터를 요구하지만, 잘 알려진 네트워킹 문제인 라스트마일 문제로 인해 여전히 데이터를 수신하는 데 시간이 오래 걸린다. 과학 빅데이터 전송시 라스트마일 문제로 인한 패킷 손실에 대해 더 나은 방법을 제안한다. 제안하는 방법은 원격 전송에 최적화된 중간 서버를 사용하고 종단간 네트워크 경로에서 라스트마일을 분리한다. 전송 측정을 통해 향상된 성능을 확인한다.

A Study on Legal Remedies for Intellectual Property Rights Infringements as Coming the Era of Big Data (빅데이터 시대의 도래로 인한 지식재산권 침해 및 이에 대한 법적 구제수단의 고찰)

  • Kim, Kyunghwan;Park, Namje
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2013.11a
    • /
    • pp.1635-1638
    • /
    • 2013
  • 바야흐로 디지털 데이터의 빅뱅 시대로 진입하고 있다. 정보통신기술의 급속한 발전으로 인해 인터넷은 사회 전 분야를 변화시키고 있으며, 스마트 단말기, 사물인터넷, 소셜네트워크, 실시간 데이터 수집 장치, 지리정보시스템 등의 등장과 기타 여러 가지 새로운 형태의 데이터 소스가 출현하였다. 이에 따라 데이터 량이 폭발적으로 증가하고 있으며, 한 번에 처리해야 할 디지털 정보량이 수십 테라바이트에서 제타바이트에서 이르는 이른바 빅데이터 시대가 도래한 것이다. 그러나 빅데이터 기술의 빠른 성장에 비해 빅데이터 생태계의 근간이 되는 기술의 보호나 지식재산권의 침해로부터 관련 기술을 보호하기 위한 법적 구제수단은 미비한 형편이다. 이에 본 논문에서는 빅데이터 시대의 지식재산권 침해 유형을 분류하고, 현행법 하에서의 법적 구제수단에 대해 알아본다.

Agriculture Bigdata Management and AI Research Platform Development (농업 빅데이터 관리 및 인공지능 연구 플랫폼 개발)

  • Kim, Ki-Hyeon;Seok, Woojin;Moon, Junghoon;Kim, Kwangsoo;Sim, Joonyong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2022.11a
    • /
    • pp.507-509
    • /
    • 2022
  • 농업은 우리의 삶에서 빼놓을 수 없는 중요한 분야이며, 농업은 토지를 이용하여 다양한 작물들을 길러 음식을 만드는 기본이라고 말할 수 있다. 이렇게 중요한 농업 분야를 ICT 분야에서 가장 이슈가 되는 기술인 인공지능 기술과 결합하여 스마트팜과 같은 농업의 디지털화를 구축할 수 있다. 이와 같은 스마트팜 구축을 위해서는 기본적으로 다양한 작물의 빅데이터를 제공하고, 이 데이터를 바탕으로 인공지능을 수행하여 다양한 결과를 제공할 수 있다. 하지만 인공지능 연구를 수행하기 위한 시스템 및 플랫폼의 부재라는 문제점이 존재한다. 이러한 문제점을 해결하기 위해 농업 빅데이터 관리 및 인공지능 연구 플랫폼 개발을 위한 과제를 통해 농업 빅데이터를 관리하고 인공지능을 연구자들이 손쉽게 수행할 수 있는 플랫폼을 개발하여 농업 분야의 작물 생산성 향상에 기여하고자 한다.

Open Distributed Cloud Computing based on High-Speed Big Data Transfer (고속 빅데이터 전송 기반의 오픈 분산 컴퓨팅 플랫폼 개발 및 연구)

  • Kim, Ki-Hyeon;Moon, Junghoon
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.05a
    • /
    • pp.38-41
    • /
    • 2021
  • 최근 빅데이터, 인공지능 키워드를 이용한 다양한 연구들이 진행되고 있으며, 인공지능 연구를 통해 자동화 자율화를 위한 연구들이 주를 이루고 있다. 인공지능 연구를 수행하기 위해서는 거대한 데이터를 빠르게 전송해야하며, 인공지능을 손쉽게 수행하기 위한 플랫폼이 필요하다. 하지만 많은 연구기관에서는 빅데이터 전송 속도의 한계가 존재하며, 인공지능 알고리즘 수행을 위한 플랫폼 또한 부족한 것이 현실이다. 이를 해결하기 위해 ScienceDMZ 기술을 활용하여 고속의 빅데이터 전송을 위한 인프라를 구축하고, 엣지 컴퓨팅 기반의 오픈 분산 컴퓨팅 플랫폼을 개발한다. 이 시스템을 통해 사용자들에게 빅데이터를 빠르게 전송하고 전송된 데이터를 이용하여 바로 인공지능 연구를 수행하여 결과를 도출할 수 있는 시스템을 구축하고자 한다. 이 시스템을 이용하여 GPU 분산 컴퓨팅을 수행하였을 때 성능과 GPU 병렬 컴퓨팅을 수행하였을 때의 결과를 비교하여 성능을 검증하고자 한다.

Study on the Direction of Universal Big Data and Big Data Education-Based on the Survey of Big Data Experts (보편적 빅데이터와 빅데이터 교육의 방향성 연구 - 빅데이터 전문가의 인식 조사를 기반으로)

  • Park, Youn-Soo;Lee, Su-Jin
    • Journal of The Korean Association of Information Education
    • /
    • v.24 no.2
    • /
    • pp.201-214
    • /
    • 2020
  • Big data is gradually expanding in diverse fields, with changing the data-related legislation. Moreover it would be interest in big data education. However, it requires a high level of knowledge and skills in order to utilize Big Data and it takes a long time for education spends a lot of money for training. We study that in order to define Universal Big Data used to the industrial field in a wide range. As a result, we make the paradigm for Big Data education for college students. We survey to the professional the Big Data definition and the Big Data perception. According to the survey, the Big Data related-professional recognize that is a wider definition than Computer Science Big Data is. Also they recognize that the Big Data Processing dose not be required Big Data Processing Frameworks or High Performance Computers. This means that in order to educate Big Data, it is necessary to focus on the analysis methods and application methods of Universal Big Data rather than computer science (Engineering) knowledge and skills. Based on the our research, we propose the Universal Big Data education on the new paradigm.

Bigdata Prediction Support Service for Citizen Data Scientists (시민 데이터과학자를 위한 빅데이터 예측 지원 서비스)

  • Chang, Jae-Young
    • The Journal of the Institute of Internet, Broadcasting and Communication
    • /
    • v.19 no.2
    • /
    • pp.151-159
    • /
    • 2019
  • As the era of big data, which is the foundation of the fourth industry, has come, most related industries are developing related solutions focusing on the technologies of data storage, statistical analysis and visualization. However, for the diffusion of bigdata technology, it is necessary to develop the prediction analysis technologies using artificial intelligence. But these advanced technologies are only possible by some experts now called data scientists. For big data-related industries to develop, a non-expert, called a citizen data scientist, should be able to easily access the big data analysis process at low cost because they have insight into their own data. In this paper, we propose a system for analyzing bigdata and building business models with the support of easy-to-use analysis system without knowledge of high-level data science. We also define the necessary components and environment for the prediction analysis system and present the overall service plan.

A Study on the Library Big Data Service Model (도서관 빅데이터 서비스 모형 개발에 관한 연구 - 도서관 서비스 수요 분석을 중심으로 -)

  • Lee, Eun Jee;Kim, Wan-Jong
    • Proceedings of the Korean Society for Information Management Conference
    • /
    • 2014.08a
    • /
    • pp.131-134
    • /
    • 2014
  • 전 세계적으로 다양한 영역에서 빅데이터 활용 성공 사례가 증가하게 되면서 도서관 분야에서도 빅데이터를 활용한 신규 서비스 개발 필요성이 제기 되고 있다. 본 연구는 공공도서관의 정보서비스 제공 및 도서관 운영 실태, 이용자 특성 등을 분석하였고, 이를 바탕으로 새로운 도서관 패러다임을 이끄는 도서관 빅데이터 서비스 모형을 개발하고자 한다. 먼저, 설문 대상을 사서 집단과 이용자 집단으로 나누어 공공도서관 이용현황을 파악하였고, 대표적인 공공도서관 서비스인 장서개발 및 열람봉사, 이용자 맞춤형 추천서비스에 대한 수요도를 분석하였다. 추가적으로 응답에 대한 집단 간 차이에 대해 살펴보았다. 분석결과를 토대로 관련 서비스 개발을 위한 방향성을 도출하였고, 향후 활용 가능한 도서관 빅데이터 서비스 정립을 위한 기초 방안을 제시하였다.

  • PDF

A Review of the Methodology for Sophisticated Data Classification (정교한 데이터 분류를 위한 방법론의 고찰)

  • Kim, Seung Jae;Kim, Sung Hwan
    • Journal of Integrative Natural Science
    • /
    • v.14 no.1
    • /
    • pp.27-34
    • /
    • 2021
  • 전 세계적으로 인공지능(AI)을 구현하려는 움직임이 많아지고 있다. AI구현에서는 많은 양의 데이터, 목적에 맞는 데이터의 분류 등 데이터의 중요성을 뺄 수 없다. 이러한 데이터를 생성하고 가공하는 기술에는 사물인터넷(IOT)과 빅데이터(Big-data) 분석이 있으며 4차 산업을 이끌어 가는 원동력이라 할 수 있다. 또한 이러한 기술은 국가와 개인 차원에서 많이 활용되고 있으며, 특히나 특정분야에 집결되는 데이터를 기준으로 빅데이터 분석에 활용함으로써 새로운 모델을 발견하고, 그 모델로 새로운 값을 추론하고 예측함으로써 미래비전을 제시하려는 시도가 많아지고 있는 추세이다. 데이터 분석을 통한 결론은 데이터가 가지고 있는 정보의 정확성에 따라 많은 변화를 가져올 수 있으며, 그 변화에 따라 잘못된 결과를 발생시킬 수도 있다. 이렇듯 데이터의 분석은 데이터가 가지는 정보 또는 분석 목적에 맞는 데이터 분류가 매우 중요하다는 것을 알 수 있다. 또한 빅데이터 분석결과 통계량의 신뢰성과 정교함을 얻기 위해서는 각 변수의 의미와 변수들 간의 상관관계, 다중공선성 등을 고려하여 분석해야 한다. 즉, 빅데이터 분석에 앞서 분석목적에 맞도록 데이터의 분류가 잘 이루어지도록 해야 한다. 이에 본 고찰에서는 AI기술을 구현하는 머신러닝(machine learning, ML) 기법에 속하는 분류분석(classification analysis, CA) 중 의사결정트리(decision tree, DT)기법, 랜덤포레스트(random forest, RF)기법, 선형분류분석(linear discriminant analysis, LDA), 이차선형분류분석(quadratic discriminant analysis, QDA)을 이용하여 데이터를 분류한 후 데이터의 분류정도를 평가함으로써 데이터의 분류 분석률 향상을 위한 방안을 모색하려 한다.

Development of Web Crawler and Network Analysis Technology for Occurrence and Prediction of Flooding (수난 발생 및 규모 예측을 위한 웹 크롤러 및 네트워크 분석기술 개발)

  • Seo, Dongmin;Kim, Hoyong;Lee, Jeongha;Hwang, Seokhwan
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2019.05a
    • /
    • pp.5-6
    • /
    • 2019
  • 빅데이터 분석을 위해 활용되는 데이터로는 뉴스, 블로그, SNS, 논문, 특허 그리고 센서로부터 수집된 데이터 등 매우 다양한 유형의 데이터가 있다. 특히, 신뢰성 있는 데이터를 실시간 제공하는 웹 데이터의 활용이 점차 확산되고 있다. 그리고 빅데이터의 활용이 다양한 분야로 점차 확산되고 웹 데이터가 매년 기하급수적으로 증가하면서, 최근 웹 데이터는 재난대응 미디어로써 매우 중요한 역할을 하고 있다. 또한, 빅데이터 분석에 활용되는 원천 데이터는 네트워크 형태이며, 최근 소셜 네트워크 분석을 통한 효과적인 상품 광고, 핵심 유전자 발굴, 신약 재창출 등 다양한 영역에서 네트워크 분석 기술이 사회와 인류에게 가치 있는 정보를 제공할 수 있는 가능성을 제시하면서 네트워크 분석 기술의 중요성이 부각되고 있다. 본 논문에서는 웹에서 제공하는 뉴스와 SNS 데이터를 이용해 수난 발생 및 규모 예측을 지원하는 웹 크롤러 및 네트워크 분석기술을 제안한다.

  • PDF