• 제목/요약/키워드: Big Data Processing Technology

검색결과 388건 처리시간 0.031초

3차원 공간데이터 처리를 위한 차로 및 시설물 운영 관리 시스템 아키텍처 설계 연구 (A Study on the Architecture Design of Road and Facility Operation Management System for 3D Spatial Data Processing)

  • 김덕호;김성진;이정욱
    • 한국지리정보학회지
    • /
    • 제24권4호
    • /
    • pp.136-147
    • /
    • 2021
  • 현재 자율주행 관련 기술은 주행의 정도를 적용하여 단계별로 발전하고 있다. 자율주행 차량이 움직이는 도로에 대한 운영 관리 기술도 자율주행 기술에 발맞춰 발전해야 하는 것은 필수적이다. 그러나 현재 도로 운영 관리의 경우 2차원 정보만을 사용하여 관리되고 있어 차로 및 시설물 정보관리, 유지 보수의 체계화된 운영 관리에 한계를 보이고 있다. 본 연구는 현재 2차원 공간데이터를 기반으로 관리하고 있는 차로 및 시설물 운영 관리 시스템을 정밀도로 지도 데이터와 실시간 빅 데이터 처리가 가능한 융합 형태의 데이터베이스를 설계하여 3차원 공간정보 기반의 운영 관리가 가능한 운영 관리 시스템 아키텍처 구성 방안을 제시하였다. 본 연구를 통해 향후 정밀도로 지도를 기반으로 한 운영 관리 시스템을 구축하여 차로 및 시설물 유지관리에 사용할 경우 시설물을 시각화하여 관리할 수 있으며, 다중 사용자의 데이터 편집 및 분석이 가능하고, 다양한 GIS S/W와 연동이 가능하며, 보안 및 백업·복구 등의 기능이 강화되어 대용량의 실시간 데이터를 효율적으로 처리할 수 있을 것으로 판단된다.

대용량 스트리밍 센서데이터 환경에서 RDFS 규칙기반 병렬추론 기법 (RDFS Rule based Parallel Reasoning Scheme for Large-Scale Streaming Sensor Data)

  • 권순현;박영택
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.686-698
    • /
    • 2014
  • 최근 스마트폰의 폭발적인 보급, IoT와 클라우드 컴퓨팅 기술의 고도화, 그리고 IoT 디바이스의 보편화로 대용량 스트리밍 센싱데이터가 출현하였다. 또한 이를 기반으로 데이터의 공유와 매쉬업 통해 새로운 데이터의 가치를 창출하기 위한 요구사항의 증대로 대용량 스트리밍 센싱데이터 환경에서 시맨틱웹 기술과의 접목에 관한 연구가 활발히 진행되고 있다. 하지만 데이터의 대용량성 스트리밍성으로 인해 새로운 지식을 도출하기 위한 지식 추론분야에서 많은 이슈들에 직면하고 있다. 이러한 배경하에, 본 논문에서는 IoT 환경에서 발생하는 대용량 스트리밍 센싱데이터를 시맨틱웹 기술로 처리하여 서비스하기 위해 RDFS 규칙기반 병렬추론 기법을 제시한다. 제안된 기법에서는 기존의 규칙추론 알고리즘인 Rete 알고리즘을 하둡프레임워크 맵리듀스를 통해 병렬로 수행하고, 공용 스토리지로서 하둡 데이터베이스인 HBase를 사용하여 데이터를 공유한다. 이를 위한 시스템을 구현하고, 대용량 스트리밍 센싱데이터인 기상청 AWS 관측데이터를 이용하여 제시된 기법에 대한 성능평가를 진행하고, 이를 입증한다.

의료정보서비스 접근성 향상을 위한 개방형 플랫폼 구축방안 (Open Platform for Improvement of e-Health Accessibility)

  • 이현직;김윤호
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권7호
    • /
    • pp.1341-1346
    • /
    • 2017
  • 본 논문에서는 개개인의 복합적 속성과 요구를 반영한 통합된 개인 맞춤형 서비스와 지능정보기술을 기반으로 의료서비스 접근성을 향상시킬 수 있는 개방형 서비스플랫폼의 구축방안에 대하여 설계하였다. 먼저, 데이터 수집 및 저장단계는 데이터 추출, 변환, 로딩을 반복하며 신속하고 정확하게 처리한다. ETL 모듈로부터 생성된 데이터는 분산 파일 시스템에 저장한다. 데이터 분석단계는 스토리지에 저장된 과거 의료 데이터들을 기반으로 기계학습과 데이터 마이닝 분야에서 사용되고 있는 분석 알고리즘을 적용하여 다양한 패턴들을 생성한다. 데이터 처리단계에서는 데이터를 신속히 처리해야 하므로 보통 작업을 병렬 및 분산 처리하여 성능을 향상시킨다. 데이터 제공방식은 디바이스별 운영하는 플랫폼에 독립적으로 동작해야 하며, 데이터 전송 시 네트워크 부하가 적고, 다양한 형태의 서비스를 제공하기 위하여 Open API 형태로 제공한다.

효과적인 결측치 보완을 통한 다층 퍼셉트론 기반의 전력수요 예측 기법 (A Multilayer Perceptron-Based Electric Load Forecasting Scheme via Effective Recovering Missing Data)

  • 문지훈;박성우;황인준
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제8권2호
    • /
    • pp.67-78
    • /
    • 2019
  • 정확한 전력수요 예측은 스마트 그리드의 효율적인 운영에 있어 매우 중요하다. 최근 IT 기술이 획기적으로 발전되면서, 인공지능 기법을 이용한 빅 데이터 처리를 기반으로 정확한 전력수요를 예측하는 많은 연구가 진행되고 있다. 이러한 예측 모델은 주로 외부 요인과 과거 전력수요를 독립 변수로 사용한다. 하지만, 다양한 내부적 또는 외부적 원인으로 전력수요 데이터의 결측치가 발생하게 되면 정확한 예측 모델을 구성하기가 어렵다. 이에 본 논문에서는 랜덤 포레스트 기반의 결측치 데이터 보완 기법을 제안하고, 보완된 데이터를 기반으로 한 다층 퍼셉트론 기반의 전력수요 예측 모델을 구성한다. 다양한 실험을 통해 제안된 기법의 예측 성능을 입증한다.

Strategy to coordinate actions through a plant parameter prediction model during startup operation of a nuclear power plant

  • Jae Min Kim;Junyong Bae;Seung Jun Lee
    • Nuclear Engineering and Technology
    • /
    • 제55권3호
    • /
    • pp.839-849
    • /
    • 2023
  • The development of automation technology to reduce human error by minimizing human intervention is accelerating with artificial intelligence and big data processing technology, even in the nuclear field. Among nuclear power plant operation modes, the startup and shutdown operations are still performed manually and thus have the potential for human error. As part of the development of an autonomous operation system for startup operation, this paper proposes an action coordinating strategy to obtain the optimal actions. The lower level of the system consists of operating blocks that are created by analyzing the operation tasks to achieve local goals through soft actor-critic algorithms. However, when multiple agents try to perform conflicting actions, a method is needed to coordinate them, and for this, an action coordination strategy was developed in this work as the upper level of the system. Three quantification methods were compared and evaluated based on the future plant state predicted by plant parameter prediction models using long short-term memory networks. Results confirmed that the optimal action to satisfy the limiting conditions for operation can be selected by coordinating the action sets. It is expected that this methodology can be generalized through future research.

빅데이터 기반 재난 재해 위험도 분석 프레임워크 설계 및 구현 (Design and Implementation of Big Data Analytics Framework for Disaster Risk Assessment)

  • 채수성;장선연;서동준
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권4호
    • /
    • pp.771-777
    • /
    • 2018
  • 본 연구는 재난 재해 시 해당 지역의 취약성 및 재해 위험성분석을 보다 세밀하고 광범위한 분석을 진행하기 위하여 빅데이터 기반 재난 재해 위험도 분석 프레임워크를 제안하였다. 오픈소스 기반 재해 위험도 평가 분석 소프트웨어를 활용하여 대용량의 데이터가 단 시간 내에 처리될 수 있도록 분산 및 병렬처리가 가능한 프레임 워크를 소개한다. 제안하는 시스템의 재난재해 분석 성능평가 시 기존 시스템에 비해 빠른 분석 처리 성능 결과를 도출하였으며 재난 재해 상황 분석 및 재난 유형별 최적화된 의사결정을 지원하는데 주요 프레임워크로 활용될 수 있을 것이다. 본 연구를 통해 재난 재해 상황 시 정확한 판단과 분석과 효과적인 대응을 통한 사전대비가 가능할 것이며, 정확한 피해 산정 예측에 따른 신속한 대응이 가능하여 피해 규모를 최소화시키는데 기여할 수 있을 것이다.

NoSQL 기반 연관 콘텐츠 추천 시스템의 설계 및 구현 (Design and Implementation of a System for Recommending Related Content Using NoSQL)

  • 고은정;김호준;박효주;전영호;이기훈;신사임
    • 한국멀티미디어학회논문지
    • /
    • 제20권9호
    • /
    • pp.1541-1550
    • /
    • 2017
  • The increasing number of multimedia content offered to the user demands content recommendation. In this paper, we propose a system for recommending content related to the content that user is watching. In the proposed system, relationship information between content is generated using relationship information between representative keywords of content. Relationship information between keywords is generated by analyzing keyword collocation frequencies in Internet news corpus. In order to handle big corpus data, we design an architecture that consists of a distributed search engine and a distributed data processing engine. Furthermore, we store relationship information between keywords and relationship information between keywords and content in NoSQL to handle big relationship data. Because the query optimizer of NoSQL is not as well developed as RDBMS, we propose query optimization techniques to efficiently process complex queries for recommendation. Experimental results show that the performance is improved by up to 69 times by using the proposed techniques, especially when the number of requested related keywords is small.

머신러닝을 이용한 의료 및 광고 블로그 분류 (A Classification of Medical and Advertising Blogs Using Machine Learning)

  • 이기성;이종찬
    • 한국산학기술학회논문지
    • /
    • 제19권11호
    • /
    • pp.730-737
    • /
    • 2018
  • 행복한 삶의 질을 목적으로 하는 의료소비자가 증가하면서 웹에 분산되어 있는 블로그의 의료 정보를 바탕으로 신뢰성 있는 의료 시설을 선택하고 고품질의 의료 서비스를 받음으로서, 시간과 비용을 절약할 수 있는 O2O 의료 마케팅 시장이 활성화 되고 있다. 인터넷, 모바일, SNS 등에서 증가하는 비정형 텍스트 데이터는 전문 의료 지식 이외에 작성자의 관심, 선호, 예상 등을 직간접적으로 반영하고 있기 때문에 의료정보의 신뢰성을 담보하기 어렵다. 본 연구에서는 빅데이터 및 MLP를 사용하여 의료정보 블로그를 분류 (의료블로그, 광고블로그)함으로서 사용자에게 보다 고품질의 의료정보 서비스를 제공하는 블로그 판단 시스템을 제안한다. 제안된 빅데이터 및 머신러닝 기술을 통해 인터넷상에 존재하는 국내의 다수 의료정보 블로그를 종합, 분석한 후 질환별 개인 맞춤형 건강정보 추천 시스템을 개발한다. 이를 통하여 사용자는 자신의 건강문제를 지속적으로 점검하고 가장 적절한 조치를 취함으로서 자신의 건강 상태를 유지하는 것이 가능할 것으로 기대된다.

Real2Animation:애니메이션 제작지원을 위한 딥페이크 기술 활용 연구 (Real2Animation: A Study on the application of deepfake technology to support animation production)

  • 신동주;최봉준
    • 융합신호처리학회논문지
    • /
    • 제23권3호
    • /
    • pp.173-178
    • /
    • 2022
  • 최근 인공지능, 빅데이터, IoT 등의 다양한 컴퓨팅 기술이 발달하고 있다. 특히 콘텐츠 및 의료 산업 등 여러 분야에서 인공지능 기반의 딥페이크(Deepfake) 기술이 다양하게 활용되고 있다. 딥페이크 기술이란 딥러닝과 fake의 합성어로, AI의 핵심기술인 딥러닝을 통해 사람의 얼굴이나 신체를 합성하여 억양, 목소리 등을 따라 하게 만드는 기술이다. 본 논문은 딥페이크 기술을 활용하여 애니메이션 모델과 실제 인물사진의 합성을 통한 가상 캐릭터생성을 연구한다. 이를 통해 애니메이션 제작과정에서 일어나는 여러 가지 비용 손실을 최소화하고 작가들의 작업을 지원할 수 있다. 또한, 딥페이크 오픈소스가 인터넷에 퍼짐에 따라 많은 문제들이 나타나면서 딥페이크 기술을 악용한 범죄가 성행하고 있다. 본 연구를 통해서 딥페이크 기술을 성인물이 아닌 아동물에 적용하여 이 기술에 대한 새로운 관점을 제시한다.

인공지능 기반 작곡 프로그램 현황 및 제언 (Artificial Intelligence Applications to Music Composition)

  • 이성훈
    • 문화기술의 융합
    • /
    • 제4권4호
    • /
    • pp.261-266
    • /
    • 2018
  • 본 연구는 인공지능 기반 작곡 프로그램 현황을 살펴보고 실정을 고려한 제언을 제공하고자 한다. 인공지능 기반 작곡 프로그램은 기존의 '전문가 시스템' 방식의 알고리즘을 벗어나 심층신경망 이론의 발전 및 빅데이터 처리 기술 향상과 더불어 눈부신 성장을 보이고 있다. 이에 따라 클래식 음악과, 팝음악을 작곡하는데 있어 인공지능 기반 작곡 프로그램이 학계와 산업계에서 다양하게 제안되고 있으며, 최근 수년 사이 대중의 평가도 달라지고 있다. 다만 해당 기술 개발과 관련하여 여전한 한계점들이 분명히 존재하는 바, 대중의 인식 문제, 데이터베이스화되지 않은 가치 있는 사료들의 누락, 관련 법규의 미비, 음악적인 부분보다는 기술적 관점에서 해당 산업이 주도되는 점 등을 개선할 필요가 있겠다. 이 같은 점이 보완된다면, 인공지능 기반 기술은 국가 경쟁력 확보와 유지에 있어 중요한 역할을 해낼 것으로 보인다.