• 제목/요약/키워드: bigdata

검색결과 644건 처리시간 0.022초

빅데이터 프로젝트의 위험요인 식별과 우선순위 분석 (Risk Factors Identification and Priority Analysis of Bigdata Project)

  • 김승희
    • 한국인터넷방송통신학회논문지
    • /
    • 제19권2호
    • /
    • pp.25-40
    • /
    • 2019
  • 최근 많은 기업들이 대용량의 빅데이터 분석을 통하여 신사업을 발굴하거나 경영 및 기술 전략의 전환에 앞서 명시적인 근거를 마련하기 위하여 빅데이터 분석 및 활용을 위한 프로젝트를 수행하고 있다. 그러나 다수의 빅데이터 프로젝트가 정해진 기한 내에 종료를 못하여 실패하고 있음이 국내외적 문제로 대두되고 있다. 이는 공학적 관점에서 빅데이터 프로젝트의 위험 관리를 위한 지식 기반이 매우 미흡한 현 상황과 무관하지 않다. 따라서 본 논문에서는 빅데이터 구축 및 활용 프로젝트의 위험 요인을 분석하고, 중요도가 높은 위험 요인들을 도출한다. 이를 위해 문헌 연구로부터 프로젝트 위험 요인을 추출하고 친화도 기법을 통해 그룹화한 후 전문가 설문을 통해 중요도가 높은 위험 요인을 도출한다. 도출된 요인들을 대상으로 요인분석을 통해 빅데이터 프로젝트의 위험요인 분류표를 도출한다. 본 연구는 빅데이터 프로젝트에 대한 위험 식별, 위험 평가, 위험 분석을 위한 가장 기초가 되는 통제 지표의 개발이라는 데 큰 의미가 있으며, 향후 빅데이터 프로젝트와 관련된 효율적인 위험 관리의 이론적 근거를 제공함으로써 성공적인 빅데이터 프로젝트를 견인하는데 기초자료로써 크게 기여할 것으로 사료된다.

이동통신 데이터를 활용한 빅데이터 기반 역학조사지원 시스템 (Big Data based Epidemic Investigation Support System using Mobile Network Data)

  • 이민우;김예지;이재진;문규환;황선배;전용주;함유근
    • 한국빅데이터학회지
    • /
    • 제5권2호
    • /
    • pp.187-199
    • /
    • 2020
  • WHO는 3월 11일을 기준으로 COVID-19를 유행병으로 선포하였다. 국내에서는 27,000명의 확진자가 발생하였으며, 전세계적으로는 5,000만명이 넘는 확진자가 발생하였다. 이처럼 COVID-19으로 인한 감염이 확산되면서 역학조사의 중요성이 다시 한 번 대두되고 있는 상황이다. 하지만 지난 대구 경북 사례를 시작으로 다수의 확진자가 발생하였고, 현재 역학조사 방식에 한계가 있음을 인지하였다. 이에 질병관리본부는 스마트시티 데이터허브 기술을 활용한 역학조사 지원시스템을 개발하여 역학조사에 활용하였다. 본 논문에서 제안하는 시스템은 역학조사 지원시스템의 일부로 대용량의 이동통신사 데이터를 처리하기 위한 빅데이터 기반 역학조사 지원 시스템이다. 본 시스템을 통해 기존에는 어려웠던 이동통신사 데이터의 이상치 처리나 2명 이상의 접촉자가 발생한 핫스팟 지역 생성 등의 처리가 가능해졌다. 그 결과, 이상치 처리는 요청건당 30초, 핫스팟의 경우 평균 10분 이내에 처리할 수 있게 되었다. 본 연구는 빅데이터 시스템을 역학조사에 접목하고 역학조사를 지원한 첫 사례로써, 빅데이터 시스템의 역학조사에 대한 실용적 활용 가능성을 제시하고 있다.

구글어스엔진 클라우드 컴퓨팅 플랫폼 기반 위성 빅데이터를 활용한 수재해 모니터링 연구 (Research of Water-related Disaster Monitoring Using Satellite Bigdata Based on Google Earth Engine Cloud Computing Platform)

  • 박종수;강기묵
    • 대한원격탐사학회지
    • /
    • 제38권6_3호
    • /
    • pp.1761-1775
    • /
    • 2022
  • 예측하기 힘든 기후변화로 인해 물 관련 재해의 발생 빈도와 피해 규모도 지속적으로 증가하는 추세이다. 재난관리의 측면에서 광범위한 지역의 피해면적을 파악하고, 중·장기적 예측을 위한 모니터링이 필수적이다. 수재해 분야에서 광역적 모니터링을 위해 Synthetic Aperture Radar (SAR) 위성영상을 활용한 원격탐사 기술 연구가 활발히 진행되고 있다. 수재해 모니터링을 위한 시계열 분석에는 방대한 양의 영상수집과 잡음이 많은 레이더 산란 특성을 고려한 복잡한 전처리과정이 필요하며, 이를 위해 상당한 시간이 소요되는 한계가 있다. 최근 클라우드 컴퓨팅 기술의 발전과 함께 위성 빅데이터를 활용한 시·공간 분석이 가능한 많은 플랫폼들이 제안되고 있다. 구글어스엔진(Google Earth Engine, GEE)은 대표적인 플랫폼으로, 600여개의 위성 자료를 무료로 제공하고 있으며 위성영상의 분석준비데이터를 기반으로 준-실시간 시·공간 분석이 가능하다. 이에 본 연구에서는 구글어스엔진을 활용한 즉각적인 수재해 피해 탐지와 중·장기적 시계열 관측 연구를 수행하였다. 변화탐지에 주로 활용되는 Otsu 기법을 통해 '20년 발생한 집중호우를 중심으로 하천 범람으로 인한 하폭의 변화와 피해 면적을 확인하였다. 또한 재난관리 측면에서 모니터링의 중요성이 요구되는 만큼 상습침수지역으로 선정된 연구대상 지역을 중심으로 '18년부터 '22년까지의 시계열 수체의 변화 경향을 확인하였다. 구글어스엔진은 자바스크립트 기반 코딩을 통한 짧은 처리시간, 시공간 분석과 표출의 강점으로 수재해 분야 활용이 가능할 것으로 판단된다. 더불어 향후 다양한 위성 빅데이터와의 연계를 통해 활용 분야가 확대될 것으로 기대된다.

중소 제조기업의 경쟁력 강화를 위한 제조AI 핵심 정책과제 도출에 관한 연구 (Discovering Essential AI-based Manufacturing Policy Issues for Competitive Reinforcement of Small and Medium Manufacturing Enterprises)

  • 김일중;김우순;김준영;채희수;우지영;도경민;임성훈;신민수;이지은;김흥남
    • 품질경영학회지
    • /
    • 제50권4호
    • /
    • pp.647-664
    • /
    • 2022
  • Purpose: The purpose of this study is to derive major policies that domestic small and medium-sized manufacturing companies should consider to maximize productivity and quality improvement by utilizing manufacturing data and AI, and to find priorities and implications. Methods: In this study, domestic and international issues and literature review by country were conducted to derive major considerations such as manufacturing AI technology, manufacturing AI talent, manufacturing AI data and manufacturing AI ecosystem. Additionally, the questionnaire survey targeting 46 experts of manufacturing data and AI industry were conducted. Finally, the major considerations and detailed factors importance were derived by applying the Analytic Hierarchy Process (AHP). Results: As a result of the study, it was found that 'manufacturing AI technology', 'manufacturing AI talent', 'manufacturing AI data', and 'manufacturing AI ecosystem' exist as key considerations for domestic manufacturing AI. After empirical analysis, the importance of the four key considerations was found to be 'manufacturing AI ecosystem (0.272)', 'manufacturing AI data (0.265)', 'manufacturing AI technology (0.233)', and 'manufacturing AI talent (0.230)'. The importance of the derived four viewpoints is maintained at a similar level. In addition, looking at the detailed variables with the highest importance for each of the four perspectives, 'Best Practice', 'manufacturing data quality management regime, 'manufacturing data collection infrastructure', and 'manufacturing AI manpower level of solution providers' were found. Conclusion: For the sustainable growth of the domestic manufacturing AI ecosystem, it should be possible to develop and promote manufacturing AI policies in a balanced way by considering all four derived viewpoints. This paper is expected to be used as an effective guideline when developing policies for upgrading manufacturing through domestic manufacturing data and AI in the future.

데이터의 불균형성을 제거한 네트워크 침입 탐지 모델 비교 분석 (Experimental Comparison of Network Intrusion Detection Models Solving Imbalanced Data Problem)

  • 이종화;방지원;김종욱;최미정
    • KNOM Review
    • /
    • 제23권2호
    • /
    • pp.18-28
    • /
    • 2020
  • 컴퓨팅 환경의 발전에 따라 IT 기술이 의료, 산업, 통신, 문화 등의 분야에서 사람들에게 제공해주는 혜택이 늘어나 삶의 질도 향상되고 있다. 그에 따라 발전된 네트워크 환경을 노리는 다양한 악의적인 공격이 존재한다. 이러한 공격들을 사전에 탐지하기 위해 방화벽, 침입 탐지 시스템 등이 존재하지만, 나날이 진화하는 악성 공격들을 탐지하는 데에는 한계가 있다. 이를 해결하기 위해 기계 학습을 이용한 침입 탐지 연구가 활발히 진행되고 있지만, 학습 데이터셋의 불균형으로 인한 오탐 및 미탐이 발생하고 있다. 본 논문에서는 네트워크 침입 탐지에 사용되는 UNSW-NB15 데이터셋의 불균형성 문제를 해결하기 위해 랜덤 오버샘플링 방법을 사용했다. 실험을 통해 모델들의 accuracy, precision, recall, F1-score, 학습 및 예측 시간, 하드웨어 자원 소모량을 비교 분석했다. 나아가 본 연구를 기반으로 랜덤 오버샘플링 방법 이외에 불균형한 데이터 문제를 해결할 수 있는 다른 방법들과 성능이 높은 모델들을 이용하여 좀 더 효율적인 네트워크 침입 탐지 모델 연구로 발전시키고자 한다.

앙상블 기반의 악취 농도 다지역 통합 예측 모델 개발 (Development of an Ensemble-Based Multi-Region Integrated Odor Concentration Prediction Model)

  • 조성주;최우석;최상현
    • 지능정보연구
    • /
    • 제29권3호
    • /
    • pp.383-400
    • /
    • 2023
  • 전 세계적으로 대기오염 관련 질병 발병률이 상승하고, 2022년 세계보건기구의 보고에 따르면 매년 약 700만 명의 사망자가 발생하고 있다. 또한, 산업 시설 확장과 다양한 배출원 증가, 그리고 악취 물질의 무분별한 방출로 인해 대기오염 문제는 사회적으로 중요성을 띄고 있다. 한국에서도 악취를 독립적인 환경오염으로 정의하며, 지역 주민의 건강에 직접적인 영향을 미치는 문제로 간주하고 있으나 현재까지 악취 관리가 미흡하며 악취 관리 시스템의 개선이 필요하다. 본 연구에서는 악취 관리 시스템 개선을 목표로 충청북도 오창에 설치된 악취 센서에서 수집한 1,010,749개 데이터를 활용하여 앙상블 기반의 악취 농도 다지역 통합 예측 모델을 설계하고 분석하였다. 연구 결과, XGBoost 알고리즘을 사용한 모델의 RMSE가 0.0096로 가장 성능이 좋았으며, 단일 지역 모델(0.0146)과 비교하여 평균 오차 크기가 51.9% 낮았다. 이를 통해 서로 다른 지역에서 수집된 악취 농도 데이터를 표준화한 후 다지역 통합 예측 모델을 설계함으로써 데이터의 양을 늘리고 정확도를 높일 수 있으며 또한, 하나의 통합 모델로 다양한 지역에서 예측이 가능함을 확인하였다.

시뮬레이션 기반 풀필먼트센터 최적 AGV 및 AMR 운영 계획 수립 (Optimal Operational Plan of AGV and AMR in Fulfillment Centers using Simulation)

  • 최준혁;신광섭
    • 한국빅데이터학회지
    • /
    • 제6권2호
    • /
    • pp.17-28
    • /
    • 2021
  • 최근 4차산업 혁명 기술의 성장과 코로나바이러스 확산으로 인해 모바일 중심의 온라인 쇼핑 시장이 급격하게 성장하게 되었으며, 다양한 차별화 전략을 앞세운 많은 기업들이 치열하게 경쟁하고 있다. 보다 높은 수준의 배송서비스를 요구하는 고객들을 만족시키기 위해 풀필먼트센터라는 개념이 등장하였고, 이를 통해 기존 주문 이후 집하에서 배송까지 수행되던 프로세스의 전체 처리 시간과 효율성을 개선할 수 있게 되었다. 그러나, 여전히 풀필먼트센터 내에서의 작업 효율성이 전체 배송 서비스의 수준을 결정하는 제약요인으로 작용하고 있다. 이를 해결하기 위해 빅데이터, 사물인터넷 및 인공지능을 활용한 수요 예측과 공급의 조정 등과 같은 다양한 방법이 제시되고 있으나, 그 한계가 분명히 존재한다. 풀필먼트센터 내 가장 많은 작업시간과 비효율성을 초래하는 과정이 주문된 상품의 집하 작업 이후 배송을 위한 포장까지이므로, 이 과정을 자동화하기 위한 노력이 필요하다. 본 연구에서는 상품이 보관되어 있는 위치에서 포장을 위한 장소로의 집하와 상품 이동을 자동화하기 위한 AGV와 AMR의 효율적 운영을 위한 계획을 수립하기 위한 방안을 제시한다. 풀필먼트센터 내 보관된 상품의 수, 상품별 수요에 따라 투입되는 자동화 장비의 운영 효율성이 달라질 수 있기 때문에 다양한 시나리오를 기반으로 시뮬레이션을 수행하였다. 본 연구를 통해 얻은 결과를 바탕으로 풀필먼트센터 내 자동화 장비 도입 시 검토해야 할 다양한 요인을 확인할 수 있으며, 급변하는 시장 수요에 유연하게 대응하기 위해 효율성을 기준으로 최적 의사결정을 위한 참고자료로 활용할 수 있을 것이다.

Bigdata 분석과 인공지능 적용한 GIS 최적화 연구 (GIS Optimization for Bigdata Analysis and AI Applying)

  • 곽은영;박대우
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2022년도 춘계학술대회
    • /
    • pp.171-173
    • /
    • 2022
  • 4차 산업혁명 기술은 국민들의 생활을 효율적인 방향으로 발전시키고 있다. 인터넷 상에서 제공되는 GIS는 국민이 원하는 목적지에 빠르게 도달할 수 있도록 교통안내, 시간안내 등의 서비스를 제공한다. 국토지리정보원과 지방자치단체들은 생활 SOC 접근성을 조사하여 최적지점 분석에 활용하기 위한 기초 자료를 제작하고 있으며, 본 연구는 최단거리 구성을 위하여 출발점에서 도착점까지의 접근성을 분석하였다. Dijkstra알고리즘을 활용하여 도로망도와 출발지점, 도착점을 통해 최단거리를 계산하고 이를 활용하여 최적의 접근성을 계산하였다. 연구 결과 다수의 도착점에 대한 분석을 수행한 경우 약 0.1% 이상의 오류가 나타났으며, 최적지점을 위한 위치 분석을 위하여 3번 이상의 분석이 필요하였다. 다대다(M × N) 계산을 처리할 경우 더 많은 시간이 소요되었으며, 본 분석을 위해 32G이상의 메모리 사양이 요구되었다. 범용적인 최적 접근성 분석 서비스의 제공은 기업의 창업 및 생활 시설의 위치 선정에 효과적으로 이용될 수 있으며, 국민 누구나 시설 및 주거지 선정 시 서비스를 활용할 수 있다. 본 연구를 기반으로 효율적이고 편한 푸시 서비스를 국민과 정부기관에 제공한다면 국가와 사회의 발전에 이바지 될 것이다.

  • PDF

평점 예측 모델 개발을 위한 관광지 만족도 정량 지수 구축: 제주도 관광지 리뷰를 중심으로 (Development of a Tourist Satisfaction Quantitative Index for Building a Rating Prediction Model: Focusing on Jeju Island Tourist Spot Reviews)

  • 윤동규;박기태;최상현
    • 지능정보연구
    • /
    • 제29권4호
    • /
    • pp.185-205
    • /
    • 2023
  • 코로나19 팬데믹 이후 관광 산업이 회복되면서 많은 관광객들이 다양한 플랫폼을 활용하고 리뷰를 남기고 있지만, 대량의 데이터 속에서 유용한 정보를 찾기 어려워 아직도 여행지 선정 과정에서 많은 시간과 비용이 낭비되고 있다. 이에 따라 많은 연구들이 진행되고 있지만, 평점이 없거나 플랫폼별로 다른 형태의 평점 제공으로 인해 연구에 한계를 가지고 있으며, 평점과 리뷰 내용이 일치하지 않는 경우도 있어 추천 모델 구축에 어려움을 주고 있다. 본 연구에서는 이러한 문제를 해결하기 위해 7,104개의 제주도 지역 관광지 리뷰를 활용하여 제주도에 특화된 관광지 만족도 정량 지수를 개발하고 이를 활용하여 '평점 예측 모델'을 구축하였다. 모델의 성능을 확인하기 위해 실험 데이터 700건의 평점을 본 연구에서 개발된 모델과 LSTM을 활용하여 예측 하였으며, 제안된 모델이 LSTM 보다 약 4.67% 높은 73.87%의 가중 정확도로 성능이 더 우수한 것을 확인하였다. 본 연구의 결과를 통해 평점과 리뷰 내용 사이의 불일치 문제를 해결하고, 평점이 없는 리뷰나 다양한 형태의 평점을 정형할 수 있으며, 다른 도메인에 적용하여 여행의 모든 분야에서 신뢰할 수 있는 평점 지표를 제공할 수 있을 것으로 기대된다.

가상화폐에 대한 빅데이터 분석 (The Analysis of Big-Data on Virtual Currency)

  • 김도관
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2018년도 춘계학술대회
    • /
    • pp.122-124
    • /
    • 2018
  • 가상화폐가 일반인들의 재테크 수단으로 발전하고 있는 상황에서 본 연구에서는 가상화폐에 대한 빅데이터 분석을 실시하고자 한다. 가상화폐에 대한 빅데이터 분석은 블로그와 트위터와 같은 SNS상에서 가상화폐에 대한 논의를 집중적으로 분석한다.

  • PDF