• 제목/요약/키워드: 데이터생성

검색결과 7,167건 처리시간 0.035초

도커와 쿠버네티스 기반 미세먼지 데이터 수집 방안 (Docker and Kubernetes Based Approaches for PM Data Collection)

  • 최효현;김연욱
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
    • /
    • pp.305-306
    • /
    • 2024
  • 본 논문에서는 도커와 쿠버네티스를 활용하여 미세먼지 데이터를 수집할 때 다량으로 늘어나는 데이터를 효율적으로 수집하고 관리하기 위한 방안을 제시한다. 도커 이미지는 작성된 Dockerfile을 통해 생성되며, 필요한 의존성과 설정이 반영되어 있다. 쿠버네티스를 이용하여 생성된 도커 이미지를 기반으로 컨테이너를 생성하고, 컨테이너들을 파드 내에서 실행함으로써 데이터를 효율적으로 수집하고 관리한다.

  • PDF

호스트 기반 침입 탐지 데이터 분석 비교 (A Host-based Intrusion Detection Data Analysis Comparison)

  • 박대경;신동규;신동일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 춘계학술발표대회
    • /
    • pp.490-493
    • /
    • 2020
  • 오늘날 정보통신 기술이 급격하게 발달하면서 IT 인프라에서 보안의 중요성이 높아졌고 동시에 APT(Advanced Persistent threat)처럼 고도화되고 다양한 형태의 공격이 증가하고 있다. 점점 더 고도화되는 공격을 조기에 방어하거나 예측하는 것은 매우 중요한 문제이며, NIDS(Network-based Intrusion Detection System) 관련 데이터 분석만으로는 빠르게 변형하는 공격을 방어하지 못하는 경우가 많이 보고되고 있다. 따라서 HIDS(Host-based Intrusion Detection System) 데이터 분석을 통해서 위와 같은 공격을 방어하는데 현재는 침입탐지 시스템에서 생성된 데이터가 주로 사용된다. 하지만 데이터가 많이 부족하여 과거에 생성된 DARPA(Defense Advanced Research Projects Agency) 침입 탐지 평가 데이터 세트인 KDD(Knowledge Discovery and Data Mining) 같은 데이터로 연구를 하고 있어 현대 컴퓨터 시스템 특정을 반영한 데이터의 비정상행위 탐지에 대한 연구가 많이 부족하다. 본 논문에서는 기존에 사용되었던 데이터 세트에서 결여된 스레드 정보, 메타 데이터 및 버퍼 데이터를 포함하고 있으면서 최근에 생성된 LID-DS(Leipzig Intrusion Detection-Data Set) 데이터를 이용한 분석 비교 연구를 통해 앞으로 호스트 기반 침입 탐지 데이터 시스템의 나아갈 새로운 연구 방향을 제시한다.

인공신경망 이론과 비정형데이터를 활용한 하천수위 예측에 관한 연구 (A Study on the Prediction of River Water Level Using Artificial Neural Network Theory and Unstructured Data)

  • 이정하;황석환
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2020년도 학술발표회
    • /
    • pp.388-388
    • /
    • 2020
  • 매년 국지성호우 및 태풍으로 인해 하천 범람이나 저지대침수가 발생하고 있으며 이는 인명 피해 사례로 이어지기도 한다. 피해 발생을 최소화시키기 위해 강우와 유량과 같은 정형데이터로 홍수예보가 이뤄지고 있으나 기존의 정형데이터만 사용하다보니 도심지역이나 소규모 하천에서 인명 피해 예측에 어려움이 있다. 이를 보완하기 위해서는 인구의 유동성을 고려한 비정형데이터를 활용해야 한다. 최근 소셜 네트워크 서비스(SNS)의 사용자가 증가됨에 따라 텍스트나 사진과 같은 다양한 비정형데이터가 생성되고 있다. 이렇게 생성된 데이터는 다양한 분야에서 활용되고 있으며 특히 지진이나 홍수와 같은 재난 발생 시 유용한 데이터로 활용된 사례가 증가하고 있다. 이는 사람들이 GIS와 같은 위치정보나 시간 등을 포함한 다양한 정보를 포함하기 때문이다. 하지만 이렇게 생산된 비정형데이터를 기존 물리적 기반의 수문모형의 데이터로 활용하기에는 많은 한계점이 있다. 따라서 본 연구에서는 SNS 채널을 통해 생성된 비정형 데이터들을 인공신경망모형에 적용하여 하천수위를 예측하였다.

  • PDF

GAN 기반 데이터 증강기법을 통한 가속도 데이터 생성에 대한 연구 (A Study of GAN-based data augmentation technique on Acceleration Data Gereration)

  • 강성환;조위덕
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.495-497
    • /
    • 2022
  • 본 데이터 GAN 기법 데이터 증강기법을 적용하여 가속도 데이터를 증강하는 방법에 대해 연구한다. 가속도 데이터는 사람의 활동패턴을 인지하는데 있어 가장 기본적인 데이터로 활용된다. 가속도 데이터를 증강한 뒤, 활동패턴을 인지하는 머신러닝 모델 훈련에 사용한 결과 생성한 데이터가 육안으로 확인하였을 때 실제 데이터와 유사한 패턴을 형성하였고, 실제 활동패턴인지 모델 훈련에 사용한 결과 정확도(Accuracy)는 기존 데이터로만 훈련한 경우 74%인데 비해 증강된 데이터를 혼합하여 훈련하였을 때 약 88%로 개선된 것을 확인하였다.

  • PDF

콤팩트 HF 레이더를 이용한 선박 검출 및 추적 연구를 위한 Range-Doppler Map 생성 시뮬레이터 (Range-Doppler Map generating simulator for ship detection and tracking research using compact HF radar)

  • 이영로;박상욱;이상호;고한석
    • 전자공학회논문지
    • /
    • 제54권5호
    • /
    • pp.90-96
    • /
    • 2017
  • 낮은 비용으로 넓은 관측 범위를 갖는다는 장점으로 최근 해양 감시 시스템 개발을 위해 HF 레이더를 이용한 선박 검출 및 추적 연구가 수행되고 있다. HF 레이더를 이용한 해양 감시를 위해 수많은 선박 관측과 추적 알고리즘이 개발되었지만, 각 연구에 사용된 데이터는 선박의 이동 경로와 크기 등 대상 선박에 대한 조건이 다르기 때문에 동등한 조건에서 그 성능을 비교할 수 없다. 본 논문에서는 선박 크기와 이동 경로에 따른 데이터를 생성할 수 있는 콤팩트 HF 레이더 기반 데이터 생성 시뮬레이터를 제안한다. 이를 통해 생성된 데이터를 이용하면 동일한 선박 조건에서 성능 비교가 가능할 것이다. 실험에서는 제안하는 시뮬레이터에서 생성된 데이터와 SeaSonde HF 레이더 사이트에서 실제 관측된 데이터를 비교하였다. 비교 결과, 제안하는 시뮬레이터를 사용하여 생성된 데이터와 실제 환경에서 획득된 데이터가 유사함을 확인할 수 있었다. 그러므로 선박의 크기 및 이동 경로에 따라 생성된 시뮬레이션 데이터를 사용함으로써, 알고리즘의 검출 및 추적 성능을 각각 비교, 분석 할 수 있을 것이다.

딥러닝 기반의 한글 폰트 연구를 위한 한글 폰트 데이터셋 (Hangul Font Dataset for Korean Font Research Based on Deep Learning)

  • 고홍희;이현수;석정재;;최재영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제10권2호
    • /
    • pp.73-78
    • /
    • 2021
  • 최근 딥러닝에 대한 관심이 증가하면서 이를 이용한 다양한 분야에서 연구가 진행되고 있다. 그러나 딥러닝 기반의 생성 모델을 이용하는 폰트의 자동 생성 연구들은 로마자 및 한자와 같은 몇 언어들에 국한되어 연구되고 있다. 한글 폰트 디자인은 매우 큰 시간과 비용이 들어가는 작업으로, 딥러닝을 이용하면 손쉽게 생성할 수 있다. 한글 폰트를 생성하는 연구는 딥러닝 기반의 생성 모델들과 발맞추기 위해 프로세스 자동화 관점에서 한글 폰트 데이터셋을 준비하는 것이 중요하다. 이를 위하여 본 논문에서는 딥러닝 기반의 한글 폰트 연구를 위한 한글 폰트 데이터셋을 제안하고. 그 데이터셋을 구성하는 방법을 기술한다. 본 논문에서 제안하는 한글 폰트 데이터셋을 기반으로 딥러닝 한글 폰트 생성 어플리케이션에 적용하는 과정을 통해 제안하는 데이터셋 구성의 유용성을 보인다.

GAN 알고리즘 개선을 위한 히스토그램 분석 기반 파손 영상 선별 방법 (A Broken Image Screening Method based on Histogram Analysis to Improve GAN Algorithm)

  • 조진환;장종욱;장시웅
    • 한국정보통신학회논문지
    • /
    • 제26권4호
    • /
    • pp.591-597
    • /
    • 2022
  • 최근 데이터셋을 효율적으로 구축하는 방법으로 데이터 증강 기법과 관련하여 많은 연구가 이루어지고 있다. 이 중 대표적인 데이터 증강 기법은 생성적 적대 신경망(Generative Adversarial Network:GAN)을 활용하는 방법이며, 이는 생성자와 판별자를 서로 경쟁 학습시킴으로써 진짜 데이터와 유사한 데이터를 생성해내는 기법이다. 그러나, GAN을 학습할 때 환경 및 진행 정도에 따라 생성되는 유사 데이터 중에서 픽셀이 깨지는 파손 영상이 발생하는 경우가 있으며, 이러한 영상은 데이터셋으로 활용할 수 없고 학습 시간을 증가시키는 원인이 된다. 본 논문에서는 GAN 학습 과정에서 생성되는 영상 데이터의 히스토그램을 분석하여 이러한 파손 영상을 선별해내는 알고리즘을 개발하였으며, 기존 GAN에서 생성되는 영상과 비교해 본 결과 파손 영상의 비율을 33.3배(3,330%) 감소시켰다.

시계열 생성적 적대 신경망을 이용한 비행체 궤적 합성 데이터 생성 및 비행체 궤적 예측에서의 활용에 관한 연구 (A Study on Synthetic Flight Vehicle Trajectory Data Generation Using Time-series Generative Adversarial Network and Its Application to Trajectory Prediction of Flight Vehicles)

  • 박인희;이창진;정찬호
    • 전기전자학회논문지
    • /
    • 제25권4호
    • /
    • pp.766-769
    • /
    • 2021
  • 딥러닝을 포함한 머신러닝 기법을 기반으로 비행체의 궤적 설계, 제어, 최적화, 예측 등의 작업을 수행하기 위해서는 일정한 양 이상의 비행체 궤적 데이터를 필요로 한다. 그러나 다양한 이유(예를 들어 비행체 궤적 데이터셋 구축에 필요한 비용, 시간, 인력 등)로 일정한 양 이상의 비행체 궤적 데이터를 확보하기 어려운 경우가 존재한다. 이러한 경우 합성 데이터 생성이 머신러닝을 가능하게 하는 방법 중 하나가 될 수 있다. 본 논문에서는 이와 같은 가능성을 탐구하기 위하여 시계열 생성적 적대 신경망을 이용하여 비행체 궤적 합성 데이터를 생성하고 평가하였다. 또한 비행체의 상태를 인식하기 위한 비행체 궤적 예측 작업에서 합성 데이터의 활용 가능성을 탐구하기 위하여 다양한 ablation study(비교 실험)를 수행하였다. 본 논문에서 제시된 생성 평가 및 비교 실험 결과는 비행체 궤적 합성 데이터 생성 및 비행체 궤적 관련 작업에서 합성 데이터의 활용 가능성에 대한 연구를 수행하고자 하는 연구자들에게 실질적인 도움이 될 것으로 예상한다.

VAE와 CNN이 결합된 모델을 이용한 한국어 문장 생성과 감성 분석 (Korean Text Generation and Sentiment Analysis Using Model Combined VAE and CNN)

  • 김건영;이창기
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.430-433
    • /
    • 2018
  • 딥러닝 모델의 성능 향상을 위해 적은 데이터를 증가시킬 수 있는 연구들이 필요하다. 이미지의 경우 회전, 이동, 반전등의 연산으로 쉽게 데이터를 증가시킬 수 있지만 자연어는 그렇지 않다. 그러나 최근 딥러닝 생성 모델의 발전으로 기존 자연어 데이터를 생성 모델을 통해 양을 늘려 실험하는 연구들이 많이 시도되었다. 본 논문에서는 문장 데이터 생성을 위한 VAE, 문장 분류를 위한 CNN이 결합된 모델을 한국어 영화평 데이터에 적용하여 기존 모델보다 0.146% 높은 86.736%의 정확도를 기록하였다.

  • PDF

유전자 발현량 데이터 증대를 위한 Conditional VAE 기반 생성 모델 (Conditional Variational Autoencoder-based Generative Model for Gene Expression Data Augmentation)

  • 봉현수;오민식
    • 방송공학회논문지
    • /
    • 제28권3호
    • /
    • pp.275-284
    • /
    • 2023
  • 유전자 발현 데이터는 질병의 예후 예측, 약물 반응성 예측 등 질병에 대한 이해와 정밀 의료 실현을 위한 연구들에 활용될 수 있지만 충분한 양의 데이터를 수집하는 데 많은 비용적 문제가 있다. 본 논문에서는 Conditional VAE에 기반한 유전자 발현 데이터 생성 모델을 제안하였다. 이전 연구인 WGAN-GP기반의 유전자 발현 생성 모델과 정형 데이터 생성 모델인 CTGAN, TVAE와 비교하여 본 논문의 Conditional VAE기반 모델이 생물학적, 통계학적으로 더 유의미한 합성 데이터를 생성할 수 있음을 보였다.