• 제목/요약/키워드: 데이터 전처리기법

검색결과 427건 처리시간 0.028초

XGBoost 기반 침입탐지모델을 위한 데이터 스케일링 및 특성선택 기법 연구 (A study on data scaling and feature selection techniques for XGBoost-based intrusion detection model)

  • 김영원;이수진
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.251-254
    • /
    • 2022
  • 본 논문은 XGBoost 알고리즘 기반의 침입탐지모델의 성능을 향상하기 위한 스케일링(scaling) 및 특성선택(feature selection) 기법을 제안한다. 머신러닝 모델 개발 중 전처리 단계에서 스케일링 및 특성선택을 수행하면 데이터세트의 조건수가 감소하여 모델의 성능을 향상할 수 있다. 각 과정별로 다양한 기법이 있지만 기존의 연구에서는 이러한 기법들을 적용한 결과를 비교·분석하지 않고 특정 기법을 적용한 결과만을 나열하였고 스케일링 및 특성선택에 대해 최적의 조합은 제시하지 못하였다. 따라서 본 논문에서는 다양한 전처리 기법들의 적용결과를 비교하고 최적의 조합을 제안한다. 또한 기존의 연구들이 특정 데이터세트에만 적용 가능한 전처리 기법을 제안하는데 비해 본 논문은 다양한 데이터세트에 대해 공통적으로 적용 가능한 전처리 기법을 제안함으로써 제안 기법의 범용성과 실세계 적용 가능성을 증명한다.

  • PDF

한국어 뉴스 분석 성능 향상을 위한 번역 전처리 기법 (Translation Pre-processing Technique for Improving Analysis Performance of Korean News)

  • 이지민;정다운;구영현;유성준
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 하계학술대회
    • /
    • pp.619-623
    • /
    • 2020
  • 한국어는 교착어로 1개 이상의 형태소가 단어를 이루고 있기 때문에 텍스트 분석 시 형태소를 분리하는 작업이 필요하다. 자연어를 처리하는 대부분의 알고리즘은 영미권에서 만들어졌고 영어는 굴절어로 특정 경우를 제외하고 일반적으로 하나의 형태소가 단어를 구성하는 구조이다. 그리고 영문은 주로 띄어쓰기 위주로 토큰화가 진행되기 때문에 텍스트 분석이 한국어에 비해 복잡함이 떨어지는 편이다. 이러한 이유들로 인해 한국어 텍스트 분석은 영문 텍스트 분석에 비해 한계점이 있다고 알려져 있다. 한국어 텍스트 분석의 성능 향상을 위해 본 논문에서는 번역 전처리 기법을 제안한다. 번역 전처리 기법이란 원본인 한국어 텍스트를 영문으로 번역하고 전처리를 거친 뒤 분석된 결과를 재번역하는 것이다. 본 논문에서는 한국어 뉴스 기사 데이터와 번역 전처리 기법이 적용된 영문 뉴스 텍스트 데이터를 사용했다. 그리고 주제어 역할을 하는 키워드를 단어 간의 유사도를 계산하는 알고리즘인 Word2Vec(Word to Vector)을 통해 유사 단어를 추출했다. 이렇게 도출된 유사 단어를 텍스트 분석 전문가 대상으로 성능 비교 투표를 진행했을 때, 한국어 뉴스보다 번역 전처리 기법이 적용된 영문 뉴스가 약 3배의 득표 차이로 의미있는 결과를 도출했다.

  • PDF

360 도 ERP 영상에서 행동 인식 모델 성능 향상을 위한 전처리 기법 (Preprocessing Methods for Action Recognition Model in 360-degree ERP Video)

  • 박은수;유재성;김승환;류은석
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2019년도 추계학술대회
    • /
    • pp.252-255
    • /
    • 2019
  • 본 논문에서 Equirectangular projection(ERP) 영상을 행동 인식 모델에 입력하기전 제안하는 전처리를 통하여 성능을 향상시키는 것을 보인다. ERP 영상의 특성상 행동 인식을 하는데 불필요한 영역이 일반적인 2D 카메라로 촬영한 영상보다 많다. 또한 행동 인식은 사람이 Object of Interest(OOI)이다. 따라서 객체 인식모델로 인간 객체를 인식한 후 Region of Interest(ROI)를 추출하여 불필요한 영역을 없애고, 왜곡 또한 줄어든다. 본 논문에서 제안하는 기법으로 전처리 후 CNN-LSTM 모델로 성능을 테스트했다. 제안하는 방법으로 전처리를 한 데이터와 하지 않은 데이터로 행동 인식을 한 정확도로 비교하였으며 제안하는 기법으로 전처리 한 데이터로 행동 인식을 한 경우 데이터의 특성에 따라 다르지만, 최대 61%까지 성능향상을 보였다.

  • PDF

메타휴리스틱 최적화 알고리즘-딥러닝 결합모형의 성능 개량을 위한 데이터 전처리의 적용 (Application of data preprocessing to improve the performance of the metaheuristic optimization algorithm-deep learning combination model)

  • 류용민;이의훈
    • 한국수자원학회:학술대회논문집
    • /
    • 한국수자원학회 2022년도 학술발표회
    • /
    • pp.114-114
    • /
    • 2022
  • 딥러닝의 학습 및 예측성능을 개선하기 위해서는 딥러닝 기법 내 연산과정의 개선과 함께 학습 및 예측에 사용되는 데이터의 전처리 과정이 중요하다. 본 연구에서는 딥러닝의 성능을 개량하기 위해 제안된 메타휴리스틱 최적화 알고리즘-딥러닝 결합모형과 데이터 전처리 기법을 통해 댐의 수위를 예측하였다. 수위예측을 위해 Multi-Layer Perceptron(MLP), 메타휴리스틱 최적화 알고리즘인 Harmony Search(HS)와 딥러닝을 결합한 MLP using a HS(MLPHS) 및 Exponential Bandwidth Harmony Search with Centralized Global Search(EBHS-CGS)와 딥러닝을 결합한MLP using a EBHS-CGS(MLPEBHS)를 통해 댐의 수위를 예측하였다. 메타휴리스틱 최적화 알고리즘-딥러닝 결합모형의 학습 및 예측성능을 개선하기 위해 학습 및 예측을 위한 자료를 기반으로 데이터 전처리기법을 적용하였다. 적용된 데이터 전처리 기법은 정규화, 수위구간별 사상(Event)분리 및 수위 변동에 대한 자료의 구분이다. 수위예측을 위한 대상유역은 금강유역에 위치한 대청댐으로 선정하였다. 대청댐의 수위예측을 위해 대청댐 상류에 위치하는 수위관측소 3개소를 선정하여 수위자료를 취득하였다. 각 수위관측소에서 취득한 수위자료를 입력자료로 설정하였으며, 대청댐의 수위자료를 출력자료로 설정하여 메타휴리스틱 최적화 알고리즘-딥러닝 모형의 학습을 진행하였다. 각 수위관측소 및 대청댐에서 취득한 수위자료는 2010년부터 2020년까지 총 11년의 일 단위 수위자료이며, 2010년부터 2019년까지의 자료를 학습자료로 사용하였으며, 2020년의 자료를 예측 및 검증자료로 사용하였다.

  • PDF

스마트 깔창을 이용한 보행 형태 분류를 위한 데이터 전처리 기법에 대한 연구 (Data preprocessing for gait type analysis using smart insole)

  • 서우덕;이성신;최상일
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2017년도 추계학술발표대회
    • /
    • pp.885-886
    • /
    • 2017
  • 본 연구에서는 스마트 깔창을 사용한 보행 분석을 위한 데이터 전처리 기법을 제안한다. 이를 위해 본 논문에서는 평지 보행, 오르막 보행, 내리막 보행, 계단 오르기, 계단 내려가기, 달리기, 빠른 보행의 7가지 종류의 보행 데이터를 수집하였다. 수집한 데이터에 대해 제안한 데이터 전처리 기법을 적용한 결과를 실제 걸음 수와 비교하였다. 실험결과 전처리한 결과가 실제 걸음 수에 가까운 결과를 보임을 확인하였다.

데이터 전처리 기능을 활용한 음식 사진 인식 서비스 설계 및 구현 (Food recognition service using HSV data preprocessing function)

  • 김학겸;유연준;신대현;오주현;이진아;김영운
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.1215-1218
    • /
    • 2021
  • 한국을 방문하는 외국인들은 매년 증가하고 있고 방한 목적 중 식도락관광이 3위에 오를 만큼 세계에서 한국 음식은 위상이 높아지고 있다. 하지만, 한국에서의 알레르기 성분 표시는 법적 의무가 아니기 때문에 대부분의 한식당에서는 이를 표시하지 않고 있고 알레르기가 있는 외국인 관광객들은 한국 음식 섭취에 있어서 상당한 위험과 불편함을 부담하고 있다. 이에 본 논문에서는 머신러닝을 활용하여 사진 촬영만으로 쉽고 정확하게 알레르기 성분을 제공하고자 사물 이미지 데이터 전처리를 위한 HSV(Hue, Saturation, Value) 데이터 전처리 기법을 제안한다. 제안하는 기법은 이미지의 HSV의 평균 및 분산, 표준편차를 통해 불필요한 데이터를 제거한다. 성능평가에서는 비빔밥, 불고기, 제육볶음 등 사진 약 500장의 데이터 셋을 구성하여 HSV의 평균 및 분산을 통해 이미지를 제거하는 방식으로 구축한 데이터 셋을 TensorFlow를 통해 정확도와 학습시간을 측정한다. 측정결과, 제안하는 기법으로 구축한 데이터 셋은 최소 15%에서 최대 25% 높은 정확도와 최소 37.96%에서 최대 42.85% 높은 정도 낮은 학습시간을 보여주었다. 향후 HSV를 활용한 데이터 전처리 기법은 더 많은 데이터를 통해 더욱 구체적인 성능 분석이 필요하다. 또한, 실질적인 개발 및 구현을 통해 제안하는 데이터 전처리 기법의 더욱 현실적인 검증이 필요하다.

자율 기계 학습을 위한 효과적인 스마트 온실 데이터 전처리 시스템 (An Effective Smart Greenhouse Data Preprocessing System for Autonomous Machine Learning)

  • 임종태;;김윤아;백정현;유재수
    • 스마트미디어저널
    • /
    • 제12권1호
    • /
    • pp.47-53
    • /
    • 2023
  • 최근 정보통신기술을 농업과 접목해 새로운 가치를 창출하는 스마트팜 연구가 활발하게 진행되고 있다. 국내 스마트팜 기술이 농업 선진국 수준의 생산성을 가지기 위해서는 기계 학습을 활용한 자동화된 의사결정이 필요하다. 그러나 현재의 스마트 온실 데이터 수집 기술은 빅데이터 분석이나 기계 학습을 수행하기에 충분하지 않다. 본 논문에서는 자율 기계 학습을 위한 스마트 온실 데이터 전처리 시스템을 설계하고 구현한다. 제안하는 시스템은 대상 데이터를 다양한 전처리 기법에 적용하고 평가를 수행하여 최적 전처리 기법을 탐색하고 저장한다. 이렇게 탐색 된 최적 전처리 기법은 새롭게 수집된 데이터에 대하여 전처리를 수행하는데 활용된다.

효율적인 엔트로피부호화를 위한 명암도 등급 이미지의 전처리 기법 (A Preprocessing Technique of Gray Scale Image for Efficient Entropy Coding)

  • 김선자;한득수;박정만;유강수;이종하;곽훈성
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.805-808
    • /
    • 2005
  • 엔트로피부호화(entropy coding)는 텍스트와 같은 일반적인 데이터들을 효율적으로 압축하는 반면에, 이미지 데이터들에 대해서는 그 성능이 다소 저하된다. 본 논문에서는 이러한 단점을 개선시키기 위한 효율적인 전처리기법(preprocessing technique)을 소개한다. 제안한 전처리기법은 입력된 명암도 등급 이미지를 무손실 압축하기 이전에, 이미지 내에서 인접한 명암도 값들의 발생빈도(occurrence frequency)를 조사한다. 다음으로 각 픽셀 쌍들의 명암도 값들을 발생빈도에 기반한 순서화된 값(ordered number)들로 대체시킨 후, 최종적으로 엔트로피부호화에 의한 압축을 수행한다. 이와 같은 단계들을 거치면서 이미지 데이터의 통계적인 특성(statistical feature)이 보다 강화되기 때문에, 엔트로피부호화에서의 무손실 압축 성능을 효율적으로 개선시킬 수 있다. 실험을 통하여 256 명암도 등급 이미지들을 산술부호화와 허프만부호화를 사용하여 압축한 결과, 제안한 전처리기법이 압축 후 비트율(bit rate)을 최대 37.49%까지 감소시켰음을 확인하였다.

  • PDF

수중 표적 분류를 위한 합성곱 신경망의 전처리 성능 비교 (Preprocessing performance of convolutional neural networks according to characteristic of underwater targets )

  • 박경민;김두영
    • 한국음향학회지
    • /
    • 제41권6호
    • /
    • pp.629-636
    • /
    • 2022
  • 본 논문은 합성곱 신경망 기반 수중 표적 분류기의 성능 향상을 위한 최적의 전처리 기법을 제시한다. 실제 선박 수중신호를 수집한 데이터 세트의 주파수 분석을 통해 강한 저주파 신호로 인한 특성 표현의 문제점을 확인하였다. 이를 해결하기 위해 다양한 스펙트로그램 기법과 특성 스케일링 기법을 조합한 전처리 기법들을 구현하였다. 최적의 전처리 기법을 확인하기 위해 실제 데이터를 기반으로 합성곱 신경망을 훈련하는 실험을 수행하였다. 실험 결과, 로그 멜 스펙트로그램과 표준화 및 로버스트정규화 스케일링 기법의 조합이 높은 인식 성능과 빠른 학습 속도를 보임을 확인하였다.

물리계층 보안을 위한 보안 전처리 기법의 설계 방법

  • 권경훈;허준
    • 정보와 통신
    • /
    • 제31권2호
    • /
    • pp.71-82
    • /
    • 2014
  • 본 논문에서는 물리 계층에서 보안을 고려한 시스템을 제공하기 위해 Gaussian Wiretap Channel 상황에서 보안 전송을 가능하게 하는 보안 전처리 기법의 설계 방법에 대해서 살펴본다. 무선 통신 채널의 경우, 통신 채널이 누구에게나 개방되어 있기 때문에 무엇보다도 보안에 취약하다. 하지만 숨기고자 하는 보안 메시지를 채널 부호화 및 변조 과정 이전에 보안을 위한 전처리 기법을 적용함으로써 물리계층에서 데이터를 보다 안전하게 전송하는 것이 가능해진다. 이를 위해 기존의 Random하게 생성된 Scrambling matrix를 이용하여 물리계층 보안을 유지하는 전처리 기법을 바탕으로 Scrambling matrix의 hamming distance를 이용하여 높은 보안성 및 신뢰도를 가지는 Scrambling matrix 설계 방법을 제안한다. 또한 부호율 1을 가지는 soft decision decoding 기반의 새로운 보안 전처리 기법을 제안함으로써 물리계층에서의 보안성 확보 가능성을 확인하였다.