• Title/Summary/Keyword: 비지도 학습 방법

검색결과 137건 처리시간 0.203초

비지도 학습 기반의 임베딩과 오토인코더를 사용한 침입 탐지 방법 (Intrusion Detection Method Using Unsupervised Learning-Based Embedding and Autoencoder)

  • 이준우;김강석
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제12권8호
    • /
    • pp.355-364
    • /
    • 2023
  • 최근 지능화된 사이버 위협이 지속적으로 증가함에 따라 기존의 패턴 혹은 시그니처 기반의 침입 탐지 방식은 새로운 유형의 사이버 공격을 탐지하는데 어려움이 있다. 따라서 데이터 학습 기반 인공지능 기술을 적용한 이상 징후 탐지 방법에 관한 연구가 증가하고 있다. 또한 지도학습 기반 이상 탐지 방식은 학습을 위해 레이블 된 이용 가능한 충분한 데이터를 필요로 하기 때문에 실제 환경에서 사용하기에는 어려움이 있다. 최근에는 정상 데이터로 학습하고 데이터 자체에서 패턴을 찾아 이상 징후를 탐지하는 비지도 학습 기반의 방법에 대한 연구가 활발히 진행되고 있다. 그러므로 본 연구는 시퀀스 로그 데이터로부터 유용한 시퀀스 정보를 보존하는 잠재 벡터(Latent Vector)를 추출하고, 추출된 잠재 벡터를 사용하여 이상 탐지 학습 모델을 개발하는데 있다. 각 시퀀스의 특성들에 대응하는 밀집 벡터 표현을 생성하기 위하여 Word2Vec을 사용하였으며, 밀집 벡터로 표현된 시퀀스 데이터로부터 잠재 벡터를 추출하기 위하여 비지도 방식의 오토인코더(Autoencoder)를 사용하였다. 개발된 오토인코더 모델은 시퀀스 데이터에 적합한 순환신경망 GRU(Gated Recurrent Unit) 기반의 잡음 제거 오토인코더, GRU 네트워크의 제한적인 단기 기억문제를 해결하기 위한 1차원 합성곱 신경망 기반의 오토인코더 및 GRU와 1차원 합성곱을 결합한 오토인코더를 사용하였다. 실험에 사용된 데이터는 시계열 기반의 NGIDS(Next Generation IDS Dataset) 데이터이며, 실험 결과 GRU 기반의 오토인코더나, 1차원 합성곱 기반의 오토인코더를 사용한 모델보다 GRU와 1차원 합성곱을 결합한 오토인코더가 훈련 데이터로부터 유용한 잠재 패턴을 추출하기 위한 학습 시간적 측면에서 효율적이었고 이상 탐지 성능 변동의 폭이 더 작은 안정된 성능을 보였다.

실시간 침입탐지를 위한 자기 조직화 지도(SOM)기반 트래픽 속성 상관관계 메커니즘 (Traffic Attributes Correlation Mechanism based on Self-Organizing Maps for Real-Time Intrusion Detection)

  • 황경애;오하영;임지영;채기준;나중찬
    • 정보처리학회논문지C
    • /
    • 제12C권5호
    • /
    • pp.649-658
    • /
    • 2005
  • 네트워크 기반의 공격은 그 위험성과 피해의 규모가 크기 때문에 공격 초기에 빨리 탐지하는 것이 중요하다. 그러나 지도학습 데이터 마이닝을 이용한 네트워크상의 비정상 트래픽을 탐지하는 방법은 방대한 양의 데이터 전처리와 관리자의 분석이 요구되며 관리자의 분석이 정확하다는 보장이 없을 뿐만 아니라 각 네트워크의 실시간 특성을 고려하지 못하기 때문에 탐지의 어려움이 크다. 본 논문에서는 실시간 침입 탐지와 점진적 학습을 위해 비지도학습의 데이터마이닝 기법중 하나인 자기 조직화 지도를 기반으로 트래픽 속성 상관관계 메커니즘을 제안한다. 이는 세 단계로 이루어진다. 첫 번째 단계는 초기 학습이 이루어지는 단계로 비지도 학습을 통하여 성격이 비슷한 트래픽끼리 클러스터링 한 맵을 생성시킨다. 두 번째 단계는 맵의 각 클러스터가 정상과 비정상 트래픽의 클러스터로 구분되기 위해 각 공격별로 추출된 규칙(rule)을 적용하여 맵을 분석한다. 이 규칙은 지도 학습을 통한 규칙 기반의 방법으로, 각 데이터 항목마다 SOM을 이용한 속성별 맵의 상관관계(correlation) 분석을 통해 생성되었다. 마지막으로 분석된 맵을 이용하여 실시간 탐지와 함께 점진적 학습이 이루어지게 된다. 여러 실험을 통하여 비지도 학습과 지도 학습을 결합한 SOM 기반 트래픽 속성 상관관계 메커니즘이 지도 학습에 비해 실시간 탐지에 우수함을 증명하였다.

정보검색 기술을 이용한 비지도 학습 기반 문서 분류 시스템 개발 (Developing a Text Categorization System Based on Unsupervised Learning Using an Information Retrieval Technique)

  • 노대욱;이수용;나동열
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권2호
    • /
    • pp.160-168
    • /
    • 2007
  • 문서분류기의 개발에 있어 지도학습기법을 이용할 경우 많은 양의 사람에 의한 범주 부착 말뭉치가 필요하다. 그러나 이의 구축은 많은 시간과 노력을 필요로 한다. 최근 이러한 범주 부착 말뭉치 대신 원시말뭉치와 범주마다 약간의 씨앗 정보를 이용하여 학습을 수행하여 문서분류기를 개발하는 방법론이 제시되었다. 본 논문에서는 이 방법론 하에서 다른 연구에서의 결과보다 좋은 성능을 나타내는 비지도 학습 기법을 소개한다. 본 논문에서 제시하는 기법의 특징은 씨앗 단어에서 출발하여 평균상호정보를 이용하여 다른 대표단어 및 그들의 가중치를 학습한 다음, 정보검색에서 많이 사용하는 기술을 이용하여 그 가중치를 갱신하는 것이다. 그리고 이 과정을 반복 수행하여 최종적으로 높은 성능의 시스템을 개발 할 수 있음을 제시하였다.

클러스터 일관성을 기반으로 한 비지도 도메인 적응 사람 재인식 (Unsupervised Domain Adaptive Re-identification based on Cluster Consistency)

  • 오상엽;조남익
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송∙미디어공학회 2020년도 추계학술대회
    • /
    • pp.109-112
    • /
    • 2020
  • 사람 재인식을 수행하기 위해서 많은 연구들이 진행되어 좋은 결과들을 보였다 그러나 이 결과들은 라벨이 있는 도메인에서의 지도 학습으로 얻은 결과들이었다. 라벨이 없는 도메인에서의 사람 재인식의 성능은 아직 많이 부족한 상태이다. 사람 재인식을 수행하고자 하는 목표 도메인에 반해 주어진 소스 도메인에서는 라벨이 풍부하다. 지금까지의 논문에서는 소스 도메인에서의 사람 이미지를 목표 도메인의 이미지처럼 만들어서 소스 도메인에서 높은 성능을 보이는 사람 재인식기를 목표 도메인에서도 잘 동작하도록 학습하는 방법들이 주를 이루었다. 하지만 이 방법에서는 소스 도메인의 사람 이미지를 목표 도메인의 이미지와 비슷하게 만들기만하고 사람의 신원에 대한 일관성을 유지시키지는 못하였다. 본 논문에서는 비지도 도메인 적응 사람 재인식을 수행하기 위해 클러스터 일관성(cluster consistency)을 유지하는 기법을 제안한다. 제안한 방법은 사람의 신원에 대한 일관성을 유지시켜서 사람 재인식의 성능을 높인다.

  • PDF

이미지 검색기를 통한 랜드마크 인식 (Landmark recognition through image searcher)

  • 김기덕;이근후
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2024년도 제69차 동계학술대회논문집 32권1호
    • /
    • pp.313-315
    • /
    • 2024
  • 본 논문에서는 이미지 검색기를 통한 랜드마크 인식 방법을 제안한다. 특정 랜드마크 데이터세트에서 라벨링을 하지 않은 비지도 학습을 통해서 이미지에서 랜드마크의 클래스 분류를 위한 특징을 추출한다. 학습된 모델을 랜드마크 데이터세트인 Paris6k 데이터세트와 Oxford5k 데이터세트에 적용하여 랜드마크 인식 정확도를 확인하였다. 성능과 속도를 강화하기 위해 이미지 특징 추출 모델로 ResNet 대신에 YOLO에서 사용된 CSPDarknet-53을 사용하여 모델의 크기를 줄이고 랜드마크 인식 정확도를 높였다. 그리고 모델로부터 추출된 특징의 수를 줄여 이미지 검색 시 소요되는 시간을 감소시켰다. 학습된 모델로 rOxford5k 데이터 세트에 적용 시 mAP 80.37, rParis6k에서 mAP 89.07을 얻었다.

  • PDF

단안 깊이 추정 기술 동향

  • 김원준
    • 방송과미디어
    • /
    • 제27권2호
    • /
    • pp.43-50
    • /
    • 2022
  • 한 장의 이미지로부터 장면의 깊이 정보를 추정하는 기술은 자율 주행, 실내외 로봇 기반 서비스 등 다양한 응용 분야에서 널리 적용되고 있다. 심층 학습을 이용한 알고리즘이 활발히 연구되면서 이러한 단안 깊이 추정 기술의 산업 분야 적용 범위는 확대되고 있는 추세이다. 그러나, 깊이 경계 정보를 정밀하게 예측하는데 여전히 많은 어려움이 있으며, 다양한 실제 환경에서 획득한 3차원 깊이 정보 구축 또한 많은 비용이 소모되는 문제점이 있다. 본 고에서는 이러한 문제를 해결하기 위해 최근 활발히 연구되고 있는 심층신경망 기반 단안 깊이 추정 연구의 최신 동향을 소개하고자 한다. 지도 학습 기반 방법부터 최근 활발히 연구되고 있는 비지도 학습 방법까지 상세히 살펴본다. 이와 더불어 대표 방법에 대한 성능 평가 결과도 간략히 제시하고자 한다.

3차원 뇌 자기공명 영상의 비지도 학습 기반 비강체 정합 네트워크 (Unsupervised Non-rigid Registration Network for 3D Brain MR images)

  • 오동건;김보형;이정진;신영길
    • 한국차세대컴퓨팅학회논문지
    • /
    • 제15권5호
    • /
    • pp.64-74
    • /
    • 2019
  • 비강체 정합은 임상적 필요성은 높으나 계산 복잡도가 높고, 정합의 정확성 및 강건성을 확보하기 어려운 분야이다. 본 논문은 비지도 학습 환경에서 3차원 뇌 자기공명 영상 데이터에 딥러닝 네트워크를 이용한 비강체 정합 기법을 제안한다. 서로 다른 환자의 두 영상을 입력받아 네트워크를 통하여 두 영상 간의 특징 벡터를 생성하고, 변위 벡터장을 만들어 기준 영상에 맞추어 다른 쪽 영상을 변형시킨다. 네트워크는 U-Net 형태를 기반으로 설계하여 정합 시 두 영상의 전역적, 지역적인 차이를 모두 고려한 특징 벡터를 만들 수 있고, 손실함수에 균일화 항을 추가하여 3차원 선형보간법 적용 후에 실제 뇌의 움직임과 유사한 변형 결과를 얻을 수 있다. 본 방법은 비지도 학습을 통해 임의의 두 영상만을 입력으로 받아 단일 패스 변형으로 비강체 정합을 수행한다. 이는 반복적인 최적화 과정을 거치는 비학습 기반의 정합 방법들보다 빠르게 수행할 수 있다. 실험은 50명의 뇌를 촬영한 3차원 자기공명 영상을 가지고 수행하였고, 정합 전·후의 Dice Similarity Coefficient 측정 결과 평균 0.690으로 정합 전과 비교하여 약 16% 정도의 유사도 향상을 확인하였다. 또한, 비학습 기반 방법과 비교하여 유사한 성능을 보여주면서 약 10,000배 정도의 속도 향상을 보여주었다. 제안 기법은 다양한 종류의 의료 영상 데이터의 비강체 정합에 활용이 가능하다.

제조 설비 이상탐지를 위한 지도학습 및 비지도학습 모델 설계에 관한 연구 (A Study on the Design of Supervised and Unsupervised Learning Models for Fault and Anomaly Detection in Manufacturing Facilities)

  • 오민지;최은선;노경우;김재성;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.23-35
    • /
    • 2021
  • 제4차 산업혁명 선언 이후 생산 제조 기술과 정보통신기술(ICT)이 융합된 스마트 팩토리가 큰 주목을 받고 사물인터넷(IoT) 기술 및 빅데이터 기술 등이 발전하면서 생산 시스템의 자동화가 가능해졌다. 고도화된 제조 산업에서 생산 시스템에는 예정되지 않은 성능 저하 및 가동 중지 발생 가능성이 존재하며, 가능한 한 빨리 잠재적인 오류를 감지하여 이를 복구해 안전 위험을 줄여나가야 한다는 요구가 있다. 본 연구는 유압 시스템에 부착된 다중 센서 데이터를 기반으로 장비의 고장 예측과 이상 발생 시점 예측을 결합하여 제조 설비 이상탐지를 위한 지도학습 및 비지도학습 모델을 설계한다. 지도학습 분석 방법으로 XGBoost, LightGBM, CNN 모델의 정확도를 비교하였다. 혼동행렬 기반의 평가지표를 통해 LightGBM의 예측력이 97%로 가장 우수한 것을 확인하였다. 또한 비지도 학습 분석 방법으로 MD, AE, LSTM-AE 모델을 구축하여 각 모델을 비교 분석한 결과 LSTM-AE 모델이 이상패턴을 75% 감지하여 가장 우수한 성능을 보였다. 본 연구는 지도학습과 비지도학습 기법을 종합하여 설비의 고장여부를 정확하게 진단하고 이상상황이 발생하는 시점을 예측함으로써 이상상황에 대한 선제대응을 할 수 있는 기반을 마련하여 스마트 팩토리 고도화에 기여하고자 한다.

머신러닝을 위한 베이지안 방법론: 군집분석을 중심으로

  • 김용대;정구환
    • 정보와 통신
    • /
    • 제33권10호
    • /
    • pp.60-64
    • /
    • 2016
  • 본고에서는 베이지안 기계학습 방법론에 대해서 간략히 살펴본다. 특히, 복잡한 자료들 사이의 관계를 규명하는 것이 목적이며 비지도학습(unsupervised learning)의 한 분야인 군집분석에서 베이지안 방법론들이 어떻게 사용되어지는지를 설명한다. 군집의 수를 사전에 아는 경우에 사용되는 모수적 베이지안 방법을 간단하게 설명하고, 군집의 수까지 추론 할 수 있는 비모수 베이지안방법에 대해서 자세하게 다룬다.

자연어 생성 모델을 이용한 준지도 학습 기반 한국어 사실 확인 자료 구축 (Semi-Supervised Data Augmentation Method for Korean Fact Verification Using Generative Language Models)

  • 정재환;전동현;김선훈;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.105-111
    • /
    • 2021
  • 한국어 사실 확인 과제는 학습 자료의 부재로 인해 연구에 어려움을 겪고 있다. 본 논문은 수작업으로 구성된 학습 자료를 토대로 자연어 생성 모델을 이용하여 한국어 사실 확인 자료를 구축하는 방법을 제안한다. 본 연구는 임의의 근거를 기반으로 하는 주장을 생성하는 방법 (E2C)과 임의의 주장을 기반으로 근거를 생성하는 방법 (C2E)을 모두 실험해보았다. 이때 기존 학습 자료에 위 두 학습 자료를 각각 추가하여 학습한 사실 확인 분류기가 기존의 학습 자료나 영문 사실 확인 자료 FEVER를 국문으로 기계 번역한 학습 자료를 토대로 구성된 분류기보다 평가 자료에 대해 높은 성능을 기록하였다. 또한, C2E 방법의 경우 수작업으로 구성된 자료 없이 기존의 자연어 추론 과제 자료와 HyperCLOVA Few Shot 예제만으로도 높은 성능을 기록하여, 비지도 학습 방식으로 사실 확인 자료를 구축할 수 있는 가능성 역시 확인하였다.

  • PDF