• 제목/요약/키워드: 비지도학습 기법

검색결과 59건 처리시간 0.029초

온라인 소셜 네트워크에서 역 사회공학 탐지를 위한 비지도학습 기법 (Unsupervised Scheme for Reverse Social Engineering Detection in Online Social Networks)

  • 오하영
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권3호
    • /
    • pp.129-134
    • /
    • 2015
  • 역 사회공학 기반 스팸공격은 공격자가 직접적인 공격을 수행하는 것이 아니라 피해자가 문제 있는 사이트 주소, 문자, 이메일 수신 및 친구 수락 등을 통해 유도하기 때문에 온라인 소셜 네트워크에서 활성화되기 쉽다. 스팸 탐지 관련 기존 연구들은 소셜 네트워크 특성을 반영하지 않은 채, 관리자의 수동적인 판단 및 라벨링을 바탕으로 스팸을 정상 데이터와 구분하는 단계에 머물러있다. 본 논문에서는 소셜 네트워크 데이터 중 하나인 Twitter spam데이터 셋을 실제로 분석하고 소셜 네트워크에서 다양한 속성들을 반영하여 정상 (ham)과 비정상 (spam)을 구분할 수 있는 탐지 메트릭을 제안한다. 또한, 관리자의 관여 없이도 실시간 및 점진적으로 스팸의 특성을 학습하여 새로운 스팸에 대해서도 탐지할 수 있는 비지도 학습 기법(unsupervised scheme)을 제안한다. 실험 결과, 제안하는 기법은 90% 이상의 정확도로 정상과 스팸을 구별했고 실시간 및 점진적 학습 결과도 정확함을 보였다.

Variational Autoencoder를 이용한 교량 손상 위치 추정방법 (Damage Localization of Bridges with Variational Autoencoder)

  • 이강혁;정민웅;전찬웅;신도형
    • 대한토목학회논문집
    • /
    • 제40권2호
    • /
    • pp.233-238
    • /
    • 2020
  • 구조물 건전도 모니터링 시스템을 기반하는 교량 딥러닝 손상 추정 기법들은 대부분 지도학습을 기반으로 하고 있다. 지도학습의 특성상 손상 위치 추정 딥러닝 모델의 학습을 위해 교량의 손상 위치를 나타내는 라벨(Label) 데이터와 이에 따른 교량의 거동 데이터가 필요하다. 하지만 실제 현장에서 손상 위치 라벨 데이터를 정확히 얻어내는 것은 매우 어려운 일이므로, 지도학습 기반 딥러닝은 현장 적용성이 떨어진다는 한계가 있다. 반면에, 비지도학습 기반 딥러닝은 이러한 라벨 데이터 없이도 학습이 가능하다는 장점이 있다. 이러한 점에 착안하여 본 연구에서는 비지도 학습의 대표적인 딥러닝 기법인 Variational Autoencoder를 활용한 교량 손상 위치 추정의 방법을 제안하고 검증하였으며, 그 결과, 교량 손상 위치 추정을 위한 VAE의 적용 가능성을 보였다.

정보검색 기술을 이용한 비지도 학습 기반 문서 분류 시스템 개발 (Developing a Text Categorization System Based on Unsupervised Learning Using an Information Retrieval Technique)

  • 노대욱;이수용;나동열
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제34권2호
    • /
    • pp.160-168
    • /
    • 2007
  • 문서분류기의 개발에 있어 지도학습기법을 이용할 경우 많은 양의 사람에 의한 범주 부착 말뭉치가 필요하다. 그러나 이의 구축은 많은 시간과 노력을 필요로 한다. 최근 이러한 범주 부착 말뭉치 대신 원시말뭉치와 범주마다 약간의 씨앗 정보를 이용하여 학습을 수행하여 문서분류기를 개발하는 방법론이 제시되었다. 본 논문에서는 이 방법론 하에서 다른 연구에서의 결과보다 좋은 성능을 나타내는 비지도 학습 기법을 소개한다. 본 논문에서 제시하는 기법의 특징은 씨앗 단어에서 출발하여 평균상호정보를 이용하여 다른 대표단어 및 그들의 가중치를 학습한 다음, 정보검색에서 많이 사용하는 기술을 이용하여 그 가중치를 갱신하는 것이다. 그리고 이 과정을 반복 수행하여 최종적으로 높은 성능의 시스템을 개발 할 수 있음을 제시하였다.

A Study on the Gen Expression Data Analysis Using Fuzzy Clustering

  • Choi, Hang-Suk;Cha, Kyung-Joon;Park, Hong-Goo
    • 한국통계학회:학술대회논문집
    • /
    • 한국통계학회 2005년도 춘계 학술발표회 논문집
    • /
    • pp.25-29
    • /
    • 2005
  • Microarry 기술의 발전은 유전자의 기능과 상호 관련성 그리고 특성을 파악 가능하게 하였으며, 이를 위한 다양한 분석 기법들이 소개되고 있다. 본 연구에서 소개하는 fuzzy clustering 기법은 genome 영역의 expression 분석에 가장 널리 사용되는 기법중 비지도학습(unsupervized) 분석 기법이다. Fuzzy clustering 기법을 효모(yeast) expression 데이터를 이용하여 분류하여 hard k-means와 비교 하였다.

  • PDF

해양 이상 자료 탐지를 위한 오토인코더 활용 기법 최적화 연구 (An Outlier Detection Using Autoencoder for Ocean Observation Data)

  • 김현재;김동훈;임채욱;신용탁;이상철;최영진;우승범
    • 한국해안·해양공학회논문집
    • /
    • 제33권6호
    • /
    • pp.265-274
    • /
    • 2021
  • 해양 이상 자료 탐지의 연구는 이전부터 활발하게 이루어지고 있으며, 통계 및 거리 기반의 기계 학습 알고리즘을 활용하는 기법들이 개발되었다. 최근에는 AI 기반의 해양 자료 이상 탐지 기법이 많은 관심을 받고 있으며, AI를 활용한 해양 이상 자료 탐지 기법은 정답이 주어지는 지도학습 기법이 주를 이루고 있다. 이러한 방법은 학습에 필요한 모든 자료에 수작업으로 분류 정보(라벨)를 지정해야 한다는 점에서 많은 시간과 비용이 요구된다. 본 연구에서는 이러한 문제를 극복하기 위해 비지도학습 기반의 오토인코더를 이상 자료 탐지 기법에 사용하였다. 실험으로는 오토인코더의 평가를 위해 단변수·다변수학습 두가지 실험을 구성하였고, 단변수 학습은 기상청에서 제공하는 덕적도 부이 정점 관측 자료 중 수온만 사용하였으며, 다변수 학습은 수온과 기온, 풍향, 풍속, 기압, 습도 등을 사용하였다. 사용기간은 1996~2020년의 25년간이며 학습 자료에 해양-기상 자료의 특성을 고려한 전처리 기법을 적용하였다. 학습된 다변수와 단변수 오토인코더를 활용하여 실제 표층 수온에 대한 이상 탐지를 시도하였다. 모델성능 비교를 위해 오차를 삽입한 합성 자료에 다변수와 단변수 오토인코더를 포함한 여러 이상 탐지 기법을 적용하여 정량적으로 평가하였으며, 다변수/단변수의 정확도가 각각 약 96%/91%로써 다변수 오토인코더가 더 나은 이상자료 탐지 성능을 보였다. 오토인코더를 이용한 비지도학습 기반 이상 탐지 기법은 주관적 판단에 의한 오류와 자료 라벨링에 필요한 시간과 비용을 줄일 수 있다는 점에서 다양하게 활용될 것으로 판단된다.

제조 설비 이상탐지를 위한 지도학습 및 비지도학습 모델 설계에 관한 연구 (A Study on the Design of Supervised and Unsupervised Learning Models for Fault and Anomaly Detection in Manufacturing Facilities)

  • 오민지;최은선;노경우;김재성;조완섭
    • 한국빅데이터학회지
    • /
    • 제6권1호
    • /
    • pp.23-35
    • /
    • 2021
  • 제4차 산업혁명 선언 이후 생산 제조 기술과 정보통신기술(ICT)이 융합된 스마트 팩토리가 큰 주목을 받고 사물인터넷(IoT) 기술 및 빅데이터 기술 등이 발전하면서 생산 시스템의 자동화가 가능해졌다. 고도화된 제조 산업에서 생산 시스템에는 예정되지 않은 성능 저하 및 가동 중지 발생 가능성이 존재하며, 가능한 한 빨리 잠재적인 오류를 감지하여 이를 복구해 안전 위험을 줄여나가야 한다는 요구가 있다. 본 연구는 유압 시스템에 부착된 다중 센서 데이터를 기반으로 장비의 고장 예측과 이상 발생 시점 예측을 결합하여 제조 설비 이상탐지를 위한 지도학습 및 비지도학습 모델을 설계한다. 지도학습 분석 방법으로 XGBoost, LightGBM, CNN 모델의 정확도를 비교하였다. 혼동행렬 기반의 평가지표를 통해 LightGBM의 예측력이 97%로 가장 우수한 것을 확인하였다. 또한 비지도 학습 분석 방법으로 MD, AE, LSTM-AE 모델을 구축하여 각 모델을 비교 분석한 결과 LSTM-AE 모델이 이상패턴을 75% 감지하여 가장 우수한 성능을 보였다. 본 연구는 지도학습과 비지도학습 기법을 종합하여 설비의 고장여부를 정확하게 진단하고 이상상황이 발생하는 시점을 예측함으로써 이상상황에 대한 선제대응을 할 수 있는 기반을 마련하여 스마트 팩토리 고도화에 기여하고자 한다.

단일 클래스 분류기를 사용한 차량 해킹 탐지 (Detection of Car Hacking Using One Class Classifier)

  • 서재현
    • 한국융합학회논문지
    • /
    • 제9권6호
    • /
    • pp.33-38
    • /
    • 2018
  • 본 논문에서는 단일 클래스만을 학습하여 차량에 대한 새로운 공격을 탐지한다. 분류 성능 평가를 위해 Car-Hacking 데이터셋을 사용한다. Car-Hacking 데이터셋은 실제 차량의 OBD-II 포트를 통해 CAN (Controller Area Network) 트래픽을 로깅하여 생성된다. 이 데이터셋에는 네 가지 공격 유형이 포함된다. 실험에 사용한 단일 클래스 분류기법은 정상 클래스만을 학습하여 비정상인 공격 클래스를 분류해내는 비지도 학습이다. 비지도 학습 방법을 사용하는 경우에 훈련 과정에서 네거티브 인스턴스를 사용하지 않기 때문에 고효율의 분류 성능을 내는 것은 어렵다. 하지만, 비지도 학습은 라벨이 없는 새로운 공격 데이터를 분류하는데 적합한 장점이 있다. 본 연구에서는 네트워크 침입탐지 시스템에서 서명기반의 규칙으로 탐지하기 어려운 새로운 공격 유형을 탐지하기 위해 단일 클래스 분류기를 사용한다. 제안 방법은 새로운 공격을 모두 탐지하고 정상데이터에 대해서도 효율적인 분류 성능을 보이는 파라미터 조합을 제시한다.

비지도 학습 기반 클러스터링 기법을 활용한 도심 물류 배송지 최적화 연구 (A Study on Optimization for Delivery Destination Clustering using Unsupervised Learning)

  • 전형준;임희석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2022년도 춘계학술발표대회
    • /
    • pp.483-486
    • /
    • 2022
  • 최근 이커머스 시장의 지속적인 성장으로 빠른 배송과 대용량 물류 처리를 위한 효율적 배송 시스템 마련의 필요성이 증가하고 있다. 본 연구에서는 도심 물류 거점에서의 현재 배송 물량 할당의 불균등 문제를 실무적 관점에서 정의하고, 비지도 학습 기반 클러스터링 기법을 통해 불균등 배송 할당 문제를 개선해 보고자 했다. 분석 결과 K-means++ 알고리즘 기반 클러스터링에서 최적화된 물량 할당에 대한 개선 가능성을 검증할 수 있었다. 향후 지형 정보, 교통량 등의 상세 변수를 추가하여 머신러닝 기반의 물류 배송 최적화를 위한 연구 영역을 확장할 수 있을 것으로 기대된다.

실시간 침입탐지를 위한 자기 조직화 지도(SOM)기반 트래픽 속성 상관관계 메커니즘 (Traffic Attributes Correlation Mechanism based on Self-Organizing Maps for Real-Time Intrusion Detection)

  • 황경애;오하영;임지영;채기준;나중찬
    • 정보처리학회논문지C
    • /
    • 제12C권5호
    • /
    • pp.649-658
    • /
    • 2005
  • 네트워크 기반의 공격은 그 위험성과 피해의 규모가 크기 때문에 공격 초기에 빨리 탐지하는 것이 중요하다. 그러나 지도학습 데이터 마이닝을 이용한 네트워크상의 비정상 트래픽을 탐지하는 방법은 방대한 양의 데이터 전처리와 관리자의 분석이 요구되며 관리자의 분석이 정확하다는 보장이 없을 뿐만 아니라 각 네트워크의 실시간 특성을 고려하지 못하기 때문에 탐지의 어려움이 크다. 본 논문에서는 실시간 침입 탐지와 점진적 학습을 위해 비지도학습의 데이터마이닝 기법중 하나인 자기 조직화 지도를 기반으로 트래픽 속성 상관관계 메커니즘을 제안한다. 이는 세 단계로 이루어진다. 첫 번째 단계는 초기 학습이 이루어지는 단계로 비지도 학습을 통하여 성격이 비슷한 트래픽끼리 클러스터링 한 맵을 생성시킨다. 두 번째 단계는 맵의 각 클러스터가 정상과 비정상 트래픽의 클러스터로 구분되기 위해 각 공격별로 추출된 규칙(rule)을 적용하여 맵을 분석한다. 이 규칙은 지도 학습을 통한 규칙 기반의 방법으로, 각 데이터 항목마다 SOM을 이용한 속성별 맵의 상관관계(correlation) 분석을 통해 생성되었다. 마지막으로 분석된 맵을 이용하여 실시간 탐지와 함께 점진적 학습이 이루어지게 된다. 여러 실험을 통하여 비지도 학습과 지도 학습을 결합한 SOM 기반 트래픽 속성 상관관계 메커니즘이 지도 학습에 비해 실시간 탐지에 우수함을 증명하였다.

RAM 기반 신경망의 비지도 학습에 관한 연구 (A Study on Unsupervised Learning Method of RAM-based Neural Net)

  • 박상무;김성진;이동형;이수동;옥철영
    • 한국컴퓨터정보학회논문지
    • /
    • 제16권1호
    • /
    • pp.31-38
    • /
    • 2011
  • RAM 기반 3-D 신경망은 2진 신경망(Binary Neural Network, BNN)에 복수개의 정보 저장 비트를 두어 교육의 반복 횟수를 누적하도록 구성된 가중치를 가지지 않는 신경회로망으로서 한 번의 교육만으로 학습이 이루어지는 효율성이 뛰어난 신경회로망이다. MRD(Maximum Response Detector) 기법을 이용한 3-D 신경망의 인식 방법은 지도 학습에 기반을 둔 것으로서 학습을 통해 신경망 스스로가 범주를 구분할 수 없으며 잘 구분된 범주의 학습 데이터를 통해서만 성능을 발휘할 수 있다. 본 논문에서는 기존 3-D 신경 회로망에 학습 데이터의 구분 없이 신경망 자체가 입력 패턴에 따라 학습하여 범주를 구분하는 비지도 학습 알고리즘을 제안한다. 제안된 비지도 학습 알고리즘에 의해 신경회로망은 판별자의 수를 스스로 조절할 수 있는 구조를 가지게 되며 이는 망의 유연한 확장성을 보장한다. 0에서 9까지의 다중 패턴으로 구성된 오프라인 필기체 숫자를 무작위로 추출하여 학습 패턴으로 인식 실험을 수행하였으며 실험을 통해 신경망이 스스로 비지도 학습에 의해 판별자의 수를 결정하게 되며 이것은 신경망이 각각의 필기체 숫자에 대한 개념을 가지게 되는 것으로 해석할 수 있다.