• 제목/요약/키워드: 비지도학습 기법

검색결과 59건 처리시간 0.02초

터널 막장 3차원 지형모델 상에서의 불연속면 자동 매핑을 위한 딥러닝 기법 적용 방안 (Deep Learning Approach for Automatic Discontinuity Mapping on 3D Model of Tunnel Face)

  • 추엔 팜;신휴성
    • 터널과지하공간
    • /
    • 제33권6호
    • /
    • pp.508-518
    • /
    • 2023
  • 이 논문은 LiDAR 스캔 또는 사진측량 기술에 의해 재구성된 3D 디지털 모델을 기반으로 터널 벽면의 불연속면을 자동으로 매핑하는 새로운 접근 방식을 제안한다. 본 제안에서는 U-Net이라 불리는 딥러닝 시맨틱 영역분할 모델을 사용하며, 터널 막장면의 3D 지형 모델에서 불연속면 영역을 식별해 낸다. 제안된 딥러닝 모델은 투영된 RGB 이미지, 면의 깊이 이미지 및 국부적인 면의 표면 속성 이미지(즉, 법선 벡터 및 곡률 이미지)를 포함한 다양한 정보를 종합 학습하여 기본 3차원 이미지에서 불연속면 영역을 효과적으로 분할한다. 이후 영역분할 결과는 면의 깊이 맵과 투영 행렬을 사용하여 3D 모델로 다시 투영시키고, 3D 공간 내에서 불연속면의 위치 및 범위를 정확하게 표현한다. 영역분할 모델의 성능은 영역 분할된 결과를 해당 지면 실측 값과 비교함으로써 평가하였으며, IoU(intersection-over-union) 값이 약 0.8 정도로 나타나 영역분할 결과의 높은 정확성을 확인하였다. 여전히 학습데이터가 제한적 이었음에도 불구하고, 제안 기법은 3D 모델의 점군 데이터를 불연속면의 유사군으로 그룹화하기 위해 전 막장면의 법선 벡터와 클러스터링과 같은 비지도 학습기반 알고리즘에만 의존하던 기존 접근 방식의 한계의 극복 가능성을 보여주었다.

향상된 TextRank 알고리즘을 이용한 자동 회의록 생성 시스템 (Automatic Meeting Summary System using Enhanced TextRank Algorithm)

  • 배영준;장호택;홍태원;이해연
    • 한국정보전자통신기술학회논문지
    • /
    • 제11권5호
    • /
    • pp.467-474
    • /
    • 2018
  • 다양한 업무 수행에 있어서 회의나 토론 등의 내용을 정리하여 문서화하는 것의 중요성은 매우 높다. 그러나 기존에는 사람이 직접 내용에 대한 정리를 수작업으로 수행하였다. 본 논문에서는 TextRank 알고리즘을 이용하여 자동으로 회의록을 생성하는 시스템의 개발에 대하여 설명한다. 제안한 시스템은 발언자의 모든 발언 내용을 실시간으로 기록하고, 문장들을 출현 빈도수에 기초하여 유사도를 계산한 후, 문서 데이터 안에서 문장들 간의 관계를 찾아내는 비지도 학습 알고리즘을 통해 중요 단어 혹은 문장을 추출함으로서 자동으로 회의록을 생성하도록 하였다. 특히, PageRank 알고리즘을 단어와 문장에 적합하도록 재구성한 TextRank 알고리즘에 대하여 핵심어의 가중치 조정 기법을 도입함으로서 성능 향상을 모색하였다.

역인덱스 기반 상향식 군집화 기법을 이용한 대규모 학술 핵심어 분석 (Analysis of Massive Scholarly Keywords using Inverted-Index based Bottom-up Clustering)

  • 오흥선;정유철
    • 한국산학기술학회논문지
    • /
    • 제19권11호
    • /
    • pp.758-764
    • /
    • 2018
  • 특허(patent), 학술 논문(scholarly paper)과 연구 보고서(research report)와 같은 디지털 문서(digital document)에는 주제(topic)를 요약하는 저자 키워드(author keyword)가 있다. 서로 다른 문서가 동일한 키워드를 공유하고 있다면 두 문서가 동일한 주제의 내용을 기술하고 있을 가능성이 매우 높다. 문서 군집화(document clustering)는 비슷한 주제를 가지는 문서들을 비지도 학습 방법(unsupervised learning)을 이용하여 같은 군집으로 그룹(group)화 하는 것이다. 문서 군집화는 다양한 분석에 이용되지만 대용량의 문서 데이터에 적용하기 위해서는 많은 계산량이 필요함으로 쉽지 않다. 이러한 경우, 문서의 내용을 이용하는 것보다 문서의 키워드를 이용하여 군집화하면 더욱 효율적으로 대용량의 데이터를 연결할 수 있다. 기존의 상향식 군집화 방법(bottom-up hierarchical clustering)은 대용량의 키워드 군집화(keyword clustering)를 수행하는데 있어서 많은 시간이 필요하다는 문제점이 있다. 본 논문에서는 정보검색(information retrieval)에서 널리 사용되는 역인덱스(inverted-index) 구조를 상향식 군집화에 적용한 효율적인 군집화 방법을 제안하고, 제안 방법을 대용량의 키워드 데이터에 적용하였으며, 그 결과를 분석하였다.

비정형 Security Intelligence Report의 정형 정보 자동 추출 (An Automatically Extracting Formal Information from Unstructured Security Intelligence Report)

  • 허윤아;이찬희;김경민;조재춘;임희석
    • 디지털융복합연구
    • /
    • 제17권11호
    • /
    • pp.233-240
    • /
    • 2019
  • 사이버 공격을 예측하고 대응하기 위해서 수많은 보안 기업 회사에서는 공격기법의 특성, 수법 유형을 빠르게 파악하고, 이에 대한 Security Intelligence Report(SIR)들을 배포한다. 하지만 각 기업에서 배포하는 SIR들은 방대하며, 형식이 맞춰져 있지 않다. 본 논문은 대량의 비정형한 SIR들에서 정보를 추출하는데 소요되는 시간을 줄이고 효율적으로 파악하기 위해 SIR들에 대해 정형화하고 주요 정보를 추출하기 위해 5가지 분석기술이 적용된 프레임워크를 제안한다. SIR들의 데이터는 정답 라벨이 없기 때문에 비지도 학습방식을 통해 키워드 추출, 토픽 모델링, 문서 요약, 유사문서 검색 총 4가지 분석기술을 제안한다. 마지막으로 SIR들에서 위협 정보 추출하기 위해 데이터를 구축하였으며, 개체명 인식 기술에 적용하여 IP, Domain/URL, Hash, Malware에 속하는 단어를 인식하고 그 단어가 어떤 유형에 속하는지 판단하는 분석기술을 포함한 총 5가지 분석기술이 적용된 프레임워크를 제안한다.

이종 디바이스 환경에 효과적인 신규 딥러닝 기반 프로파일링 부채널 분석 (Novel Deep Learning-Based Profiling Side-Channel Analysis on the Different-Device)

  • 우지은;한동국
    • 정보보호학회논문지
    • /
    • 제32권5호
    • /
    • pp.987-995
    • /
    • 2022
  • 딥러닝 기반 프로파일링 부채널 분석은 사전에 소비전력과 같은 부채널 정보와 중간값과의 관계를 신경망이 학습한 뒤, 학습된 신경망을 이용하여 공격 파형의 비밀키를 찾아내는 기법이다. 최근에는 실제 부채널 분석 환경을 고려하기 위하여 교차 디바이스 환경에서의 분석 방안들이 제안되고 있다. 그러나 이러한 환경은 프로파일링 디바이스와 공격 디바이스의 칩이 다르면 공격 성능이 낮아지는 한계점이 존재한다. 따라서 본 논문에서는 공격자가 프로파일링 디바이스와 다른 칩을 가지는 공격 디바이스를 가지고 있는 환경을 이종 디바이스라고 정의하고, 이러한 환경을 고려한 분석 방안을 제안하고자 한다. 프로파일링 데이터와 공격 데이터에서 발생하는 도메인 차이를 줄이기 위해 비지도 도메인 적응을 사용하였다. 또한, 각 데이터의 특징을 잘 추출하기 위하여 여러 전처리 데이터와 원본 데이터를 학습하는 신경망 구조인 MCNN를 이용하였다. 이종 디바이스 환경을 구성하기 위해 8-bit 기반 프로세서 1개, 32-bit 기반 프로세서 5개를 이용하여 AES-128 전력 파형을 수집하였다. 제안한 방법론을 적용한 신경망과 적용하지 않은 신경망의 공격 성능을 비교했을 때, 제안한 방법론을 적용한 신경망의 최소 분석 파형 수가 최대 25배 이상 낮아졌다.

다종 위성영상 자료 융합 기반 수자원 모니터링 기술 개발 (Water resources monitoring technique using multi-source satellite image data fusion)

  • 이슬찬;김완엽;조성근;전현호;최민하
    • 한국수자원학회논문집
    • /
    • 제56권8호
    • /
    • pp.497-508
    • /
    • 2023
  • 수자원의 계절적 편중이 심한 한반도에서 농업용 저수지는 이를 효과적으로 유지 및 관리하기 위한 필수적인 구조물이다. 저수지 모니터링을 위한 수단으로 광학 및 합성개구레이더(Synthetic Aperture Radar, SAR) 위성영상이 활용되고 있으나, 광학영상은 기상현상에 의한 간섭이 심하다는 한계점이 존재하며, SAR 영상은 짙은 식생에서 일어나는 다중 산란 및 노이즈에 의한 오탐지 및 미탐지가 발생하기 쉽다. 이에 본 연구에서는 광학 영상과 SAR 영상의 융합을 통해 저수지 수체 탐지 정확도를 높이고 상호보완적 작용에 대해 정량적으로 분석하고자 하였다. 경기도 이동저수지, 충청남도 천태 저수지를 대상으로, 국내 고해상도 위성인 차세대중형위성 1호, 다목적실용위성 3호 및 3A호, 그리고 유럽우주국의 Sentinel-2 영상 기반 Normalized Difference Water Index (NDWI)와 SAR 탑재 위성인 Sentinel-1 단일 영상에 비지도학습 기법인 K-means 클러스터링 기법을 사용하여 수체를 탐지하고, NDWI-SAR 후방산란계수로 이루어진 2-D grid space에 동일 기법을 활용하여 정확도의 향상 정도를 파악하였다. 전반적인 정확도는 다목적실용위성이 가장 높은 것으로 나타났으며(두 저수지 모두 0.98), 이후 Sentinel-1(두 저수지 모두 0.93), Sentinel-2(이동: 0.83, 천태: 0.97), 차세대중형위성(이동: 0.69, 천태: 0.78) 순서로 감소하였다. 천태저수지에서 2-D K-means 클러스터링 기법을 적용한 결과 차세대중형위성의 수체탐지 정확도는 약 85%의 정밀도 향상과 14%의 재현율 감소와 함께 약 22% 향상되었으며(정확도 약 0.95), 다목적실용위성 및 Sentinel-2의 수체탐지 정밀도는 3-5% 향상되었고, 재현율은 4-7% 감소하였다. 추후 차세대중형위성 5호인 수자원위성 등 고해상도 SAR 위성과 이를 활용할 수 있는 고도화된 영상 융합기술, 수체 탐지 기술이 개발된다면 국내 수자원에 대한 매우 정확한 모니터링이 가능할 것으로 기대된다.

한국 하천의 지역별 유사특성의 군집화와 H-ADCP 기반 부유사 농도 관측 기법에의 활용 방안 (Clustering of sediment characteristics in South Korean rivers and its expanded application strategy to H-ADCP based suspended sediment concentration monitoring technique)

  • 노효섭;손근수;김동수;박용성
    • 한국수자원학회논문집
    • /
    • 제55권1호
    • /
    • pp.43-57
    • /
    • 2022
  • 유사량 계측 기술의 발달로 초음파 도플러 유속계(ADCP)의 산란도가 부유사 농도와 관계가 있다는 특성을 이용해 부유사의 농도를 짧은 시간 간격으로 계측하여 부유사 관측의 비용과 위험 문제를 극복하고자 하는 노력이 지속되고 있다. 국내에는 자동 유량 관측소에 횡방향 ADCP (H-ADCP)가 설치되어 있어 실시간으로 부유사 농도를 계측하는 기술의 적용이 가능하지만 자동 유량 관측소와 부유사 관측소의 위치가 항상 일치하지는 않아 모든 관측소에서의 모형 개발은 불가한 실정이다. 본 연구에서는 이러한 문제를 극복하기 위해 H-ADCP가 설치된 유사량 관측소 9개소에 대해 부유사 농도를 계측하는 H-ADCP-SSC 관계식을 개발하고 그 결과의 적용성에 대해 고찰하였다. 그리고 부유사 관측소별로 나타나는 특징에 대해 알아보기 위해 한국 하천의 부유사 관측소 44개소의 유역면적, 부유사와 하상토의 입도분포, 유량-유사량 관계식 등의 유사특성 자료를 이용해 비지도 기계학습 기법인 가우시안 혼합 모형(GMM)으로 군집분석을 수행하였다. 군집화 결과, 유사량 관측소를 공간적으로 구분해낼 수 있었으며, 특히 하천의 본류와 지류의 유사 특징을 구분해낼 수 있었다. 결과적으로, H-ADCP-SSC 관계식과 부유사 관측소의 군집분석 결과를 종합해 H-ADCP-SSC 관계식이 개발되지 않은 자동 유량 관측소에서 관계식을 적용하는 부유사 농도를 실시간으로 계측할 수 있도록 하는 프로토콜을 제안하였다.

적대적 생성 모델을 활용한 사용자 행위 이상 탐지 방법 (Anomaly Detection for User Action with Generative Adversarial Networks)

  • 최남웅;김우주
    • 지능정보연구
    • /
    • 제25권3호
    • /
    • pp.43-62
    • /
    • 2019
  • 한때, 이상 탐지 분야는 특정 데이터로부터 도출한 기초 통계량을 기반으로 이상 유무를 판단하는 방법이 지배적이었다. 이와 같은 방법론이 가능했던 이유는 과거엔 데이터의 차원이 단순하여 고전적 통계 방법이 효과적으로 작용할 수 있었기 때문이다. 하지만 빅데이터 시대에 접어들며 데이터의 속성이 복잡하게 변화함에 따라 더는 기존의 방식으로 산업 전반에 발생하는 데이터를 정확하게 분석, 예측하기 어렵게 되었다. 따라서 기계 학습 방법을 접목한 SVM, Decision Tree와 같은 모형을 활용하게 되었다. 하지만 지도 학습 기반의 모형은 훈련 데이터의 이상과 정상의 클래스 수가 비슷할 때만 테스트 과정에서 정확한 예측을 할 수 있다는 특수성이 있고 산업에서 생성되는 데이터는 대부분 정답 클래스가 불균형하기에 지도 학습 모형을 적용할 경우, 항상 예측되는 결과의 타당성이 부족하다는 문제점이 있다. 이러한 단점을 극복하고자 현재는 클래스 분포에 영향을 받지 않는 비지도 학습 기반의 모델을 바탕으로 이상 탐지 모형을 구성하여 실제 산업에 적용하기 위해 시행착오를 거치고 있다. 본 연구는 이러한 추세에 발맞춰 적대적 생성 신경망을 활용하여 이상 탐지하는 방법을 제안하고자 한다. 시퀀스 데이터를 학습시키기 위해 적대적 생성 신경망의 구조를 LSTM으로 구성하고 생성자의 LSTM은 2개의 층으로 각각 32차원과 64차원의 은닉유닛으로 구성, 판별자의 LSTM은 64차원의 은닉유닛으로 구성된 1개의 층을 사용하였다. 기존 시퀀스 데이터의 이상 탐지 논문에서는 이상 점수를 도출하는 과정에서 판별자가 실제데이터일 확률의 엔트로피 값을 사용하지만 본 논문에서는 자질 매칭 기법을 활용한 함수로 변경하여 이상 점수를 도출하였다. 또한, 잠재 변수를 최적화하는 과정을 LSTM으로 구성하여 모델 성능을 향상시킬 수 있었다. 변형된 형태의 적대적 생성 모델은 오토인코더의 비해 모든 실험의 경우에서 정밀도가 우세하였고 정확도 측면에서는 대략 7% 정도 높음을 확인할 수 있었다.

PFCM 클러스터링 기법의 개선 (Improvement of the PFCM(Possibilistic Fuzzy C-Means) Clustering Method)

  • 허경용;최세운;우영운
    • 한국정보통신학회논문지
    • /
    • 제13권1호
    • /
    • pp.177-185
    • /
    • 2009
  • 클러스터링은 주어진 데이터 포인트들을 주어진 개수의 그룹으로 나누는 비지도 학습의 한 방법이다. 클러스터링의 방법 중 하나로 널리 알려진 퍼지 클러스터링은 하나의 포인트가 모든 클러스터에 서로 다른 정도로 소속될 수 있도록 함으로써 하나의 클러스터에만 속할 수 있도록 하는 K-means와 같은 방법에 비해 자연스러운 클러스터 형태의 유추가 가능하고, 잡음에 강한 장점이 있다. 이 논문에서는 기존의 퍼지 클러스터링 방법 중 소속도(membership)와 전형성(typicality)을 동시에 계산해 낼 수 있는 Possibilistic Fuzzy C-Means(PFCM) 방법에 Gath-Geva(CG)의 방법을 적용하여 PFCM을 개선한다. 제안한 방법은 PFCM 장점을 그대로 가지면서도, GG의 거리 척도에 의해 클러스터들 사이의 경계를 강조함으로써 분류 목적에 적합한 소속도를 계산할 수 있으며 전형성은 가우스 형태의 분포에서 생성된 포인트들의 분포 함수를 정확하게 모사함으로써 확률 밀도 추정의 방법으로도 사용될 수 있다. 또한 GG 방법은 Gustafson-Kessel 방법과 달리 클러스터에 포함된 포인트의 개수가 확연히 차이나는 경우에도 정확한 결과를 얻을 수 있다. 이러한 사실들은 실험 결과를 통해 확인할 수 있다.