• 스마트미디어저널
• /
• 제12권2호
• /
• pp.9-14
• /
• 2023

이 논문에서는 gradCAM를 활용한 적은 데이터로 얼굴 전체 또는 더 다양한 feature을 사용하여 얼굴인식을 할 수 있는 새로운 앙상블 방법론을 제안하였다. 인공지능 모델의 판단 근거는 gradCAM을 통하여 saliency map으로 표현될 수 있다. 따라서 본 논문에서는 학습된 얼굴인식 모델이 어느 부분에 편향적으로 관찰하여 판단했는지 gradCAM으로 시각화한다. 계산된 saliency map에서 일정 수치 이상의 돌출된 부분을 추가 모델이 학습에 사용할 수 없도록 노이즈를 추가해 데이터를 생산한다. 노이즈를 추가해서 만든 데이터로 학습할 경우 노이즈 부분을 활용하여 학습을 할 수 없으므로 새로운 얼굴 부분을 사용하여 얼굴인식 네트워크를 학습하게 된다. 기본 데이터로 학습한 네트워크와 돌출 부분에 노이즈를 추가해서 학습한 모델은 얼굴의 서로 다른 얼굴 feature을 사용할 수밖에 없고, 앙상블로 결합했을 때 얼굴의 좀 더 다양한 부분들을 사용한 임베딩 feature를 만들 수 있다. 이 논문에서 제안하는 앙상블 기법은 일반적인 앙상블 모델보다 정확도는 1.79% 상승하였고 equal error rate (EER)은 0.01788 감소하였다.

• 한국멀티미디어학회논문지
• /
• 제25권6호
• /
• pp.878-885
• /
• 2022

Research in the field of computer vision based on deep learning is being actively conducted. However, deep learning-based models have vulnerabilities in adversarial attacks that increase the model's misclassification rate by applying adversarial perturbation. In particular, in the case of FGSM, it is recognized as one of the effective attack methods because it is simple, fast and has a considerable attack success rate. Meanwhile, as one of the efforts to visualize deep learning models, Grad-CAM enables visual explanation of convolutional neural networks. In this paper, I propose a method to generate adversarial examples with high attack success rate by applying Grad-CAM to FGSM. The method chooses fixels, which are closely related to labels, by using Grad-CAM and add perturbations to the fixels intensively. The proposed method has a higher success rate than the FGSM model in the same perturbation for both targeted and untargeted examples. In addition, unlike FGSM, it has the advantage that the distribution of noise is not uniform, and when the success rate is increased by repeatedly applying noise, the attack is successful with fewer iterations.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 추계학술발표대회
• /
• pp.479-480
• /
• 2023

생성형 인공지능은 학습의 기준을 파악하기 어려운 모델이다. 그 중 DCGAN을 분석하여 판별자를 통해 생성자의 학습 기준을 판단할 수 있는 하나의 방법을 제안하고자 한다. 그 과정에서 XAI 기법인 Grad-CAM을 활용하여 학습 시에 모델이 중요시하는 부분을 분석하여 적합한 학습과 학습에 적합하지 않은 데이터를 분석하는 방법을 소개하고자 한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.709-713
• /
• 2020

본 논문에서 육안으로도 구별하기 힘든 송전선과 같은 객체가 포함된 송전설비를 효과적으로 검출하는 방법을 제안한다. 객체 인식 모델에 송전탑 데이터 셋을 학습시켜 송전설비 Region of Interest(ROI)를 추출한다. 송전선 데이터 셋을 ResNet50 에 학습하고, 추출된 ROI 영상을 Guided Grad-CAM 을 출력한다. 추출된 Guided Grad-CAM 에 노이즈 제거 후처리를 적용하여 송전설비를 추출한다. 본 논문에서 제안된 기법을 적용할 경우 드론 또는 UAV 헬기 등에서 촬영된 영상으로 송전설비 유지보수가 가능하다.

• Wind and Structures
• /
• 제34권6호
• /
• pp.511-523
• /
• 2022

Detecting the icing on wind turbine blades built-in cold regions with conventional methods is always a very laborious, expensive and very difficult task. Regarding this issue, the use of smart systems has recently come to the agenda. It is quite possible to eliminate this issue by using the deep learning method, which is one of these methods. In this study, an application has been implemented that can detect icing on wind turbine blades images with visualization techniques based on deep learning using images. Pre-trained models of Resnet-50, VGG-16, VGG-19 and Inception-V3, which are well-known deep learning approaches, are used to classify objects automatically. Grad-CAM, Grad-CAM++, and Score-CAM visualization techniques were considered depending on the deep learning methods used to predict the location of icing regions on the wind turbine blades accurately. It was clearly shown that the best visualization technique for localization is Score-CAM. Finally, visualization performance analyses in various cases which are close-up and remote photos of a wind turbine, density of icing and light were carried out using Score-CAM for Resnet-50. As a result, it is understood that these methods can detect icing occurring on the wind turbine with acceptable high accuracy.

• 스마트미디어저널
• /
• 제8권3호
• /
• pp.31-40
• /
• 2019

To understand how a Convolutional Neural Network (CNN) model captures the features of a pattern to determine which class it belongs to, in this paper, we use Gradient-weighted Class Activation Mapping (Grad-CAM) to visualize and analyze how well a CNN model behave on the CNU weeds dataset. We apply this technique to Resnet model and figure out which features this model captures to determine a specific class, what makes the model get a correct/wrong classification, and how those wrong label images can cause a negative effect to a CNN model during the training process. In the experiment, Grad-CAM highlights the important regions of weeds, depending on the patterns learned by Resnet, such as the lobe and limb on 미국가막사리, or the entire leaf surface on 단풍잎돼지풀. Besides, Grad-CAM points out a CNN model can localize the object even though it is trained only for the classification problem.

• 한국압력기기공학회 논문집
• /
• 제19권2호
• /
• pp.93-101
• /
• 2023

In this study, a deep learning algorithm was used to diagnose electric potential signals obtained through CIPS and DCVG, used indirect inspection methods to confirm the soundness of buried pipes. The deep learning algorithm consisted of CNN(Convolutional Neural Network) model for diagnosing the electric potential signal and Grad CAM(Gradient-weighted Class Activation Mapping) for showing the flaw prediction point. The CNN model for diagnosing electric potential signals classifies input data as normal/abnormal according to the presence or absence of flaw in the buried pipe, and for abnormal data, Grad CAM generates a heat map that visualizes the flaw prediction part of the buried pipe. The CIPS/DCVG signal and piping layout obtained from the 3D finite element model were used as input data for learning the CNN. The trained CNN classified the normal/abnormal data with 93% accuracy, and the Grad-CAM predicted flaws point with an average error of 2m. As a result, it confirmed that the electric potential signal of buried pipe can be diagnosed using a CNN-based deep learning algorithm.

• 한국컴퓨터그래픽스학회논문지
• /
• 제25권5호
• /
• pp.11-20
• /
• 2019

딥러닝 기술의 발전으로 가상 현실이나 증강 현실 응용에서 사용하기 적절한 사용자 친화적 인터페이스에 관한 연구가 활발히 이뤄지고 있다. 본 논문은 사용자의 손을 이용한 인터페이스를 지원하기 위하여 손 끝 좌표를 추적하여 가상의 객체를 선택하거나, 공중에 글씨나 그림을 작성하는 행위가 가능하도록 딥러닝 기반 손 끝 객체 탐지 방법을 제안한다. 입력 영상에서 Grad-CAM으로 해당 손 끝 객체의 대략적인 부분을 잘라낸 후, 잘라낸 영상에 대하여 Atrous Convolution을 이용한 합성곱 신경망을 수행하여 손 끝의 위치를 찾는다. 본 방법은 객체의 주석 전처리 과정을 별도로 요구하지 않으면서 기존 객체 탐지 알고리즘 보다 간단하고 구현하기에 쉽다. 본 방법을 검증하기 위하여 Air-Writing 응용을 구현한 결과 평균 81%의 인식률과 76 ms 속도로 허공에서 지연 시간 없이 부드럽게 글씨 작성이 가능하여 실시간으로 활용 가능함을 알 수 있었다.

• 한국정보통신학회논문지
• /
• 제22권12호
• /
• pp.1596-1603
• /
• 2018

화재에 대한 신속한 예측과 경고는 인명 및 재산피해를 최소화시킬 수 있는 필수적인 요소이다. 일반적으로 화재가 발생하면 연기와 화염이 함께 발생하기 때문에 화재 감지 시스템은 연기와 화염을 모두 감지할 필요가 있다. 그러나 대부분의 화재 감지 시스템은 화염 혹은 연기만 감지하며, 화재 감지를 위한 전처리 작업을 추가함에 따라 처리 속도가 느려지는 단점이 있다. 본 연구에서는 다중 레이블 분류(Multi-labeled Classification)를 지원하는 CNN 모델을 구성해서 화염과 연기를 동시에 예측하고, CNN의 특징을 기반으로 클래스에 대한 위치를 시각화하는 Grad-CAM을 이용해서 실시간으로 화재 상태를 모니터링 할 수 있는 화재 감지 시스템을 구현하였다. 또한, 13개의 화재 동영상을 사용해서 테스트한 결과, 화염과 연기에 대해 각각 98.73%와 95.77%의 정확도를 보였다.

• 한국정보통신학회논문지
• /
• 제24권2호
• /
• pp.204-211
• /
• 2020

본 논문에서는 약한 지도학습을 통한 주 객체 위치 검출을 위한 최적의 딥러닝 네트워크 구조를 제안한다. 제안된 네트워크는 약한 지도학습을 통한 주 객체의 위치 검출 정확도를 향상시키기 위해 컨벌루션 블록을 추가하였다. 추가적인 딥러닝 네트워크는 VGG-16을 기반으로 합성곱 층을 더해주는 5가지 추가적인 블록으로 구성되며 객체의 실제 위치 정보가 필요하지 않는 약한 지도 학습의 방법으로 학습하였다. 또한 객체의 위치 검출에는 약한 지도학습의 방법 중, CAM에서 GAP이 필요하다는 단점을 보완한 Grad-CAM을 사용하였다. 제안한 네트워크는 CUB-200-2011 데이터 셋을 이용하여 성능을 테스트하였으며 Top-1 Localization Error를 산출하였을 때 50.13%의 결과를 얻을 수 있었다. 또한 제안한 네트워크는 기존의 방법보다 주 객체를 검출하는데 더 높은 정확도를 보인다.