• 제목/요약/키워드: convolution layer

검색결과 138건 처리시간 0.022초

인공신경망의 연결압축에 대한 연구 (A Study on Compression of Connections in Deep Artificial Neural Networks)

  • 안희준
    • 한국산업정보학회논문지
    • /
    • 제22권5호
    • /
    • pp.17-24
    • /
    • 2017
  • 최근 딥러닝, 즉 거대 또는 깊은 인공신경망을 사용한 기술이 놀라운 성능을 보이고 있고, 점차로 그 네트워크의 규모가 커지고 있다. 하지만, 신경망 크기의 증가는 계산양의 증가로 이어져서 회로의 복잡성, 가격, 발열, 실시간성 제약 등의 문제를 야기한다. 또한, 신경망 연결에는 많은 중복성이 존재한다, 본 연구에서는 이 중복성을 효과적으로 제거하여 이용하여 원 신경망의 성능과 원하는 범위안의 차이를 보이면서, 네트워크 연결의 수를 줄이는 방법을 제안하고 실험하였다. 특히, 재학습에 의하여 성능을 향상시키고, 각 계층별 차이를 고려하기 위하여 계층별 오류율을 할당하여 원하는 성능을 보장할 수 있는 간단한 방법을 제안하였다. 대표적인 영상인식 신경망구조인 FCN (전연결) 구조와 CNN (컨벌루션 신경망) 구조에서 대하여 실험한 결과 약 1/10 정도의 연결만으로도 원 신경망과 유사한 성능을 보일 수 있음을 확인하였다.

Low Resolution Infrared Image Deep Convolution Neural Network for Embedded System

  • Hong, Yong-hee;Jin, Sang-hun;Kim, Dae-hyeon;Jhee, Ho-Jin
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권6호
    • /
    • pp.1-8
    • /
    • 2021
  • 본 논문은 저해상도 적외선영상을 사양이 낮은 임베디드 시스템에서 추론 가능하도록 강화된 VGG 스타일과 Global Average Pooling 조합으로 정확도를 증가시키면서 연산량을 최소화하는 딥러닝 컨볼루션 신경망을 이용한 저해상도 적외선 표적 분류 방법을 제안한다. 제안한 알고리즘은 OKTAL-SE로 생성한 합성영상 클래스 9개 3,723,328개를 분류하였다. 최초 임베디드 추론 가능하도록 파라메터 수가 최소화된 최대풀링 레이어 기준 입력단 8개와 출력단 8개 조합에 비해 강화된 VGG 스타일을 적용한 입력단 4개와 출력단 16개 필터수 조합을 이용하여 연산량은 약 34% 감소시켰으며, 정확도는 약 2.4% 증가시켜 최종 정확도 96.1%을 획득하였다. 추가로 C 코드로 포팅하여 수행시간을 확인하였으며, 줄어든 연산량 만큼 수행 시간이 약 32% 줄어든 것을 확인할 수 있었다.

로봇 비전의 영상 인식 AI를 위한 전이학습 정량 평가 (Quantitative evaluation of transfer learning for image recognition AI of robot vision)

  • 정재학
    • 문화기술의 융합
    • /
    • 제10권3호
    • /
    • pp.909-914
    • /
    • 2024
  • 본 연구에서는 로봇 비전용 영상 인식을 비롯한 다양한 AI 분야에서 널리 활용되는 전이학습에 대한 정량적 평가를 제시하였다. 전이학습을 적용한 연구 결과에 대한 정량적, 정성적 분석은 제시되나, 전이학습 자체에 대해서는 논의되지 않는다. 따라서 본 연구에서는 전이학습 자체에 대한 정량적 평가를 숫자 손글씨 데이터베이스인 MNIST를 기반으로 제안한다. 기준 네트워크를 대상으로 전이학습 동결층의 깊이 및 전이학습 데이터와 사전 학습 데이터의 비율에 따른 정확도 변화를 추적하였다. 이를 통해 첫번째 레이어까지 동결할 때 전이학습 데이터의 비율이 3% 이상일 경우, 90% 이상의 정확도를 안정적으로 유지할 수 있음이 확인되었다. 본 연구의 전이학습 정량 평가 방법은 향후 네트워크 구조와 데이터의 종류에 따라 최적화된 전이학습을 구현하는데 활용 가능하며, 다양한 환경에서 로봇 비전 및 이미지 분석 AI의 활용 범위를 확대할 것이다.

Application of the Laplace transformation for the analysis of viscoelastic composite laminates based on equivalent single-layer theories

  • Sy, Ngoc Nguyen;Lee, Jaehun;Cho, Maenghyo
    • International Journal of Aeronautical and Space Sciences
    • /
    • 제13권4호
    • /
    • pp.458-467
    • /
    • 2012
  • In this study, the linear viscoelastic response of a rectangular laminated plate is investigated. The viscoelastic properties, expressed by two basic spring-dashpot models, that is Kelvin and Maxwell models, is assumed in the range to investigate the influence of viscoelastic coefficients to mechanical behavior. In the present study, viscoelastic responses are performed for two popular equivalent single-layered theories, such as the first-order shear deformation theory (FSDT) and third-order shear deformation theory (TSDT). Compliance and relaxation modulus of time-dependent viscoelastic behavior are approximately determined by Prony series. The constitutive equation for linear viscoelastic material as the Boltzmann superposition integral equation is simplified by the convolution theorem of Laplace transformation to avoid direct time integration as well as to improve both accuracy and computational efficiency. The viscoelastic responses of composite laminates in the real time domain are obtained by applying the inverse Laplace transformation. The numerical results of viscoelastic phenomena such as creep, cyclic creep and recovery creep are presented.

MALICIOUS URL RECOGNITION AND DETECTION USING ATTENTION-BASED CNN-LSTM

  • Peng, Yongfang;Tian, Shengwei;Yu, Long;Lv, Yalong;Wang, Ruijin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제13권11호
    • /
    • pp.5580-5593
    • /
    • 2019
  • A malicious Uniform Resource Locator (URL) recognition and detection method based on the combination of Attention mechanism with Convolutional Neural Network and Long Short-Term Memory Network (Attention-Based CNN-LSTM), is proposed. Firstly, the WHOIS check method is used to extract and filter features, including the URL texture information, the URL string statistical information of attributes and the WHOIS information, and the features are subsequently encoded and pre-processed followed by inputting them to the constructed Convolutional Neural Network (CNN) convolution layer to extract local features. Secondly, in accordance with the weights from the Attention mechanism, the generated local features are input into the Long-Short Term Memory (LSTM) model, and subsequently pooled to calculate the global features of the URLs. Finally, the URLs are detected and classified by the SoftMax function using global features. The results demonstrate that compared with the existing methods, the Attention-based CNN-LSTM mechanism has higher accuracy for malicious URL detection.

CNN을 사용한 차선검출 시스템 (Lane Detection System using CNN)

  • 김지훈;이대식;이민호
    • 대한임베디드공학회논문지
    • /
    • 제11권3호
    • /
    • pp.163-171
    • /
    • 2016
  • Lane detection is a widely researched topic. Although simple road detection is easily achieved by previous methods, lane detection becomes very difficult in several complex cases involving noisy edges. To address this, we use a Convolution neural network (CNN) for image enhancement. CNN is a deep learning method that has been very successfully applied in object detection and recognition. In this paper, we introduce a robust lane detection method based on a CNN combined with random sample consensus (RANSAC) algorithm. Initially, we calculate edges in an image using a hat shaped kernel, then we detect lanes using the CNN combined with the RANSAC. In the training process of the CNN, input data consists of edge images and target data is images that have real white color lanes on an otherwise black background. The CNN structure consists of 8 layers with 3 convolutional layers, 2 subsampling layers and multi-layer perceptron (MLP) of 3 fully-connected layers. Convolutional and subsampling layers are hierarchically arranged to form a deep structure. Our proposed lane detection algorithm successfully eliminates noise lines and was found to perform better than other formal line detection algorithms such as RANSAC

전처리와 특징 추출이 CNN기반 화재 탐지 성능에 미치는 효과 (Effects of Preprocessing and Feature Extraction on CNN-based Fire Detection Performance)

  • 이정환;김병만;신윤식
    • 한국산업정보학회논문지
    • /
    • 제23권4호
    • /
    • pp.41-53
    • /
    • 2018
  • 최근 들어 머신 러닝 기술의 발달로 기존 영상 기반의 응용시스템에 딥러닝 기술을 적용하는 사례들이 늘고 있다. 이러한 맥락에서 화재 감지 분야에서도 CNN (Convolutional Neural Network)을 적용하는 시도들이 이루어지고 있다. 본 논문에서는 기존 전처리 방법과 특징 추출 방법이 CNN과 결합되었을 때 화재 탐지에 어떤 효과를 유발하는지를 검증하기 위해 인식 성능과 학습 시간을 평가해 보았다. VGG19 CNN 구조를 변경, 즉 컨볼루션층을 조금씩 늘리면서 실험을 진행한 결과, 일반적으로 전처리하지 않는 이미지를 사용한 경우가 성능이 훨씬 좋음을 확인할 수 있었다. 또한 성능적인 측면에서는 전처리 방법과 특징 추출 방법이 부정적인 영향을 미치지만 학습속도 측면에서는 많은 이득이 있음을 확인할 수 있었다.

CNN-based Gesture Recognition using Motion History Image

  • Koh, Youjin;Kim, Taewon;Hong, Min;Choi, Yoo-Joo
    • 인터넷정보학회논문지
    • /
    • 제21권5호
    • /
    • pp.67-73
    • /
    • 2020
  • In this paper, we present a CNN-based gesture recognition approach which reduces the memory burden of input data. Most of the neural network-based gesture recognition methods have used a sequence of frame images as input data, which cause a memory burden problem. We use a motion history image in order to define a meaningful gesture. The motion history image is a grayscale image into which the temporal motion information is collapsed by synthesizing silhouette images of a user during the period of one meaningful gesture. In this paper, we first summarize the previous traditional approaches and neural network-based approaches for gesture recognition. Then we explain the data preprocessing procedure for making the motion history image and the neural network architecture with three convolution layers for recognizing the meaningful gestures. In the experiments, we trained five types of gestures, namely those for charging power, shooting left, shooting right, kicking left, and kicking right. The accuracy of gesture recognition was measured by adjusting the number of filters in each layer in the proposed network. We use a grayscale image with 240 × 320 resolution which defines one meaningful gesture and achieved a gesture recognition accuracy of 98.24%.

컨볼루션 신경망을 이용한 지능형 화재 학습 및 탐지 시스템 (An Intelligent Fire Learning and Detection System Using Convolutional Neural Networks)

  • 최경주;전민성
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권11호
    • /
    • pp.607-614
    • /
    • 2016
  • 본 논문에서는 컨볼루션 신경망 모델을 이용한 지능형 화재 학습 및 탐지 시스템을 제안한다. 제안하는 시스템에서 사용된 신경망의 컨볼루션 층을 통해 불꽃 이미지와 연기 이미지에 대한 특징맵을 생성하고, 생성된 특징맵에 대하여 불꽃과 연기를 분류하는 학습을 진행한다. 이렇게 학습된 신경망에 움직임 특징 및 색상 특징만을 이용한 간단한 처리를 통해 검출된 화재 후보 영역 이미지를 입력시키면 입력된 영역에 화재가 발생했는지의 여부를 알 수 있다. 다양한 영상을 대상으로 실험한 결과 학습된 신경망은 화재 후보 영역에서 불꽃과 연기를 분류하는데 뛰어난 효과를 보여줌을 확인하였다.

영상기반의 화재 검출에 효과적인 CNN 심층학습의 커널 특성에 대한 연구 (A Study of Kernel Characteristics of CNN Deep Learning for Effective Fire Detection Based on Video)

  • 손금영;박장식
    • 한국전자통신학회논문지
    • /
    • 제13권6호
    • /
    • pp.1257-1262
    • /
    • 2018
  • 본 논문에서는 보안 감시 카메라 영상을 활용하여 화재 검출을 위한 효과적인 심층학습 방안을 제안한다. AlexNet 모델을 기준으로 효과적인 화재 검출을 위한 커널 크기와 커널 이동 간격의 변화에 따른 분류 성능을 비교 분석한다. 학습을 위한 데이터셋은 정상과 화재 2가지 클래스로 분류한다, 정상 영상에는 구름과 안개 낀 영상을 포함하고, 화재 영상에는 연기와 화염을 각각 포함한다. AlexNet 모델의 첫 번째 계층의 커널 크기와 이동 간격에 따른 분류 성능 분석 결과 커널의 크기는 크고, 이동 간격은 작을수록 화재 분류 성능이 우수한 것을 확인할 수 있다.