• 한국컴퓨터정보학회논문지
• /
• 제21권1호
• /
• pp.1-8
• /
• 2016

Convolutional neural network (CNN) consists of a few pairs of both convolution layer and subsampling layer. Thus it has more hidden layers than multi-layer perceptron. With the increased layers, the size of convolution mask ultimately determines the total number of weights in CNN because the mask is shared among input images. It also is an important learning factor which makes or breaks CNN's learning. Therefore, this paper proposes the best method to choose the convolution size and the number of layers for learning CNN successfully. Through our face recognition with vast learning examples, we found that the best size of convolution mask is 5 by 5 and 7 by 7, regardless of the number of layers. In addition, the CNN with two pairs of both convolution and subsampling layer is found to make the best performance as if the multi-layer perceptron having two hidden layers does.

• 한국멀티미디어학회논문지
• /
• 제24권11호
• /
• pp.1552-1559
• /
• 2021

Convolution neural networks (CNNs) show notable performance in image processing and are used as representative core models. CNNs extract and learn features from large amounts of train dataset. In general, it has a structure in which a convolution layer and a fully connected layer are stacked. The core of CNN is the convolution layer. The size of the kernel used for feature extraction and the number that affect the depth of the feature map determine the amount of weight parameters of the CNN that can be learned. These parameters are the main causes of increasing the computational complexity and memory usage of the entire neural network. The most computationally expensive components in CNNs are fully connected and spatial convolution computations. In this paper, we propose a Fourier Convolution Neural Network that performs the operation of the convolution layer in the Fourier domain. We work on modifying and improving the amount of computation by applying the fast fourier transform method. Using the MNIST dataset, the performance was similar to that of the general CNN in terms of accuracy. In terms of operation speed, 7.2% faster operation speed was achieved. An average of 19% faster speed was achieved in experiments using 1024x1024 images and various sizes of kernels.

• 전기전자학회논문지
• /
• 제25권3호
• /
• pp.493-500
• /
• 2021

본 논문에서는 다각형 용기의 품질 향상을 위한 딥러닝 구조 개발을 제안한다. 딥러닝 구조는 convolution 층, bottleneck 층, fully connect 층, softmax 층 등으로 구성된다. Convolution 층은 입력 이미지 또는 이전 층의 특징 이미지를 여러 특징 필터와 convolution 3x3 연산하여 특징 이미지를 얻어 내는 층이다. Bottleneck 층은 convolution 층을 통해 추출된 특징 이미지상의 특징들 중에서 최적의 특징들만 선별하여 convolution 1x1 ReLU로 채널을 감소시키고convolution 3x3 ReLU를 실시한다. Bottleneck 층을 거친 후에 수행되는 global average pooling 연산과정은 convolution 층을 통해 추출된 특징 이미지의 특징들 중에서 최적의 특징들만 선별하여 특징 이미지의 크기를 감소시킨다. Fully connect 층은 6개의 fully connect layer를 거쳐 출력 데이터가 산출된다. Softmax 층은 입력층 노드의 값과 연산을 진행하려는 목표 노드 사이의 가중치와 곱을 하여 합하고 활성화 함수를 통해 0~1 사이의 값으로 변환한다. 학습이 완료된 후에 인식 과정에서는 학습 과정과 마찬가지로 카메라를 이용한 이미지 획득, 측정 위치 검출, 딥러닝을 활용한 비원형 유리병 분류 등을 수행하여 비원형 유리병을 분류한다. 제안된 다각형 용기의 품질 향상을 위한 딥러닝 구조의 성능을 평가하기 위하여 공인시험기관에서 실험한 결과, 양품/불량 판별 정확도 99%로 세계최고 수준과 동일한 수준으로 산출되었다. 검사 소요 시간은 평균 1.7초로 비원형 머신비전 시스템을 사용하는 생산 공정의 가동 시간 기준 내로 산출되었다. 따라서 본 본문에서 제안한 다각형 용기의 품질 향상을 위한 딥러닝 구조의 성능의 그 효용성이 입증되었다.

• ETRI Journal
• /
• 제39권6호
• /
• pp.841-850
• /
• 2017

We investigate neural network image reconstruction for magnetic particle imaging. The network performance strongly depends on the convolution effects of the spectrum input data. The larger convolution effect appearing at a relatively smaller nanoparticle size obstructs the network training. The trained single-layer network reveals the weighting matrix consisting of a basis vector in the form of Chebyshev polynomials of the second kind. The weighting matrix corresponds to an inverse system matrix, where an incoherency of basis vectors due to low convolution effects, as well as a nonlinear activation function, plays a key role in retrieving the matrix elements. Test images are well reconstructed through trained networks having an inverse kernel matrix. We also confirm that a multi-layer network with one hidden layer improves the performance. Based on the results, a neural network architecture overcoming the low incoherence of the inverse kernel through the classification property is expected to become a better tool for image reconstruction.

• 전기전자학회논문지
• /
• 제20권3호
• /
• pp.303-306
• /
• 2016

본 논문에서는 GPGPU를 활용하여 Convolutional neural network의 가속화 방법을 제안한다. Convolutional neural network는 이미지의 특징 값을 학습하여 분류하는 neural network의 일종으로 대량의 데이터를 학습해야하는 영상 처리에 적합하다. 기존의 Convolutional neural network의 convolution layer는 다수의 곱셈 연산을 필요로 하여 임베디드 환경에서 실시간으로 동작하기에 어려움이 있다. 본 논문에서는 이러한 단점을 해결하기 위하여 winograd convolution 연산을 통하여 곱셈 연산을 줄이고 GPGPU의 SIMT 구조를 활용하여 convolution 연산을 병렬 처리한다. 실험은 ModelSim, TestDrive를 사용하여 진행하였고 실험 결과 기존의 convolution 연산보다 처리 시간이 약 17% 개선되었다.

• 한국방사선학회논문지
• /
• 제14권1호
• /
• pp.39-44
• /
• 2020

본 연구에서는 CNN과 빅데이터 기술을 이용한 Deep Learning을 통해 흉부 X-ray 영상 분류 및 정확성 연구에 대하여 알아보고자 한다. 총 5,873장의 흉부 X-ray 영상에서 Normal 1,583장, Pneumonia 4,289장을 사용하였다. 데이터 분류는 train(88.8%), validation(0.2%), test(11%)로 분류하였다. Convolution Layer, Max pooling layer pool size 2×2, Flatten layer, Image Data Generator로 구성하였다. Convolution layer가 3일 때와 4일 때 각각 filter 수, filter size, drop out, epoch, batch size, 손실함수 값을 설정하였다. test 데이터로 Convolution layer가 4일 때, filter 수 64-128-128-128, filter size 3×3, drop out 0.25, epoch 5, batch size 15, 손실함수 RMSprop으로 설정 시 정확도가 94.67%였다. 본 연구를 통해 높은 정확성으로 분류가 가능하였으며, 흉부 X-ray 영상뿐만 아니라 다른 의료영상에서도 많은 도움이 될 것으로 사료된다.

• 문화기술의 융합
• /
• 제3권4호
• /
• pp.165-169
• /
• 2017

CNN(Convolutional Nerual Network)는 기계학습 알고리즘 중에서도 이미지의 인식과 분류에 뛰어난 성능을 보이는 알고리즘 중 하나이다. CNN의 경우 간단하지만 많은 연산량을 가지고 있어 많은 시간이 소요된다. 따라서 본 논문에서는 CNN 수행과정에서 많은 처리시간이 소모되는 convolution layer와 pooling layer, fully connected layer의 연산수행을 SIMT(Single Instruction Multiple Thread)구조의 GPGPU(General-Purpose computing on Graphics Processing Units)를 통하여 병렬로 연산처리를 수행했다. 또한 convolution layer의 출력을 저장하지 않고 pooling layer의 입력으로 바로 사용함으로 메모리 접근횟수를 줄여 성능 향상을 기대했다. 본 논문에서는 이 실험검증을 위하여 MNIST 데이터 셋을 사용하였고 이를 통하여 제안하는 CNN 구조가 기존의 구조보다 12.38% 더 좋은 성능을 보임을 확인했다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2023년도 춘계학술발표대회
• /
• pp.11-12
• /
• 2023

GPGPU 환경에서의 ML 모델이 다양한 분야에 지속적으로 활용되면서, 이미지 분할(image segmentation) 연구가 활발하다. multi-GPU 환경에서 성능 최적화를 위하여 병렬화 기법들이 활용되고 있다. 본 연구에서는 multi-GPU 환경에서 U-Net 모델의 전체 수행 시간을 단축하기 위해 convolution 연산을 최적화하는 기법을 적용하는 실험을 진행하였고 shared memory, data parallelism 를 적용하여 82% 성능 향상을 보여주었다.

• 한국음향학회지
• /
• 제15권5호
• /
• pp.13-20
• /
• 1996

현재 신경회로망의 구현에 관한 여러 가지 연구가 진행되고 있으며, 이들 중 신경회로망의 VLSI 구현에 대한 연구가 매우 활발하다. 디지털 신경회로망은 느린 처리속도와 넓은 면적을 차지하는 점이 주요 단점으로 지적되는데 본 논문에서는 neural cell을 곱셈과 덧셈을 Binary Convolution 기법과 Counter를 사용하여 설계함으로써 속도를 높이고 단위 뉴런의 소요 Tr수를 줄여 그 소요 면적을 줄이도록 하였다. 본 cell의 구조를 이용하여 layer당 16개씩의 cell을 가지는 3-layer neural network을 구성하였을 경우 0.8${\mu}$ standard cell 설계시 50MHz까지 동작하였으며 26MCPS의 동작을 확보하였다.

• 한국전자통신학회논문지
• /
• 제15권1호
• /
• pp.133-138
• /
• 2020

본 논문은 대부분의 변형된 CNN(: Convolution Neural Networks)에서 사용하지 않는 첫 번째 컨볼루션 층(convolution layer)을 사용해 정확도 향상을 노리는 방법을 소개한다. GoogLeNet, DenseNet과 같은 CNN에서 첫 번째 컨볼루션 층에서는 기존방식(3×3 컨볼루션연산 및 배규정규화, 활성화함수)만을 사용하는데 이 부분을 RGB-csb(: RGB channel separation block)로 대체한다. 이를 통해 RGB값을 특징 맵에 적용시켜 정확성을 향상시킬 수 있는 선행연구 결과에 추가적으로, 기존 CNN과 제한된 영상 개수를 사용하여 정확도를 비교한다. 본 논문에서 제안한 방법은 영상의 개수가 적을수록 학습 정확도 편차가 커 불안정하지만 기존 CNN에 비해 정확도가 평균적으로 높음을 알 수 있다. 영상의 개수가 적을수록 평균적으로 약 2.3% 높은 정확도를 보였으나 정확도 편차는 5% 정도로 크게 나타났다. 반대로 영상의 개수가 많아질수록 기존 CNN과의 평균 정확도의 차이는 약 1%로 줄어들고, 각 학습 결과의 정확도 편차 또한 줄어든다.