Tomato Crop Disease Classification Using an Ensemble Approach Based on a Deep Neural Network

심층 신경망 기반의 앙상블 방식을 이용한 토마토 작물의 질병 식별

Abstract

The early detection of diseases is important in agriculture because diseases are major threats of reducing crop yield for farmers. The shape and color of plant leaf are changed differently according to the disease. So we can detect and estimate the disease by inspecting the visual feature in leaf. This study presents a vision-based leaf classification method for detecting the diseases of tomato crop. ResNet-50 model was used to extract the visual feature in leaf and classify the disease of tomato crop, since the model showed the higher accuracy than the other ResNet models with different depths. We propose a new ensemble approach using several DCNN classifiers that have the same structure but have been trained at different ranges in the DCNN layers. Experimental result achieved accuracy of 97.19% for PlantVillage dataset. It validates that the proposed method effectively classify the disease of tomato crop.

1. 서론

농작물에 발생하는 질병은 작물의 생산량은 물론 품질에도 큰 영향을 미친다. 따라서 작물에 발생하는 질병을 원천적으로 예방하는 조치와 함께 질병이 발생하였을 때 적절한 조치를 취하여 질병이 확산되는 것을 방지하여야 한다. 이를 위해서는 질병에 대한 신속한 탐지 및 식별이 필요하다. 전문가에 의해 육안으로 질병을 식별하는 방법은 농장의 규모가 클수록 비용이 많이 들고 생육과정 동안 지속적인 모니터링이 어렵다. 정보화의 진전으로 사물 인터넷, 빅 데이터, 인공지능 등의 기술을 통해 농작물의 생육 환경을 적절하게 유지하고 관리하는 스마트 팜(smart farm)에 대한 관심이 증대되면서 컴퓨터 비전 기술을 이용하여 작물의 질병을 탐지하고 식별하는 연구가 주목받고 있다. 토마토 잎의 색상과 텍스처 특징을 이용하여 영양 결핍에 의한 토마토 작물의 질병을 탐지한 연구[1]에 따르면 정확도가 82.5%였고 전문가가 질병을 탐지하기 6∼10일전에 탐지가 가능하였다.

균류, 박테리아, 바이러스 등에 의해 발생하는 식물의 질병은 잎에 그 증상이 발현되기 때문에 잎에 나타나는 시각적 특징들은 질병을 탐지하고 식별하는데 중요한 정보가 된다[2]. Husin 외[3]는 고추 잎에 나타나는 컬러 정보를 이용하여 고추의 질병 여부를 탐지하였으며, Youwen 외[4]는 오이 잎에 나타나는 텍스처와 질병에 의한 반점(disease spot)의 형태와 컬러 정보를 이용하여 오이의 질병을 식별하였다. 토마토 작물의 질병을 탐지하기 위하여 Mokhtar[5] 는 명도레벨 동시발생 행렬(GLCM)을 이용하여 잎의 텍스처를 기술하고, 지지벡터머신(SVM)을 이용하여 이진 분류를 수행하였다. 4개 커널 함수(linear, RBF, MLP, Polynomial kernel) 중 선형(linear) 함수를 적용한 SVM 분류기가 가장 좋은 결과를 나타내었다. Sabrol 외[6]는 GLCM으로부터 상관(correlation), 대비(contrast), 에너지(energy), 균일성(homogeneity)이라는 4개의 특징벡터를 추출하여 적응적 뉴로-퍼지 추론 시스템(ANFIS)이라고 명명한 5개 레이어로 이루어진 신경망 분류기를 이용하여 토마토와 가지 작물에 나타나는 질병을 식별하였다.

최근에는 합성곱 신경망(CNN)을 적용하여 토마토 작물의 잎에 나타나는 시각적 특징을 추출하고, 이를 통해 질병을 식별하는 접근 방식이 주목을 받고있다. Ashqar 외[7]는 4개의 합성곱 레이어로 구성된 CNN을 제안하였고, Rangarajan 외[8]는 ImageNet 데이터세트[9]로 사전 학습된 AlexNet과 VGG16을 사용하였다. Sardogan 외[10]는 4개의 합성곱 레이어로 구성된 CNN을 이용하여 특징벡터를 추출한 후학습벡터양자화(LVQ) 신경망에 입력으로 연결하여 토마토 작물의 질병을 식별하였다. Sladojevic 외[11]는 5개의 합성곱 레이어를 갖는 사전 학습된 Caffe Net을 이용하였다. 기존 연구들은 CNN의 합성곱 레이어의 개수가 5개 이하인 깊이가 얕은 모델을 사용하거나, 사전 학습된 딥 러닝 모델을 이용할 경우 최상위 단계에 해당하는 완전연결신경망 부분에 대해서만 미세 조정(fine tunning)하는 방식을 사용하였다. 이러한 CNN의 제한적 사용은 식물의 잎 영상들은 ImageNet 데이터세트에 나타나는 1,000종에 해당하는 다양한 영상들에 비하여 추출할 특징이 상대적으로 저차원이고 신경망을 학습시킬 학습데이터를 충분하게 확보하기 어렵기 때문으로 판단된다. 일반적으로 신경망의 깊이가 깊을수록 일반화 능력이 우수해지나 신경망을 학습시키기 위해 더 많은 학습데이터가 필요한 것으로 알려져 있다[12].

본 연구에서는 토마토 작물의 잎에 나타나는 시각적 특징을 추출하기 위하여 최상위 병목 레이어(bottlenect layer) 뒤에 이어지는 완결연결신경망을 미세 조정하는 기존 연구[8]와는 달리 그 앞단에 있는 여러 병목 레이어의 특징을 이용한다. 그리고 동일한 구조의 CNN에 대하여 학습 범위를 달리하여 생성한 여러 분류기들의 예측결과를 결합하여 인식 성능을 향상시키는 앙상블 기법을 제안한다. 본 논문의 구성은 다음과 같다. 2장에서는 다양한 깊이를 갖는 ResNet 모델의 기본 구조와 특성에 대하여 살펴본다. 3장에서는 ResNet모델을 이용한 전이 학습(transfer learning)에서 신경망의 학습 범위를 확대하여 토마토 작물의 질병을 식별하는 방법에 대하여 기술한다. 그리고 개별 분류기에서 얻은 예측 결과들을 조합하여 인식 성능을 개선하는 앙상블 기법에 대하여 설명한다. 4장에서는 토마토 작물의 질병 식별에 대한 제안된 방법의 효과성을 실험을 통해 확인하고, 그 결과를 기존 연구결과들과 비교한다. 끝으로 5장에서 결론 및 향후 과제에 대하여 논의한다.

2. ResNet 모델

합성곱 신경망(CNN)을 이용한 AlexNet[13]이 ILSVRC 대회(ImageNet Large-Scale Visual Recognition Challenge)에서 기존 방식의 성능을 훨씬 뛰어넘는 성과를 나타내면서 CNN에 대한 관심이 급증하였다. AlexNet은 5개의 합성곱 레이어와 3개의 완전연결 레이어로 구성하였는데 중간 합성곱 레이어를 어느 하나라도 없애면 약 2%의 성능 저하가 발생함을 보고하였다. CNN 레이어에서 추출된 특징들을 시각화한 연구[14]에서도 신경망의 깊이를 줄였을 때 성능이 저하되는 것으로 나타났다. 이러한 결과는 자연스럽게 깊은 신경망에 대한 연구로 이어지고 있다. 심층 합성곱 신경망(DCNN)은 여러 개의 합성곱 레이어와 풀링 레이어를 거친 후 최종적으로 완전연결 레이어로 완성이 된다. 이때 완전연결 레이어가 과적합되는 것을 방지하기 위하여 드롭아웃(drop out)이라는 기법이 적용된다. 드롭아웃은 확률적으로 일부 뉴런의 가중치를 제거하여 어떤 특징이 특정 뉴런에 고정되는 것을 막아 가중치의 균형을 이루도록 한다. 신경망의 깊이가 늘어나면서 앞단에서 추출한 낮은 차원의 특징이 점차 고차원의 특징으로 결합되면서 신경만의 일반화 능력이 향상될 것으로 기대하고 있으나, 깊이가 늘어나면 기울기 소실(vanishing gradient) 문제로 인하여 학습에 문제가 발생하게 된다. ResNet[15] 모델은 신경망의 깊이가 늘어나면서 발생하는 기울기 소실 문제를 해결하기 위하여 Fig. 1에 제시된 항등 매핑(identity mapping)을 도입하였다. 이 방식은 기존 신경망의 구조를 크게 변경하지 않기 때문에 학습할 파라미터의 개수가 증가하지 않는 장점이 있다. 

Fig. 1. Residual learning: a bottlenect block [15].

잔여 학습이 이루어지는 병목 블록(bottlenect block)의 형태와 병목 블록을 연속적으로 연결한 개수에 따라 18개에서 152개 레이어에 이르는 다양한 깊이의 ResNet 모델이 만들어진다. ResNet-18과 ResNet-34는 Fig. 1에 제시된 2개의 레이어로 이루어진 병목 블록을 각각 8개와 16개 결합하여 신경망을 구성하며, ResNet-50, ResNet-101, ResNet-152는 병목 블록을 3개의 레이어로 확장한 후 각각 병목 블록을 16개, 33개, 50개 결합하여 신경망을 구성한다. ImageNet[9]과 CIFAR-10[16] 데이터세트에 대하여 다양한 ResNet 모델의 성능을 실험한 결과 두 실험에서 모두 깊이가 깊을수록 분류 오류율이 낮게 나타났다. 이러한 결과는 잔여 학습에 의해 깊은 신경망에서도 학습이 효과적으로 이루어졌음을 의미한다.

3. DCNN 분류기와 앙상블 기법

DCNN을 구성하는 신경망의 깊이가 깊어질수록 대상물을 식별하는 일반화 능력이 향상될 것으로 기대할 수 있으나, 이것은 깊은 신경망을 학습시킬 수 있는 충분한 학습데이터의 확보를 전제로 한다. Res Net 모델을 제안한 연구에서 실험에 사용한 Image Net 데이터세트는 1,000개의 클래스로 이루어져 있으며, 학습데이터로 128만개, 검증 및 테스트 데이터로 각각 5만개와 10만개로 구성되어 있다. 10개의 클래스로 이루어진 CIFAR-10 데이터세트는 5만개의 학습데이터와 1만개의 테스트 데이터로 구성되어 있다.

본 연구에서는 깊은 신경망을 학습시키기 위한 충분한 데이터를 확보하기 어려운 상황을 염두에 두고 토마토 작물의 질병을 식별하는 방안을 제안한다. 이를 위하여 세 단계의 실험적 탐색을 통해 적합한 ResNet 모델, 특징벡터, 학습 범위를 결정하고 마지막으로 앙상블 방식을 적용하였다. 첫 단계는 질병에 의해 토마토 잎에 발현되는 시각적 특징을 식별하는데 얼마나 깊은 신경망이 필요한지 확인하기 위한 것으로, 전이 학습과 미세 조정을 통해 깊이가 다른 여러 ResNet 모델에 대하여 주어진 도메인에 대한 적합성을 탐색하였다. ResNet 모델의 완전연결신경망 부분인 백엔드(back-end)를 대체하기 위하여 설계한 신경망은 Table 1과 같다. 한 개의 풀링 레이어와 두 개의 완전연결레이어(FCL, Fully Connected Layer)로 구성하였으며, 활성화 함수는 ReLU를 사용하였고, 과적합 문제를 해소하기 위하여 드롭아웃 비율은 50%로 설정하였다. 백엔드에 대한 입력은 ResNet18과 ResNet34는 (7, 7, 512)이고, 나머지는 (7, 7, 2048) 이다.

Table 1. Back-end architecture for transfer learning

Fig. 2. Transfer learning with a classical fine tuning.

Fig. 2는 전통적인 방식의 미세조정을 나타낸 것으로 ResNet 모델에서 교체된 백엔드 부분의 신경망만 학습을 통해 파라미터를 조정한다. BL은 병목 레이어(bottlenect layer)를 의미하며, ‘BL n’은 최종 병목 레이어를 의미한다.

두 번째 단계는 마지막 병목 레이어의 출력을 백엔드로 입력 받아 백엔드 신경망을 학습시키는 기존의 방식(Fig. 2)에서 벗어나 내부 병목 레이어의 출력을 바로 백엔드로 연결하여 학습시키는 것이다. 이를 통해 ResNet 모델에서 생성되는 전반부, 중간부, 후반부 등 여러 병목 레이어에서 생성되는 특징벡터에 대한 활용 가능성을 탐색하였다. 학습은 기존 방식에서와 같이 백엔드 부분의 신경망만을 학습시킨다. Fig. 3은 이러한 개념을 도식화하여 나타낸 것으로, 색상이 채워진 사각형 영역에서만 학습이 이루어진다.

Fig. 3. Transfer learning with a modified fine tuning.

세 번째 단계는 제한된 학습데이터로 깊은 신경망을 학습시킬 때 단순한 미세 조정을 벗어나 학습 대상이 되는 신경망의 범위를 확장하여 적합한 학습 범위를 탐색하였다. Fig. 4는 3번째 병목 레이어부터 k번째 병목 레이어, 그리고 백엔드로 이어지는 신경망을 모두 학습시키는 방식을 나타낸 것이다. 

Fig. 4. Transfer learning with shallow or deep learning.

상용 딥 러닝 모델을 이용하는 기존의 연구들은 대부분 Fig. 3과 같이 최상단의 완전연결 신경만 부분만을 학습시키는 미세 조정을 통해 입력 영상을 분류한다. 그러나 본 연구에서는 Fig. 3과 Fig. 4에 제시된 방법을 통해 신경망을 학습시킨 후 소프트맥스(softmax)에 의해 분류하지 않고, 학습된 개별 신경망으로부터 각 부류에 속할 확률적 예측 결과를 구한다. 그리고 학습 범위를 달리하여 훈련시킨 각각의 신경망에서 예측한 결과를 누적하여 가장 큰 확률 값을 갖는 클래스로 분류하는 앙상블 기법을 제안한다. 딥러닝에서 앙상블 방법은 여러 모델이 출력한 예측 값을 결합하여 정확도를 향상시킬 수 있다[17]. 신경망 분류기 k로 토마토 영상에 대하여 질병을 식별할 때 d 라는 질병에 속할 확률을 P_d(k)라고 하면, 식 (1)에 제시된 바와 같이 식별할 질병의 종류가 n개일 때 그 합은 1.0이 되고, P_i(k)가 최대값을 보이는 클래스로 식별이 이루어진다.

\(\sum_{i=1}^{n} P_{i}(k)=1.0, \text { where } 0 \leq P_{i}(k) \leq 1.0\)       (1)

개별 분류기에서 각 클래스별로 생성한 확률 값이 해당 클래스일 가능성 점수(likelihood score)로 간주하면, 이 방법은 점수 레벨(score level)에서 앙상블을 수행하는 것으로 볼 수 있다. m개의 분류기로부터 얻은 유사도 점수는 식 (2)에 의해 각 클래스별로 최종 유사도 점수 Si를 산출하며, 가장 높은 유사도 점수를 얻은 클래스로 질병을 분류하게 된다. 식 (2)에서 n은 분류할 클래스의 개수를 나타낸다. 이것은 개별 분류기에서 미세한 점수 차이로 오분류가 발생할때 다른 분류기에서 산출된 점수를 합산함으로써 어느 정도 보완될 수 있다. 즉 개별 분류기의 약점을 다른 분류기가 보완할 수 있을 때 앙상블 기법의 효과가 나타난다고 볼 수 있다.

\(S_{i}=\sum_{k=1}^{m} P_{i}(k), \text { where } i=1 . . n\)       (2)

4. 실험 결과 및 분석

4.1 실험 데이터

질병에 의해 토마토 잎에 발현되는 시각적 특징으로부터 질병을 식별하는 DCNN을 이용한 제안된 방법의 타당성을 확인하고 기존 연구 결과와 비교할 수 있도록 공개된 PlantVillage[18] 데이터를 이용하여 실험을 수행하였다. PlantVillage는 사과, 블루베리, 토마토 등 총 14종의 작물에 대한 잎 영상들로 구성되어 있다. 본 연구에서는 건강한 토마토와 질병을 갖고 있는 토마토, 총 10종의 클래스에 대하여 각각 373개의 잎 영상을 대상으로 실험을 수행하였다. 전체 데이터 중 80%는 학습 데이터로 사용하고, 나머지 20%는 테스트 데이터로 사용하였다. Fig. 5는 토마토 데이터세트에서 각 클래스별로 표본 영상을 제시한 것이다.

Fig. 5. Examples of different phenotypes of tomato plants.

4.2 실험 및 결과 분석

DCNN 모델을 이용할 때 어느 정도 깊이를 갖는 신경망이 토마토 잎에 나타나는 질병의 시각적 특징을 식별하는데 적합한지 탐색하기 위하여, 신경망의 깊이가 서로 다른 5개의 ResNet 모델(ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152) 을 대상으로 전이 학습과 미세 조정을 수행하였다. 옵티마이저는 RMSprop, 학습률은 0.001로 설정하고 k-겹 교차검증을 수행하여 Table 2의 결과를 얻었다. 잔여학습을 수행하는 병목 블록이 2개의 레이어로 구성된 ResNet-18과 ResNet-34에서 병목 블록의 개수가 두 배로 늘어나도 검증 정확도는 향상되지 않았으나, 병목 블록이 3개의 레이어로 구성된 Res Net-50에서 검증 정확도가 크게 향상되었다. 그러나 같은 구조에서 병목 블록의 개수를 2∼3배 늘린 Res Net-101이나 ResNet-152의 검증 정확도는 향상되지 않았다. 이것은 본 실험에서 사용한 학습 데이터가 ResNet-101이나 ResNet-152와 같은 깊은 신경망을 학습시키는데 충분하지 않기 때문으로 판단된다. 이러한 결과를 바탕으로 본 연구에서는 ResNet50 모델을 선정하여 후속 실험을 진행하였다.

Table 2. 4-fold cross validation results with different ResNet models

두 번째 실험은 ResNet-50 모델의 각 병목 레이어의 출력을 백엔드 신경망에 연결하여 여러 병목 레이어에서 생성되는 특징벡터에 대한 활용 가능성을 탐색하였다. Fig. 6은 옵티마이저와 학습률을 첫 번째 실험과 동일하게 설정한 후 백엔드 신경망을 학습시켜 얻은 결과이다. 10번째, 14번째, 15번째 병목 레이어에 해당하는 “Activation 31”, “Activation 43”, “Activation 46” 활성화 레이어의 특징을 이용한 것이 검증 데이터는 물론 테스트 데이터에 대해서도 최종 병목 레이어에서 얻은 정확도보다 높게 나타났다.특히 14번째 병목 레이어에서 검증데이터에 대하여 96.65%, 테스트 데이터에 대해서 96.25%를 보였다.

Fig. 6. Classification results with different bottlenect blocks.

세 번째 실험은 상대적으로 정확도가 높게 나타난 10번째(Act31), 14번째(Act43), 15번째(Act46) 병목 레이어의 특징을 이용하되, 단순히 백엔드 신경망만을 학습시키는 것이 아니라 백엔드 앞쪽 신경망의 일부분을 학습에 포함시켰을 때 성능 향상이 가능한지 확인하기 위한 것이다. 특징벡터를 출력하는 병목 레이어에서 그 앞쪽으로 1∼5단계 앞쪽의 병목 레이어부터 백엔드 레이어까지 학습을 진행시켜 Table 3에 제시된 결과를 얻었다. 백엔드 신경망만을 학습시켰을 때의 정확도와 그 이전 레이어의 일부를 포함 하여 학습시켰을 때 평균 정확도를 비교하였을 때, 검증 데이터에 대해서는 Act31과 Act43에서는 정확도가 향상되었고 Act46은 정확도가 저하되었다. 테스트 데이터에 대해서는 Act31, Act43, Act46 모두 정확도가 저하되는 것으로 나타났다. 실험 결과 특징 벡터로 사용되는 특정 레이어뿐만 아니라 학습 범위에 있어서도 정확도에 대한 일관된 상관관계가 나타나지 않아 단순히 학습 범위를 조정하는 것으로는 정확도가 향상되지 않는 것으로 나타났다.

Table 3. Classification results with different ranges of training

네 번째 실험은 본 연구에서 제안한 앙상블 기법에 대한 효과를 확인하기 위한 것이다. Fig. 7은 DCNN 모델의 백엔드 부분만을 학습시킨 분류기에서 얻은 확률적 예측 결과와 학습 범위를 달리하여 얻은 5개의 분류기에서 얻은 확률적 예측 결과를 누적하여 최종 식별 결과를 산출한 결과이다. Fig. 7에서 Ensemble-n은 n개의 추가적인 분류기로 얻은 예측 결과를 결합한 앙상블 분류기를 나타낸다. 학습 범위를 달리한 여러 분류기를 결합하였을 때 개별분류기의 취약점이 상호 보완되어 식별 정확도가 향상되는 것으로 나타났다. 다만 Act43의 사례에서 보듯이 분류기의 개수를 단순히 늘리는 것이 항상 식별 정확도의 향상으로 이어지는 것은 아니다. Act43의 경우는 백엔드 부분만을 학습시킨 분류기와 그 이전한 개의 레이어를 추가로 학습시킨 분류기를 결합하였을 때 상호 보완이 잘 이루어져 정확도가 높게 나타난 것으로 판단된다. 실험 결과 Act31 활성화 레이어의 출력을 특징벡터로 활용하고 5개의 추가적인 분류기를 결합하였을 때 97.19%의 정확도를 보였다. 이러한 결과는 Act31 활성화 레이어를 사용하여 학습 범위를 조정하였을 때 최대 96.38%의 정확도를 얻었던 Table 3의 결과와 비교해 볼 때, 제안된 앙상블 기법이 효과적임을 보여주는 것이다.

Fig. 7. Classification results using the proposed ensemble method.

토마토 작물의 질병을 식별하기 위해 본 연구에서 제안한 방법의 성능을 기존 연구들과 비교하기 위하여 PlantVillage[18] 데이터를 사용한 연구 결과들을 정리하여 Table 4에 제시하였다. 그러나 각 연구마다 PlantVillage 데이터 중 실험에 사용한 데이터에 차이가 있다. [6]은 총 6개 클래스에 속하는 9,000개의 영상을 실험에 사용하였으며, 각 클래스에 속하는 영상의 개수는 서로 다르다. [7]은 총 7개 클래스에 대하여 클래스별로 373개의 영상, 총 2,611개의 영상으로 실험을 수행하였고, [8]은 5개의 클래스에 속하는 500개 영상으로 실험을 수행하였다. 본 연구에서는 PlantVillage 데이터가 제공하는 건강한 토마토 작물과 9가지 질병에 대한 토마토 작물, 총 10개 클래스를 모두 실험에 사용하였다. 각 클래스별로 373개의 영상, 총 3,730개의 영상을 실험에 사용하였다.

Table 4. Performance comparison with different researches

동일한 신경망 모델을 사용할 경우 일반적으로 분류할 클래스의 수가 적을 때, 그리고 충분한 학습 데이터를 이용할 수 있을 때 보다 높은 정확도를 나타낸다. 따라서 기존 연구에서 발표한 Table 4의 두 번째 열에 제시된 결과를 단순 비교하는 것은 무의미하다. 본 연구에서는 우수한 인식 성능을 나타낸 기존 연구[6,7]와 제안된 방법의 인식 성능을 객관적으로 비교하기 위하여 [6]과 [7]의 연구에서 제시한 방법을 직접 구현하여 본 연구와 동일한 데이터세트를 사용하여 실험을 수행하였다. 총 10개의 클래스 3,730개의 토마토 영상으로 실험한 결과 제안된 방법이 월등히 우수한 결과를 보였다. 이러한 결과는 본 연구에서 사용한 ResNet 모델이 [6]에서 제안한 DCNN 모델이나 [7]에서 사용한 VGG-16 모델에 비하여 우수한 성능을 나타내는 모델일 뿐만 아니라 본 연구에서 제안하는 토마토 영상에 발현되는 질병의 시각적 특징을 효과적으로 추출할 수 있는 활성화 레이어의 선택과 앙상블 기법이 효과적임을 나타내는 것이다.

5. 결론

스마트 팜에 대한 관심이 집중되면서 컴퓨터비전 기술을 활용하여 농작물의 생장 과정에서 발생하는 질병을 조기에 검출하기 위한 연구가 주목받기 시작 하였다. 건강한 식물과 질병에 걸린 식물은 잎의 색상이나 형태에서 차이를 보인다. 이러한 시각적 차이를 검출하기 위하여 색상이나 텍스처 특징을 추출하고 분류하는 다양한 방법들이 연구되어 왔다. 본 연구에서는 질병에 의해 토마토 작물의 잎에 나타나는 외형적 특징을 추출하기 위하여 상용 DCNN모델을 활용하는 방법을 제안하였다. 기존 연구와는 달리 상용 DCNN모델의 백엔드만을 대체하여 학습시키는 것에서 벗어나 백엔드 앞 쪽의 신경망을 포함하도록 학습 범위를 확대하고, 학습 범위를 달리한 개별 분류기를 통해 예측한 점수를 결합하여 식별 성능을 향상시키는 앙상블 기법을 제시하였다. PlantVillage 데이터세트를 이용한 실험을 통해 제안된 방법이 토마토 작물의 잎에 나타나는 질병의 특징을 추출하고 식별하는데 효과적임을 확인할 수 있었다. 향후 연구에서는 제안된 방식이 다양한 식물들의 질병 식별에 동일하게 적용될 수 있는지 확인하고 다양한 앙상블 기법에 대하여 추가적인 연구를 수행할 계획이다.