3D Image Processing for Recognition and Size Estimation of the Fruit of Plum(Japanese Apricot)

3D 영상을 활용한 매실 인식 및 크기 추정

Abstract

In this study, size of the fruit of Japanese apricot (plum) was estimated through a plum recognition and size estimation program using 3D images in order to control the Eurytoma maslovskii that causes the most damage to plum in a timely manner. In 2018, night shooting was carried out using a Kinect 2.0 Camera. For night shooting in 2019, a RealSense Depth Camera D415 was used. Based on the acquired images, a plum recognition and estimation program consisting of four stages of image preprocessing, sizeable plum extraction, RGB and depth image matching and plum size estimation was implemented using MATLAB R2018a. The results obtained by running the program on 10 images produced an average plum recognition error rate of 61.9%, an average plum recognition error rate of 0.5% and an average size measurement error rate of 3.6%. The continued development of these plum recognition and size estimation programs is expected to enable accurate fruit size monitoring in the future and the development of timely control systems for Eurytoma maslovskii.

본 연구에서는 매실에 가장 큰 피해를 주는 복숭아 씨살이좀벌의 방제 적기 안내를 위해 3D 영상을 활용한 매실 인식 및 크기 추정 프로그램을 통해 매실 크기를 예측하였다. 3차원 영상 측정이 가능한 Kinect 2.0 Camera 및 RealSense Depth Camera D415를 사용하여 야간 영상 촬영을 진행하였다. 획득한 영상을 토대로 MATLAB R2018a를 이용하여 영상 전처리, 크기 추정이 가능한 매실 추출, RGB 및 Depth 영상 정합 및 매실 크기 추정의 4단계로 구성된 매실 인식 및 추정 프로그램을 구현해 매실 성장 단계를 고려하여 2018년의 5개 영상 및 2019년의 5개의 영상을 분석하였다. 10개 영상에 대해 프로그램을 구동하여 얻은 결과를 통해 매실 인식률의 평균 61.9%, 매실 인식 오류율 평균 0.5% 및 크기 측정 오차율 평균 3.6%를 도출하였다. 이러한 매실 인식 및 크기 추정 프로그램의 지속적인 개발은 향후 정확한 열매 크기 모니터링 및 복숭아 씨살이좀벌의 적기 방제 시스템 개발을 가능하게 할 것으로 예상한다.

Ⅰ. 서론

매실은 건강식품으로 그 효능이 입증되고, 음료 등 가공기술의 개발로 국내 수요가 증가함에 따라 매실 산업 역시 확대되고 있는 추세이다. 국가통계 포털 KOSIS[1]에 따르면 2013년 우리나라 매실 재배면적은 5, 324ha이며, 그중 전남은 2, 611ha으로 전체 재배 규모의 49% 이상을 차지하였다.

매실 재배에 있어 가장 큰 피해는 복숭아 씨살이좀벌에 의한 낙과 매실 피해이다. 2013년도 전남지역 11개 시군의 34개 포장을 조사한 결과 낙과율은 43.8%였고 낙과한 과일의 69.8%는 복숭아씨 살이 좀 벌유충 피해에 의한 것으로 나타났다[2]. 최근의 급격한 기후변화 등으로 방제적 기 판단이 어렵고, 특히, 복숭아 씨살이좀벌의 유충은 매실 열매의 핵 속에서 씨앗을 섭식하므로 성숙 중인 매실의 외관상으로는 해충 감염 여부의 판단이 어려워 피해가 심각한 실정이다. 따라서 복숭아 씨살이좀벌의 산란 행동 특성을 토대로 성충을 대상으로 하는 방제가 필요하다. 복숭아 씨살이좀벌은 우화가 집중된 4월 하순부터 5월 상순 사이에 교미 비행 및 산란 활동이 왕성하다 [3]. 산란 시 매실 크기를 조사한 결과, 과실의 가로직경이 20mm를 넘지 않으며, 산란관이 통과한 지점의 과육 부분을 조사한 결과 그 폭이 5mm 를 넘지 않는데, 이는 암컷의 평균 산란관 길이인 4.86±0.37mm와 유사하다 [3]. 이는 씨살이좀벌의 산란이 매실의 크기와 밀접한 관련이 있음을 보여준다. 즉, 매실 크기의 지속적인 측정 및 관찰을 통해 방제 시기를 예측할 수 있을 것으로 판단된다.

그러나, 농업인들이 매실의 크기를 직접 측정하는 것은 지나치게 번거롭고 많은 시간이 소요되므로 현실적인 대안이 되기 힘들다. 따라서, 매실 크기 측정을 손쉽고 빠르게 진행하기 위해서는, 생육단계별 영상 분석을 통해 크기를 추정하고 이를 토대로 하는 전문가 원격진단 시스템을 만들어 적기에 씨 살이 좀 벌을 방제하는 것이 필요하다.

문헌 조사 결과 오렌지에 대한 영상 처리와 분광기술을 통해 생육과 수확량을 예측, 오렌지의 질병인 Huanglongbing (HLB) 또는 Citrus greening의 질병 감염 여부 판단[4], Kinect 센서를 사용하여 얻은 거리 정보를 토대로 머신 비전 알고리즘을 통해 미숙 감귤류를 검출하여 수확량 예측[5], 영상 처리를 통해 이미지 속 떨어진 오렌지의 수량과 질량 추정[6][7] 등의 타 품목과 실의 국내외 연구 사례가 다수 있으나. 아직까지 매실의 영상 분석 사례는 보고된 바 없다. 한편, 정확한 매실 크기 추정을 위해서는 영상 데이터뿐만 아니라 나무에 불규칙하게 매달린 매실의 위치 데이터가 필요한 데, 이를 위해서 농업 현장에서 편리하게 이용이 가능한 보급형의 3D 카메라를 이용한 영상 획득 및 분석이 필요한 것으로 판단되었다.

따라서, 본 연구에서는 3D 카메라인 Kinect 2.0 Camera 및 RealSense Depth Camera D415로 획득한 3차원 영상을 활용하여 신뢰성 높은 매실 3차원 크기 정보를 얻고자 하였다. 이를 위하여, 영상의 전처리, 크기 추정이 가능한 매실 추출, RGB 영상과 Depth 영상의 정합 및 Depth 정보를 이용한 크기 추정의 알고리즘을 개발하였고, 이에 기반하여 MATLAB R2018a로 구현한 매실 인식 및 크기 추정 프로그램을 개발하였다.

Ⅱ.재료 및 방법

1. 3D 영상 측정용 카메라

본 연구에서는 거리정보를 토대로 매실의 크기를 추정하기 위하여, 컬러 영상과 깊이(depth) 정보를 동시에 측정하여 3D 영상을 얻을 수 있는 Xbox Kinect 2.0 및 RealSense Depth Camera D415 카메라를 이용하여 현장에서의 매실 촬영을 진행하였다.

1.1 Xbox Kinect 2.0 Camera

Kinect 2.0 카메라는 게임기의 제어장치로 사용하며 저렴한 가격과 우수한 성능이 인정되어 다양한 분야에서 3차원 정보의 입력을 위한 도구로 활용되었다. Time of flight 방식을 사용하여 깊이 카메라의 각 화소에 대하여 적외선이 물체에 반사되어 돌아오는 시간을 측정함으로써 깊이 정보를 추출한다 [8][그림 1].

그림 1. Kinect 2.0 Camera

1.2 RealSense Depth Camera D415

Intel의 자체 깊이 센서 제품군인 RealSense는 비교적 최근 시장에 출시되었음에도 불구하고 현재 여러 분야에서 다양한 3D 스캔 응용 프로그램을 위한 저렴한 장치로 사용된다. RealSense Depth Camera D415 는 USB 전원 공급형의 초소형 깊이 카메라로, 스테레오 비전기술을 사용하여 깊이 데이터를 계산한다[9] [그림 2].

그림 2. RealSense Depth Camera D415

위 두 기종의 제원을 비교하여 [표1] 에 나타내었다.

표1. 3D Camera 제원 비교

두 카메라는 비교적 높은 해상도를 갖고 있어 작은 과실인 매실 촬영에 부합된다[10]. 본 연구에서는 이 두 종류의 3D 카메라를 사용하여 매실 인식과 크기 추정 알고리즘을 개발하고 그 결과를 고찰하였다.

2. 영상 획득

2.1 Kinect 2.0 Camera

Kinect 2.0 Camera를 사용한 매실 현장 촬영은 2018년 3월∼6월 순천시에 소재한 매실농장에서 진행되었다. 주간에 촬영한 경우에는 실외의 강한 태양광 밑에서는 ToF 방식을 채택한 Kinect 2.0센서의 IR Emitter에서 쏜빛이 태양광과 구분이 되지 않아 정확한 거리를 측정하기 힘든 경우가 발생하고[11], 햇빛으로 인해 그림자가 생겨 영상 분석 시 매실 인식에 어려움이 있다 [5]. 따라서, 이를 최대한 배제하기 위해 야간촬영을 시행하였다.Kinect 2.0 카메라로부터 가장 가까운 매실나무까지의 최단 거리가 0.5m 이상이 될 수 있도록 하였다. 또한, 지름 40.6mm의 빨간색 기준구 및 지름 33.4mm의 주황색 기준구를 획득 영상에 포함하였다. 이러한 촬영 조건을 토대로 하여 직접 제작한 영상 획득 프로그램으로 영상을 획득하였다[12]. Kinect 2.0을 이용한 야간 촬영 현장을 [그림3] 에 나타내었다.

그림 3. 현장 촬영(Kinect 2.0 촬영)

2.2 RealSense Depth Camera D415

2019년 야간 매실 현장 촬영은 3월∼6월 순천시에 소재한 매실농장에서 진행하였다. RealSense Depth Camera D415를 촬영 장비로 채택하였고, 또한 이의 최소 거리인 0.45m 이상에서 촬영하였다. 크기 추정에 대한 정확도를 검증하기 위해 지름 33.0mm의 빨간색 기준구 및 지름 37.0mm의 주황색 기준구를 획득할 영상에 포함하여 촬영하였다. 영상 획득에는 Intel RealSense Viewer를 사용하였다. RealSense Depth Camera D415를 이용한 야간 촬영 현장을 [그림 4]에 나타내었다.

그림 4. 현장 촬영(RealSense D415)

3. 매실 인식 및 크기 추정 프로그램 개발

MATLAB R2018a, Image processing Toolbox를 활용하여 영상을 분석하였다 [13]. 매실 인식 및 크기 추정 프로그램의 영상 처리 및 분석을 위한 알고리즘은 매실 RGB 영상의 전처리, 영상 속 크기 분석 가능한 매실 영역 추출, RGB 영상과 Depth 영상의 정합 및 Depth를 이용한 매실 크기 추정의 단계로 진행되며, 위 과정은 [그림5] 와 같다.

그림 5. 매실 인식 및 크기 추정 프로그램 알고리즘

3.1 매실 RGB 영상의 전처리

수확기의 매실 열매는 잎 및 새로 난 가지 (신초) 등과 비슷한 녹색 계열이라 구분이 어렵다. 매실 및 기준구를 다른 가지나 잎 또는 배경과 최대한으로 구별하기 위해[14] RGB 영상을 여러 색 좌표로 변환하여 필터 및 밝기 처리를 하였다. 영상 속 물체들의 범주에 따른 임계 값을 분석하고, 이를 토대로 매실 및 기준구 영역을 분리하여 컬러 영상과 같은 크기의 Black 영상에 삽입하였고, 이를 흑백(Black & White) 영상으로 변환하여 [그림 6]의 전 처리된 영상을 획득하였다.

그림 6. 전처리 영상

3.2 크기 분석 가능한 매실 영역 추출

전처리된 영상에 우선 매실 형태와 비슷한 원을 추출하여 매실이 포함된 영역의 중심 좌표를 구한 후, 정의된 속성을 토대로 중심 좌표를 기점으로 하는 영역이 설정된 임계값까지 확장된 영상을 얻었다 [그림7]. 이러한 영상 속 매실 및 기준구 영역에서의 닿아 있는 잎이나 가지 등의 간섭 배제 및 매실이 아닌 물체의 영역 제거를 위해 영역 묘사자 등을 사용하였다, 이를 통해 겹쳐진 매실 역시 깊이 정보를 도출하기 어려우므로 제외하였다.

그림 7. 매실 영역 추출

3.3 RGB 영상과 Depth 영상의 정합

위에서 언급한 바와 같이 Kinect 2.0은 두센서의 시야각(FoV) 및 화소 수가 다르므로 내장된 함수를 통해 두 영상의 정합을 실시하였다.

3.4 깊이 정보를 이용한 매실 크기 추정

1) Kinect 2.0 Camera

깊이 정보를 이용하여 매실 크기를 추정하였다. 깊이 영상과 같은 크기로 정합된 BW 영상에서의 매실 영역의 중심 좌표를 깊이 영상에 적용한 후 좌표의 깊이 정보를 추출하여 픽셀 당 공간 분해능을 구해 이를 이용하여 매실 크기 추정값을 계산하였다. 이때 앞에 언급된 [표 2]에서 확인할 수 있듯이 당 분해능의 가로와 세로값이 같은 컬러(RGB) 영상을 활용하여 계산의 복잡함을 줄였고, 이미지의 가로 픽셀 수 및 가로 FoV(시야각)을 사용하였다. 픽셀 당 공간 분해능의 식은 다음식 1, 2와 같다.

표2. 영상 속 매실 인식 결과

※ ⓛ 30% 이상 가려진 매실, ② 겹쳐진 매실, ③ 단독 매실, ④ 기타

\(W=2 \times d \times \tan \left(\frac{F o V}{2}\right)\)       (1)

\(\text { 픽 셀 당 공 간 분 해 능 }=\frac{W}{\text { 이 미 지 해 상 도 }}\)       (2)

여기서, W = 이미지의 실제 가로 크기(mm)

d = 중심 좌표의 깊이 정보(mm)

2) RealSense Depth Camera D415

마찬가지로 픽셀 당 분해능을 활용하였는데, 이때 FoV는 카메라로부터 거리(Z)에 따른 Depth FoV를 사용하였고, 이의 계산식은 식 3과 같다 [15].

\(\text { Depth } F o V=\frac{H F o V}{2}+\tan ^{-1}\left(\tan \left(\frac{H F o V}{2}\right)-B / Z\right)\)       (3)

여기서, Depth FoV = Depth Field of View

HFoV = Horizontal Field of

View(Left IR Imager)

B = Baseline

Z = Distance of Scene from Depth Module

이 때, HFoV는 사용한 해상도가 1280×720이므로 HD(16 : 9)의 HFoV를 활용하였다. 단, 이 계산식들은 환경 설정이 기본값이어야 유효하다[15]. 따라서, 이를 위해 본 연구에서는 설정값들을 기본으로 하였다.

3.5 인식률 및 오류율과 크기 추정 오차율

1) 매실 인식률

실제 매실 중에서 영상 처리에 의해 인식된 매실의 비중을 구하는 매실 인식률은 식 4와 같다.

\(\text { 매 실 인 식 률 }=\frac{\text { 인 식 된 매 실 개 수 }}{\text { 실 제 매 실 개수 }} \times 100\)       (4)

2) 매실 인식오류율

인식한 매실 영역 중 매실이 아닌 물체의 영역 개수의 비중을 구하는 매실 인식오류율은 식 5와 같다.

\(\text { 매 실 인식 오 류 율 }=\frac{\text { 매 실 아 닌 물 체 인 식 개 수 }}{\text { 인 식 된 매 실 개 수 }} \times 100\)       (5)

3) 크기 추정 오차율

영상에 의한 크기 추정의 오차는 기준구를 이용하여 산출하였는데, 이러한 크기 추정 오차율은 실측 크기에서 추정 크기를 뺀 값인 크기 오차의 비중으로 식 6과 같다.

\(\text { 크 기 추 정 오 차 율 }=\frac{\text { 실 측 크 기 }-\text { 추 정 크 기 }}{\text { 실 측 크 기 }} \times 100\)       (6)

Ⅲ.결과 및 고찰

1. Kinect 2.0 Camera

Kinect 2.0 Camera로 촬영한 이미지를 매실 인식 및 크기 추정 프로그램에 적용한 결과 영상을 RGB 영상에 매칭한 결과는 [그림8] 과 같다.

그림 8. 최종 결과 영상(Kinect 2.0 이미지)

영상 처리 및 분석을 통해 영상 속 매실 인식 결과를 [표 2]와 같이 나타내었는데, 매실 및 물체들을 ⓛ 30% 이상 가려진 매실, ② 겹쳐진 매실, ③ 단독 매실, ④ 기타로 분류하였다.

총 41개 매실 중 30% 이상 가려진 매실 8개는 영상처리 결과 기타로 분류되었고, 겹쳐진 매실 11개 중 4 개는 겹쳐진 매실로, 나머지 7개는 기타로 분류되었다. 겹쳐지지 않은 단독 매실 22개 중 20개는 단독 매실로, 나머지 2개는 기타로 분류되었다. 따라서, 매실 인식률은 58.5%로 나타났다. 한편, 24개의 인식된 매실 중 매실이 아닌 물체는 0개로 매실 인식오류율은 0%였다. 즉, 매실이 아닌 물체의 영역을 매실로 인식한 경우는 없었다. 인식된 매실 중 26개의 크기를 추정할 수 있었으며, 이 중 2개는 기준구, 매실 인식은 겹쳐진 매실 2 영역, 단독 매실 22개였다. 매실 및 기준구의 크기 추정값을 [표3] 에 나타내었다.

표 3. 추정 매실 및 기준구 영역의 크기

※ 5번 : 빨간색 기준구, 25번 : 주황색 기준구

※ 4번, 8번 : 겹쳐진 매실

주황색 기준구는 카메라로 인한 가장자리 왜곡으로 사용할 수 없어, 5번 영역인 빨간색 기준구만을 이용하였다. 빨간색 기준구의 실측 크기는 40.6mm, 추정된 크기는 41.1mm로 크기 오차는 0.5mm이고. 크기 추정 오차율은 1.23%로 나타났는데, 이는 화소 1개의 공간 분해능과 유사하였다.

기준구를 제외한 전체 매실 평균 크기는 29.7mm로기준구 및 겹쳐진 매실을 제외한 매실 단독 크기 추정치의 평균값 28.6mm보다 1.1mm 큰 것을 알 수 있다. 따라서 겹쳐진 매실의 크기 추정값이 전체 크기 평균의 오차를 높일 수 있으므로 이는 제외하는 것이 좋을 것으로 판단되었다.

2. RealSense Depth Camera D415

RealSense Depth Camera D415로 촬영한 이미지를 적용한 결과 영상을 RGB 영상에 매칭한 결과는 다음 [그림9] 와 같다.

그림 9. 최종 결과 영상(RealSense D415 이미지)

영상 속 매실 인식 결과는 다음[표4] 와 같다.

표 4. 영상 속 매실 인식 결과

※ ⓛ 30% 이상 가려진 매실, ② 겹쳐진 매실, ③ 단독 매실, ④: 기타

총 44개의 매실 중에서 실제 겹쳐진 매실 15개 중 2 개는 겹쳐진 매실로 영상 인식되었고, 나머지 13개는 기타로 인식되었다. 실제 단독 매실 24개 중 19개는 올바르게 인식하였고, 나머지 5개를 기타로 인식하였다. 따라서, 매실 인식률은 47.7%로 나타났다. 또한, 기준구를 제외한 22개의 인식된 매실 중 매실이 아닌 물체는 1개로 매실 인식 오류율은 4.5%였다. 매실 및 기준구의 크기 추정값을 [표5] 에 나타내었다.

표 5. 추정 매실 및 기준구 영역의 크기

※ 16번 : 빨간색 기준구, 17번 : 주황색 기준구

※ 11번 : 겹쳐진 매실

※ 0은 Depth 정보가 없는 곳

영상 속에서의 빨간색 기준구 추정 크기는 31.3mm, 주황색 기준구의 추정 크기는 38.0mm로 빨간색 기준구는 1.7mm, 주황색 기준구는 1.0mm의 크기 오차를 가지며, 그 크기 추정 오차율은 각각 5.0%와 2.6%였다. 또한, 기준구 및 겹쳐진 매실을 제외한 추정된 매실 크기의 평균은 22.0mm이었다.

이러한 방식으로 2018년 및 2019년에 촬영한 매실 영상(위의 예시 영상 포함) 10개를 매실 인식 및 크기 추정 프로그램에 적용하여 얻은 영상 분석 후의 도출된 결과들을 [표6] 에 나타냈다.

표 6. 영상 분석 결과

Kinect 2.0으로 촬영한 5개 이미지의 매실 인식률의 평균은 62.0%, 인식 오류율 평균은 0%이고, 기준구 크기 추정 오차율 평균은 2.9%이며, RealSense D415로 촬영한 5개 이미지의 매실 인식률의 평균은 61.7%, 인식오류율 평균은 1.0%, 기준구 크기 추정 오차율 평균은 4.3%로 나타났다. RealSense D415는 Kinect 2.0 과 비교하여 정합이 필요하지 않고 Depth 영상의 해상도가 더 높으나, RGB 영상에서의 해상도는 Kinect 2.0이 높다. 따라서, RGB 영상에서 매실을 인식한 후 Depth 영상에서 Depth 정보를 얻는 프로그램 구동으로 인해 RealSense D415의 인식 성능 및 크기 추정성능이 비교적 떨어진 것으로 판단된다.

이번 연구에서의 Kinect 2.0과 RealSense D415로 야간에 촬영한 10개 이미지의 결과는 매실 인식률의 평균 61.9%, 인식 오류율 평균 0.5% 및 크기 추정 오차율 평균 3.6%로, 주간 촬영으로 진행한 별도의 보고 [16]에서의 결과와 비교하여[표7]에 나타내었는데, 매실의 인식 성능이 비교적 향상되었음을 확인할 수 있었다.

표 7. 주간 촬영 및 야간 촬영 비교 결과

2017년에 실시되었던 주간의 자연광하에서 촬영한 이전 연구의 영상 처리 결과에 비해 매실 인식 오류율은 13.8% 감소하였으며, 크기 측정 오차율은 빨간색과 주황색 기준구 크기 추정 오차율의 평균으로 두고 계산한 결과로 6.1% 감소하여 성능이 개선된 것으로 판단되었다.

한편, [17] 의 연구 결과에 따른 감귤류 인식률은 75.3%, 인식 오류율은 27.3%이었고, [18] 의미 성숙 감귤 인식률은 83.4%, 인식 오류율은 10.7%이었으며, [5]의 감귤류 인식률은 89.2%, 인식 오류율은 6.3%이었다. 이들 연구 결과는 머신러닝을 이용한 영상 처리의 결과로서 인식률이 MatLab 언어를 활용하여 영상 처리을 진행한 본 연구의 결과보다 우수한 것으로 나타났으며, 인식 오류율은 위의 결과보다 본 연구의 결과가 우수한 것으로 나타났다.

이러한 결과는 크기 추정 방법의 차이도 있지만, 본연구에서는 매실의 크기를 보다 정확히 추정하기 위하여 설정값을 조정한 결과 인식률이 낮아진 원인도 일부 작용한 것으로 판단된다. 그러나, 본 연구의 목적은 수확기 매실나무를 대상으로 수확 전매 실의 크기를 추정하는 것이므로, 다소 낮은 인식율을 감수하는 설정조정을 통하여, 타 연구에 비해 매실 인식 오류율과 크기측정오차율을 상대적으로 낮출 수 있었다.

Ⅳ.요약 및 결론

본 연구는 매실 크기를 통해 복숭아 씨살이좀벌 출현의 예측 및 적기 방제의 목적으로 매실 크기 추정 프로그램 개발을 실시하였다. 순천시에 소재한 매실 농장에서 2018년 6월에 Kinect 2.0으로 야간 촬영한 5개의 영상과 2019년 5~6월에 Realsense D415로 야간 촬영한 5개의 영상 총 10개의 영상을 적용해 획득한 3D 영상을 토대로 영상의 전처리, 크기 추정이 가능한 매실 추출, RGB 영상과 Depth 영상의 정합 및 Depth 정보를 이용한 크기 추정의 알고리즘을 갖는 매실 인식 및 크기 추정 프로그램을 MATLAB R2018a로 구현하여 영상 분석을 시행하였는데, 분석 결과 매실 인식률의 평균 61.9%, 매실인식 오류율 평균 0.5% 및 기준구 크기 추정 오차율 평균 3.6%를 도출하였다. 주간의 자연광 하에서 촬영된 2017년의 영상 처리 결과에 비해 매실 인식률은 1.9% 증가하였다. 특히, 매실 인식오류율은 13.8% 감소하였으며, 크기 추정 오차율은 6.1% 감소하여 성능이 개선된 것으로 판단되었다. 그러나, Kinect 2.0 5개 영상의 매실인식률, 인식 오류율 및 크기 추정 오차율이 RealSense D415 5개 영상의결과 보다 모두 좋은 것으로 나타났다. 이는 Kinect 2.0 의 RGB 영상해상도가 더 높아, 프로그램 구동 특성상 RealSense D415의 인식 성능 및 크기 추정 성능이 비교적 떨어진 것으로 판단된다. 또한, 영상분석 프로그램이 색, 크기로 매실을 인식하여 추정하는 것으로, 매실 크기 자체가 작고, 빛에 따라 영상마다 매실 객체의 색이 다르므로 모든 영상에 사용할 수 없어 매실 객체 인식을 다른 알고리즘 및 언어를 통해 수행한 후 크기를 추정하는 방법으로 보완하면 이에 대한 문제점을 해결할 수 있을 것으로 판단된다.