Development of Deep Learning AI Model and RGB Imagery Analysis Using Pre-sieved Soil

입경 분류된 토양의 RGB 영상 분석 및 딥러닝 기법을 활용한 AI 모델 개발

Abstract

Soil texture is determined by the proportions of sand, silt, and clay within the soil, which influence characteristics such as porosity, water retention capacity, electrical conductivity (EC), and pH. Traditional classification of soil texture requires significant sample preparation including oven drying to remove organic matter and moisture, a process that is both time-consuming and costly. This study aims to explore an alternative method by developing an AI model capable of predicting soil texture from images of pre-sorted soil samples using computer vision and deep learning technologies. Soil samples collected from agricultural fields were pre-processed using sieve analysis and the images of each sample were acquired in a controlled studio environment using a smartphone camera. Color distribution ratios based on RGB values of the images were analyzed using the OpenCV library in Python. A convolutional neural network (CNN) model, built on PyTorch, was enhanced using Digital Image Processing (DIP) techniques and then trained across nine distinct conditions to evaluate its robustness and accuracy. The model has achieved an accuracy of over 80% in classifying the images of pre-sorted soil samples, as validated by the components of the confusion matrix and measurements of the F1 score, demonstrating its potential to replace traditional experimental methods for soil texture classification. By utilizing an easily accessible tool, significant time and cost savings can be expected compared to traditional methods.

Ⅰ. 서론

토양의 물리적, 화학적, 생물학적 특성은 생태계 조성, 기후 조절, 건축 및 토목 공사 등 여러 분야에 영향을 미치며, 농업 분야에서는 농작물 생산 및 성장 등의 직접적인 요인으로서 높은 상관관계를 보인다 (Mulla, 2013). 밭, 과수원, 시설원예 등 작물의 종류 및 영농 방식 등에 따라 적합한 토성 (Soil Texture)이 있고, 토성 외의 공극, 토양 구조, 배수성, 유기물 함량 등 여러 요인에 따라 작물의 생산성과 토양의 영양 상태가 달라지므로 토양의 물리적, 화학적 정보를 근거로 토양의 특징을 알아내고 이에 적합한 작물의 선정 및 재배 방법의 정립이 중요하다.

토성이란 토양 내 입경 별 분포로, 토양 입자들의 입경 크기의 분포 정도에 따라 토양의 구성 차이가 명확하고, 공극, 토양 구조, 배수성에 영향을 미치기 때문에 (Bieganowski et al., 2018) 토양의 성질을 결정하는 매우 중요한 요소이다. 기존의 토성을 결정하는 방법은 체를 이용한 체 분석법 (Sieve analysis)과 물속에 포함된 토양 입자들의 비중 차를 이용한 비중계 분석법 (Hydrometer analysis)을 활용하여 토양의 입도 분포 비율을 계산하는 것이었다. 기존의 두 방법 모두 시료로 사용할 일정량 이상의 토양을 장시간 건조 후 유기물을 최대한 제거하는 사전작업과 반복적인 실험이 필요해 시간과 노동력 등 기회비용이 많이 소비된다. 이에 대한 대안으로 센서와 같은 장비들을 통해 데이터를 수집하고 토성을 예측하는 방법이 연구되었고, 실제 현장에서도 활용되어 왔다 (Zhai et al., 2006; Vellidis et al., 2008; Gutiérrez et al., 2014).

일반적으로 토양의 물리적, 화학적 정보는 센서를 이용한 직접적인 측정 방식으로 얻는다. 토양의 정보를 더욱 정확하게 취득하고 활용하기 위해서는 여러 측정 지점에서 데이터를 균일하고 반복적으로 얻어야 한다. 이때 측정 지점의 수, 측정하는 데이터의 종류에 따라 다수의 측정 장비가 필요하며, 장비의 설치 공간도 확보해야 한다. 측정 장비를 설치할 수 있는 공간이 없을 때는 측정이 불가능하고, 시간 경과에 따른 장비 자체의 내구성 저하와 주변 환경에 의한 데이터 잡음의 문제도 존재한다.

또한 관측하고자 하는 지점의 수가 증가할수록 토양의 정보를 획득하기 위한 시간과 비용이 많이 소모되는 단점 등으로 인해 현장에서는 일부 지점의 계측 데이터를 가지고 대푯값으로 가정하여 일정 영역을 전체적으로 관리하는 방식이 적용되어 왔다. 하지만 일부 지점의 데이터를 통해 영역 전체를 추정하는 방법은 오차가 크고, 영역 내 모든 지점의 토성이 완전히 같다고 할 수 없으므로 대푯값만을 사용하는 데에 어려움이 있을 것이다 (Hardie, 2020). 이러한 점에서 일정 영역 내 토양의 정보를 최대한 많이, 그리고 정확하게 파악하는 것이 중요하다.

이에 본 연구는 기존 실내 실험의 복잡한 단계를 거치는 토성 분류 과정을 단시간에 수행할 수 있는 방법을 제시하기 위해 사전에 입경 크기 별로 분리된 토양 시료의 영상을 대상으로 연구를 진행했다. 영상처리 (Digital Image Processing, DIP) 기법을 이용하여 RGB 색상 값과 분포 비율을 추출하고 시각화하여 데이터의 경향성을 확인하고, 딥러닝 기법을 적용한 학습을 진행하고 입경 크기별 예측과 검증을 통해 유의미한 성능을 보일 때, 기존의 실험적인 방법들을 대체할 수 있는지 확인하고자 한다.

토양의 색상은 유기물의 함량, 함수비, 이온의 농도에 따라 다르게 나타난다 (Ibáñez-Asensio et al., 2013). 토색은 토양의 특징과도 관계가 있는 중요한 요소이며 최근까지도 먼셀 토양 색상 차트 (Munsell Soil Color Chart, MSCC)를 통해 토색을 결정하는 방법이 주된 방법으로 활용되어 왔다. MSCC는 명도, 색조, 채도의 3가지 색 요소를 기준으로 만들어진 색상칩들의 모음과 토양의 색상을 육안으로 비교하여 결정하는 기법으로, 단순히 관찰자의 주관으로 색을 구분하는 방식이기에 육안으로 구분하기 어려운 유사색들에 대한 분류가 조사자에 따라 일치하지 않는 경우도 많다. 이를 보완하기 위해 토색의 측정값을 정량화한 K-최근접 이웃 (K-Nearest Neighbor) 알고리즘을 적용하여 색상의 경향성을 분석하는 보다 정확성이 높은 토색 식별 기법에 대한 연구 (Marqués-Mateu et al., 2018)가 있었다. 통계적 분석을 통해 토양의 특성을 예측하는 연구 (Ibáñez-Asensio et al., 2013)에서는 색 요소와 반건조 토양 시료의 18개의 특징 (Feature)을 대상으로 다변량 분석을 적용하여 특징들 간의 상호 연관성을 파악하고자 했다. 해당 연구에서는 18개의 특징 (Feature) 중 8개의 특징이 통계적으로 유의미한 상관관계를 나타냄을 확인하였다. 이러한 선행 연구 결과들을 통해 토색이 토양의 특성을 분석하고 예측하는 데 유의미한 지표가 될 수 있음을 확인할 수 있다.

최근에는 실내의 통제된 스튜디오 환경에서 촬영한 이미지들을 대상으로 2D 디지털 이미지를 이용한 이미지 프로세싱 기법과 컴퓨터 비전 기술 등을 이용하여 이미지 내에서 토양의 정보를 추출하고, 이를 응용하는 연구들이 다수 진행되고 있다 (Park, 2017; Sudarsan et al., 2018; Kim, 2020; Kim et al., 2023). 이미지를 실험 데이터로 사용하기 때문에 고성능 카메라의 사용이 중요하지만 센서 설치 및 운영 환경 조건이 좋지 않은 농업 현장의 특성상 고비용, 고성능 카메라를 사용하는 것은 효율적이지 않다. 따라서 상대적으로 저렴하고, 활용하기 편한 스마트폰을 이용하여 실제 토양과 이미지 간의 상관관계를 분석하고자 한다. 부분 최소제곱법 (Partial Least Square, PLS)을 이용한 상관관계 분석 (Aitkenhead et al., 2020)과 CMOS 소자를 이용하여 토색 분류 센서 (Han et al., 2016), 먼셀 색상 차트 센서 (Gómez-Robledo et al., 2013) 등을 개발하는 방법 등 토색에 대한 정보를 기반으로 토성 및 토양의 특징들을 예측하고자 하는 연구들이 현재까지 진행되고 있다.

또한, 추출한 토양의 정보와 이미지 간의 상관성을 확인하고자 머신 러닝 및 딥러닝 기법을 적용하는 방식의 연구들이 진행되고 있으며, 은닉층 (Hidden Layer)과 노드 (Node)들의 수, 활성화 함수 (Activation Function) 등 AI 모델의 신경망을 구성하는 요소 측면에서 최적의 아키텍처를 구축하기 위한 연구도 활발히 진행되고 있다 (Inazumi et al., 2020; Arnay et al., 2021; Li et al., 2021; Srivastava et al., 2021).

다양한 조건에서 이미지가 가지는 데이터가 달라질 수 있다는 점을 감안하여 다양한 데이터 세트를 활용한 컴퓨터 비전 기술에 대한 연구 (Lanjewar and Gurav, 2022) 등이 진행되었다.

본 연구에서는 토양 내 입경 분포에 따라 토성이 특정되는 점에 착안하여, 입경 별 분류의 단계에서 분포 정도를 파악하고자 하였다. 이를 위해 사전에 입경 별로 분리된 시료를 대상으로 입경 구간의 분류를 정확하게 예측 가능한 모델 개발을 목표로 하였다.

Ⅱ. 재료 및 방법

1. 디지털 이미지 촬영 시스템 구축

본 연구에서는 대상 시료에 대한 영상을 획득하기 위해 사용한 촬영 시스템의 모식도를 Fig. 1(a)에 나타내었다.

Fig. 1 A controlled capture system for image acquisition : (a) A schematic of the digital image studio, (b) photograph of the digital image studio and (c) Smartphone used in this study

연구에서는 자연광 조건을 차단한 실내 환경을 조성한 후, 동일한 광 환경을 유지하기 위해 조명의 세기 및 각도 등을 고정한 상태에서 토양 시료의 디지털 영상을 획득했다.

촬영 시스템은 백색 스튜디오, 디지털 이미지 촬영 장비, 조명, 토양 시료를 담을 몰드로 구성하였고, 이미지를 촬영할 스마트폰 카메라 (Galaxy S22 Ultra, “Fig. 1(c)”)의 위치를 300 mm 높이로 고정하기 위해 브라켓을 활용하였다. 이와 같은 조건을 설정한 실제 촬영 스튜디오는 Fig. 1(b)와 같다.

영상 획득에 사용된 카메라는 Fig. 1(c)에 나타내었으며, 해당 스마트폰의 후면 카메라를 사용했다. 촬영에 사용된 제품의 상세 기능과 설정된 조건들은 Table 1에 명시했다. 후면 카메라의 108 MP 모드는 최대 1억 800만 화소까지 지원하며 카메라 센서의 여러 픽셀이 그룹화되어 하나로 작동하는 픽셀 비닝 (pixel binning)을 적용하여 9:1의 픽셀 비닝 비율에 따른 12,000 (천) 유효 화소 수를 통해 어두운 환경에서도 9,000 × 12,000 해상도의 선명한 이미지를 얻을 수 있었다.

Table 1 Specification of the rear camera for the acquisition of digital soil images

제조사 측에서 제공하는 앱을 이용하여 카메라와 컴퓨터를 무선 연결하여 원격으로 제어할 수 있도록 하였다. 원격으로 초점과 줌 비율 등을 조절하여 촬영을 진행함으로써 카메라의 움직임을 최소화할 수 있었고 초점 및 토양 시료와의 거리 및 촬영 위치를 일정하게 유지했다.

조명은 최대 조도 745 Lux, 색온도 5,600 K의 조명 2개를 Fig. 1(a), (b)와 같이 440 mm 높이로 고정했다. 설치된 조명은 이미지 촬영에 필요한 시료의 표면을 비추도록 고정하여 광조건을 유지했다. 토양 시료를 담는 몰드는 아크릴 재질의 가로 80 mm, 세로 80 mm, 높이 22 mm의 사각형 크기로 자체 제작하였으며 카메라의 렌즈 부분과 연직 방향으로 배치하여 이미지 촬영 시 생길 수 있는 왜곡을 최소화했다.

시스템으로 구성된 소형 스튜디오는 600 mm, 세로 460 mm, 높이 380 mm의 크기로 자체 제작하였다. 몰드 표면으로 조사되는 빛이 백색 외벽에서 산란하는 것과 조명 효과의 감퇴를 최소화되도록 하였다.

벽으로 차단된 스튜디오의 특성으로 인해 시료 주변으로 조사된 빛 중 일부가 반사되어 이미지 왜곡이 발생할 것을 최소화하기 위해 설정된 촬영 지점을 기준으로 가로 100 mm, 세로 100 mm의 검은색 바탕지를 설치하고, 토양 시료를 동일한 위치에서 촬영하기 위해 몰드의 위치를 검은 바탕지 내 표시하였다.

2. 입경 별 토양 시료 준비

본 연구에서는 토양의 입경 별 분류 모델 개발 및 분류 정확성 평가를 위해 사전 분류된 입경 별로 토양의 이미지를 취득하고자 했다.

본 연구에서 사용된 토양 시료는 부산대학교 소속의 부속 농장 (경남 밀양시 부북면 오례리 30번지)에서 취득하였으며, 취득한 시료는 연구실로 옮겨 토양 내에 포함된 작물의 뿌리 및 나뭇잎 등 유기물들을 제거하였고, 건조 오븐에서 105℃ 조건에서 24시간 동안 건조를 진행하여 완전 건조 상태로 만들었다. 이후 체 분리법을 진행하여 직경 4.75 mm, 2.00 mm, 1.18 mm, 0.425 mm, 0.250 mm, 0.150 mm, 0.075 mm, 0.075 mm 미만, 총 8개의 입도 수준으로 분리하였다. 입경 별 단위 중량 차를 고려하여 몰드의 크기에 따른 단위 중량을 각각 계산하여 각 입경 별로 약 210 g 수준의 토양 시료를 준비했다. 준비된 입경 별 토양 시료를 몰드에 넣고, 다짐 봉을 사용하여 시료가 균질하고 평평하게 다져지도록 했다.

3. 디지털 이미지 촬영

본 연구에서는 자연광 조건을 차단한 실내 환경을 조성 후, 조명의 세기 및 각도 등을 일정하게 유지한 통제된 실내 스튜디오 환경에서 디지털 이미지를 촬영하였다.

카메라의 설정값 중 조리개, 셔터스피드, ISO, 화이트밸런스, 플래시 등의 조건은 촬영된 이미지에 큰 영향을 미치기 때문에, 촬영 조건 및 대상에 따라 적절한 값을 설정하고 동일한 환경에서 진행해야 한다. 본 연구에서는 줌 (Zoom) 2X, f/1.8, 초점 거리 6.4 mm, 1/125초, ISO 120을 기본으로 설정하여 촬영을 진행했다.

사전에 준비한 8종류의 입경 별 토양 시료들을 몰드에 균일하게 다지고, 동일한 입경 내에서도 입자들의 위치 및 분포 등 촬영한 이미지의 다양성을 높이기 위해 촬영 후 다시 제작하여 촬영하는 과정을 반복했다. 입경 별로 10회씩 반복하여 총 80장의 미가공 (RAW) 이미지를 획득했다.

Table 2는 촬영한 이미지들에 대한 입경 크기와 촬영 때 사용한 시료의 질량 (g)을 건조 단위중량 (g/cm³)으로 계산한 정보와 촬영한 이미지 크기에 대한 정보이다.

Table 2 Dry unit weight of soil samples for the eight grain sizes in the study

입경이 클수록 개별 입자의 질량도 커지기 때문에 입경이 작을수록 동일한 부피의 몰드를 채우는 데 사용된 시료의 질량이 작아지는 걸 확인할 수 있었고 0.075 mm 미만 수준의 입경에서는 2.00 mm와 비슷한 질량 수준이었다.

입자들의 질량뿐만이 아니라 입자 사이의 공간에 토양 입자가 들어가면서 공극을 메울 수 있는 수준의 매우 고운 입자 수준이기에 동일한 부피를 채우기 위해 사용된 시료의 양이 이전 단계의 입자들보다 많은 양의 시료가 필요한 걸 확인할 수 있었다.

촬영한 미가공 이미지 80장은 입경 크기에 따라 저장하고, 입경 별 이미지들과 대응하는 클래스 번호를 학습 모델에서 올바른 정답 값으로 적용하였다.

입력값에 대하여 대응하는 클래스(Class) 또는 라벨 (Label)의 정보와 데이터 세트의 이미지를 AI 모델이 같이 학습하므로 Table 2를 통해 입경 크기별로 클래스 번호를 설정하고 해당 번호에 해당하는 클래스 정보를 데이터 세트에 대응하는 라벨로써 적용하였다.

4. 디지털 이미지 전처리 및 이미지 데이터 세트 구축

상기 실험을 통해 취득한 미가공 이미지는 연구 대상인 토양 시료의 표면만이 아닌 배경도 포함하고 있어 모델 학습에 필요한 데이터 세트로 구성하기 전에 전처리 과정이 필요했다.

미가공 이미지에서 Fig. 2와 같이 토양 시료의 영역만을 선별하고자 이미지 중앙을 중심으로 설정하고 가로 4,000픽셀, 세로 4,000픽셀의 관심 영역 (Region Of Interest, ROI)을 설정하고 잘라내기(Cropping) 과정을 진행했다.

Fig. 2 Digital image acquisition of soil sample by grain size

Fig. 3에서 클래스 1과 2의 경우 RGB value 값이 10∼30 범위에서 약한 피크 (Peak)를 보이는 것을 확인할 수 있다. 약한 피크가 측정되는 범위에서의 RGB value 값이 검은색에 가까운 영역이다. 이는 이미지 취득 과정에서 빛의 산란을 방지하기 위해 사용한 검은색 바탕지의 영향으로 판단된다. 사용된 바탕지의 검은색은 색상 채널별 값이 모두 0이나, 빛에 의한 명암의 강도에 따라 0이 아닌 낮은 색상 값을 가질 수 있기 때문에 이미지 내 바탕 영역이 많은 클래스 1∼2번을 촬영할 때 토양 시료의 공극 영역이 조명 빛에 의해 명암을 가지게 되어 약한 피크가 나타난 것으로 보인다.

Fig. 3 Histogram of color distribution tendencies by class

이러한 점은 Fig. 5와 같이 Python의 OpenCV 라이브러리를 활용해 RGB 색상 값에 대한 임계값을 기준으로 이진화된 이미지로 나타낸 것으로, 토양 입자 사이의 공극 영역을 확인할 수 있었다.

Fig. 4 A chart of the mean and standard deviation of RGB values

Fig. 5 Binary image of void regions in a soil sample : (a) Class number 1 and (b) Class number 2

Fig. 2와 같이 생성된 각 클래스의 이미지는 Fig. 6과 같이 데이터 세트의 확장과 모델 학습에 필요한 이미지의 다양성 증대를 위해 다시 500×500, 1,000×1,000, 2,000×2,000픽셀의 크기로 잘라내기를 진행했다. 이미지의 잘라내기 과정에서 이미지 간의 중첩 (Overlap) 비율을 10%, 20%의 조건으로 설정하여 각 입경 별로 클래스마다 1,850개의 이미지, 총 14,800장의 이미지를 확보했다.

Fig. 6 Image cropping examples of an expanded dataset

증강된 이미지들은 딥러닝 모델의 입력 데이터로서 사용되기 전 추가적인 데이터 전처리 과정을 통해 500×500, 1,000×1,000, 2,000×2,000픽셀의 크기로 잘라낸 이미지 크기를 256×256픽셀의 크기로 축소 후 이미지를 텐서 (Tensor)로 변환하여 모델의 입력 데이터로 이용하도록 설정했다.

축소된 크기가 모두 동일하더라도 증강된 이미지의 크기가 다르기 때문에 데이터 값의 범위 (최댓값 - 최솟값)가 일치하도록 최소-최대 정규화(min-max normalization) 과정을 통하여 50% 비율로 데이터들의 스케일을 조절하여 모델에 학습될 수 있도록 했다.

전처리 과정 이후 총 데이터 세트를 6:2:2의 비율로 분할하여 훈련용 (Train), 검증용 (Validation), 시험용 (Test) 목적으로 모델의 성능 평가를 위해 사용했다. 이를 통해 총 14,800장의 이미지에서 8,880장의 훈련용, 2,960장의 검증용, 2,960장의 시험용 데이터 세트가 생성됐다.

5. CNN 모델 설계

본 연구에서는 분류 목적의 모델을 설계하기 위해 딥러닝 프레임워크인 파이토치 (PyTorch)를 기반으로 하여 학습 모델은 이미지 인식 및 컴퓨터 비전 분야에서 주로 이용되는 합성곱 신경망 (Convolution Neural Network, CNN)을 사용하였다.

Fig. 7은 본 연구에 사용한 합성곱 신경망의 구조를 도식화한 것으로, 원본 이미지에서 설정된 커널 크기만큼의 이미지 내 특징들을 추출하고 특징 맵 (Feature map)을 생성하는 과정을 반복하여 하나의 합성곱 층 (Convolution layer)을 만들었다.

Fig. 7 Schematic of the CNN model’s algorithmic process

생성된 합성곱 층은 특징들이 가지는 필터의 수를 증가시켜 이미지에 대하여 많은 정보를 집약시킬 수 있다. 증가된 필터 수에 의해 이미지의 학습이 지연될 수 있어 풀링 층(Pooling layer)을 통해 채널의 크기를 축소하여 모델의 학습 속도를 개선하였다. 합성곱 층과 풀링 층의 반복적인 축소 과정을 거쳐 최종적으로 1차원 행렬의 형태로 신경망의 출력으로 분류되어 학습이 이루어진다.

본 연구에서 모델의 성능을 평가하기 위해 혼동행렬(Confusion matrix)을 사용했다. 혼동행렬은 True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN)의 4개의 성분으로 이루어져 있다. 4가지 성분은 모델이 예측한 결과의 참 (True), 거짓 (False) 여부, 예측한 결과가 실제와 일치 (Positive), 불일치 (Negative)를 나타낸다.

혼동행렬의 4가지 성분을 이용하여 식 (1)∼(3)을 통해 정밀도 (Precision, P), 재현율 (Recall, R), 정확도 (Accuracy, A)를 구할 수 있으며, 정밀도와 재현율의 조화평균으로 식 (4)의 F1-점수 (F1-score, F₁)는 0.0∼1.0 사이의 값으로, 분류가 잘 될수록 1.0에 근접한 값을 가진다 (Sokolova et al., 2006).

\(\begin{align}Precision = \frac{TP}{TP+FP}\end{align}\)       (1)

\(\begin{align}Recall = \frac{TP}{TP+FN}\end{align}\)       (2)

\(\begin{align}Accuracy = \frac{TP+TN}{TP+FP+FN+TN}\end{align}\)       (3)

\(\begin{align}F1-score = \frac{Precision \times Recall}{Precision + Recall} \times 2= \frac{2 \times TP}{2 \times TP+FP+FN}\end{align}\)       (4)

일반적으로 위에 제시한 4개의 식을 통해 계산된 통계량을 근거로 CNN 모델의 분류성능을 평가할 수 있다.

Ⅲ. 결과 및 고찰

Fig. 3, Fig. 4에서 클래스별 RGB 채널별 평균값과 표준편차, 채널별 클래스들의 분포 정도를 분석했을 때, Fig. 4에서 클래스 1∼5번 색상 값들의 표준편차들이 매우 큰 것을 알 수 있다. 평균값들이 클래스마다 유사하기 때문에 평균값만을 기준으로 각 클래스를 분류하는 것은 어렵다. 하지만 Fig. 3에서 클래스 1∼5번에서 평균값과 최대 빈도를 가지는 색상 값의 차이가 크고, 피크가 높게 나타나는 것이 아니라 피크는 낮고 완만한 형태를 띠고 있는 것을 확인할 수 있는데, 색상값의 분포 비율이 모두 같지 않으므로 클래스별 분포 경향이 분류의 기준이 될 수 있다. 클래스 6∼8의 경우, 앞선 클래스들의 표준편차보다 작으며 값이 집중되어 나타나는 것을 확인하였다. 클래스 8에서는 색상 값들의 분포가 최빈값 주변으로 집중되어있고, 표준편차도 더욱 작아지는 것을 확인할 수 있었다. 이는 입경이 작아질수록 입자의 종류와 크기, 배열 등이 균일해지고, 입자 사이의 간격도 매우 조밀해서 전체적으로 치밀해진 구조를 가지기에 최빈값과 매우 좁은 영역의 값에서만 색상 값의 분포를 확인할 수 있고, 평균값에 대한 표준편차도 매우 작아지는 경향을 보인 것으로 해석할 수 있다.

본 연구에서는 색상 값들의 분포 비율에 따른 경향을 CNN 모델의 합성곱 층이 학습하여 데이터 세트 내 이미지들의 분류성능을 확인하였다. 동일한 학습 조건을 위해 활성화 함수, 옵티마이저, 손실 함수 등의 조절 가능한 매개변수들을 고정하고 동일 모델을 대상으로 최적의 학습 규모를 확인하고자 각각 16, 32, 64의 3개의 배치 크기 (Batch Size)와 100/200/300의 에폭 (Epoch) 수, 총 9가지의 다른 조건을 설정했다. 설정한 9가지 조건 별로 모델의 학습을 진행했고 모델의 예측 라벨과 실제 라벨 간의 정확도를 혼동행렬과 손실에 대한 그래프로서 Fig. 8과 Fig. 9를 시각화하였다.

Fig. 8 Confusion matrix of the classification model by training condition

Fig. 9 Gradient change of loss and accuracy during model training and validation (batch size 16)

Table 3을 통해 학습 조건별 분류 모델의 예측값에 대한 정확도 및 재현율 등을 확인할 수 있다. 학습 조건들에 따라 클래스 1∼8까지의 F1-점수의 평균값이 최소 81.98%, 최대 93.52%를, 정확도 역시 최저 82.16%, 최대 93.58%의 수치를 기록하며 학습 정도에 따라 클래스들의 전체 정확도는 6∼7%의 수치적 성능 차를 보이지만 모델의 분류성능에 의미 있는 차이를 보이지 않는다.

Table 3 Performance metrics for classification models across different batch sizes and epochs

동일한 규모의 에폭에서는 배치 크기 (A) 16 > (B) 32 > (C) 64의 순서로 모델의 성능 값들이 큰 경향을 보이는 것과 같이 모델의 학습 과정에서 배치 크기가 작을수록 높은 성능을 보였음을 확인하였다. 같은 배치 크기 조건에서는 각 조건별로 정확도에서 차이가 드러나고, A2, B3, C2가 조건별로 최대 성능 값을 보였다.

데이터 세트의 반복 학습에서 배치 크기가 작고 에폭의 횟수가 클수록 학습 시간이 증가하고 일부 성능 향상이 나타나는 것을 확인할 수 있지만 동일한 데이터 세트의 과도한 반복 학습으로 과적합이 발생할 수 있다. 따라서 데이터의 규모에 따른 적절한 학습 수준을 설정하는 것이 중요하다. 본 연구에서도 과적합을 방지하기 위해 데이터 세트의 해상도와 이미지의 중첩율을 조절하여 데이터 세트의 다양성을 확보하였다. Table 3과 같이 전체 9가지의 학습 조건을 비교하여 A₂ 조건에서 가장 높은 성능을 보였으며 클래스 간의 분류성능을 비교할 때, 클래스 2 (2.00 mm)에서 분류성능이 가장 낮고 클래스 8 (finer than 0.075 mm)이 가장 높은 성능을 보였음을 확인할 수 있었다.

본 연구에서 개발된 모델을 사용할 때 4.75∼0.075 mm 수준의 입경 분류성능은 89.63%의 성능을 보이며 0.075 mm 미만의 입경 수준에서는 98.28%의 매우 높은 성능을 나타내었다. Fig. 3의 클래스별 RGB 색상 값의 분포 특성에서 클래스 8에서는 다른 클래스들과 달리 명확한 피크 값이 강하게 나타나는 것이 학습에 유리하게 작용했을 것으로 판단된다.

Fig. 9에서는 학습을 진행하면서 발생할 수 있는 손실(Loss)과 검증의 정확도를 시각화했으며 손실은 점차 0에 가깝게, 정확도는 초기에 급격한 상승 이후, 일정 구간 이후로 미세하게 우상향하며 100%에 가깝게 수렵하려는 움직임을 확인할 수 있었고 그래프에서 발산하거나 특이 지점을 확인할 수 없었다. 그래프와 데이터 세트의 다양성을 근거로 클래스 8의 96∼100%의 높은 지표 값에 대한 신뢰성을 확인할 수 있으며 개발된 모델이 과적합이 아닌 것으로 판단된다.

Ⅳ. 결론

본 연구에서는 토성 분석을 위해 필요한 토양의 입경 별 정보를 분류하기 위한 기초 연구로서 OpenCV를 통한 컴퓨터 비전 기술과 딥러닝 기법을 사용하여 입경 별로 클래스로서 설정하여 학습에 적용할 라벨로 사용하였고, 이를 기반으로 데이터 세트와 실제 이미지 간의 예측을 통해 입경에 대한 정확한 분류가 가능한 모델을 개발하고자 했다.

입자 크기에 따라 분리된 8개의 토양 시료를 대상으로 동일한 광 조건에서 취득한 디지털 이미지에서 입경 크기에 따라 클래스 정보로서 학습될 수 있도록 데이터 처리와 증강하는 과정을 통해 데이터 세트를 생성했다. 모델 학습에 적용하는 배치 크기 및 에폭 조건을 총 9가지 조건으로 설정하여 학습을 진행했고, 조건 별 학습 결과를 혼동행렬을 통해 분류 성능을 평가하였다. CNN 모델을 통해 모델에 학습한 결과, 평균 F1-점수와 정확도가 각각 89.61%, 89.72%의 성능을 나타내었으며, 학습 규모의 최적화를 위해 설정한 9가지 조건 중 배치 크기 16, 에폭 200의 조건에서 가장 높은 F1-점수와 정확도를 보였기에 하이퍼 매개변수들을 고정한 해당 모델에서는 위의 학습 조건이 가장 높은 성능을 보이는 결과임을 확인할 수 있었다.

입도와 학습 조건마다 분류성능에 대한 편차가 존재한다. 특히 0.075 mm 미만의 입경 수준에서는 99%의 매우 높은 분류성능을 보이기에 과적합 여부를 확인하기 위해 학습 과정에서의 손실과 정확도를 그래프로 시각화하였다. 또한, 취득한 이미지들의 RGB 색상 값의 분포 정도를 확인하기 위해 그래프를 사용해 경향성을 분석했다.

모델 성능을 분석한 결과, 입도가 작아질수록 픽셀 데이터들이 밀집되면서 클래스별 분류가 명확해졌다. 이에 따라 예측 결과는 98∼100%의 높은 수치를 보일 수 있다.

하지만 이미지의 해상도, 광 조건, 하이퍼 매개변수와 같은 통제된 조건이 아닌 실제 현장에서 적용하기 위해서는 현장의 광 조건을 고려한 이미지 획득 방법의 개발과 다양한 데이터 세트들에 대한 정확도 개선 등의 지속적인 연구가 필요하다.

향후 연구에서 외부 광을 차단하고 통제된 환경을 조성하는 이동형 스튜디오를 구축하거나 조도 센서 또는 토색 센서 등을 이용하여 자연광 및 주변 구조물들로부터 발생할 수 있는 데이터 잡음을 최소화하는 방법을 모색하고자 한다. 또한 여러 해상도의 이미지를 추가하고, 이미지를 변조시켜 데이터 세트의 다양성 확장과 본 연구에서 고정한 손실 함수, 옵티마이저 계수와 같은 하이퍼 매개변수들을 조절하여 미세 입자의 분류성능을 고도화하고자 한다.

감사의 글

본 연구는 2021년도 정부 (교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 기초연구사업임 (No. 2021R1I1A1A01058373).