Ⅰ. 서론
농업 인구의 지속적인 과소화⋅고령화로 인해 농업생산력이 저하될 우려가 있는 가운데 전국가적인 식량안보를 위한 고품질 농업생산의 필요성이 꾸준히 제기되고 있다. 이에 대한 해결책 중 하나로서 지속가능한 농식품 산업 기반 조성을 위해 ICT 융복합 스마트 농업에 대한 연구 개발과 정책 지원이 활발히 이루어지고 있다 (Kim, 2017; Yeo et al., 2016). 특히, 축산분야의 스마트 농업은 정보통신기술 및 자동화된 장치를 이용하여 원격으로 가축의 성장과 생육환경을 진단하고 적정 수준으로 유지⋅관리를 실시하는 등 생산의 전 과정을 지능적으로 정확하게 관리할 수 있는 기술에 중점을 두고 있으며, 이를 달성하기 위한 시설을 축산 스마트팜이라 한다(Kwon, 2017).
축사 내부에 형성되는 미기상은 가축의 적정 생육에 영향을 미치는 가장 중요한 요소 중의 하나로서, 내부 미기상을 예측하고 제어하는 기술은 스마트팜 개발을 위한 핵심 기술중의 하나이다 (Kim et al., 2019; Lee et al., 2022; Tong, et al., 2019; Tullo et al., 2018). 특히 실내 기온은 외부의 기상환경과 축사 내부의 가축의 영향 및 환기 작용 간의 복잡한 상호 작용에 의해 형성되므로, 내부 기온의 변화를 정확히 예측하는 것은 매우 어렵다. 현재까지 내부 미기상 예측을 위하여 전산유체역학 시뮬레이션을 활용한 연구들이 많이 수행되었다 (Küçüktopcu et al., 2022; Lee et al., 2013; Tong et al., 2019). 이는 공기 유동 해석에 기반하여 환기에 의한 미기상의 변화를 정확히 예측하고 변화의 메커니즘을 이해할 수 있는 장점이 있다. 하지만 시뮬레이션 예측에 필요한 고도의 전산시스템이 필요하며 예측 결과를 생성함에 있어서 긴 시간이 필요하다는 단점이 있다 (Kim et al., 2020). 특히 환기 구조의 변경, 유입 및 유출구의 빈번한 개폐 작동 등을 고려하기 위한 유연성이 부족한 단점이 있으므로, 스마트팜의 미기상 환경제어를 위해 활용하는데 한계가 있다 (Hong et al., 2014).
실시간 변화하는 축사 내부의 미기상을 예측하고 제어하기 위해서는 외부 기상과 환기 시스템의 운전 상태, 가축의 상태 등에 따라 실내 미기상을 빠르고 정확하게 예측하는 모델이 필요하다. 전산유체역학과 같이 복잡한 미분방정식을 수치해석 기법으로 해결하는 모델이 아니라 선형대수에 기반한 방정식들을 활용하여 다중 변수 간의 연관성을 빠르게 풀어나가는 모델이 더 효과적으로 활용될 수 있다. 이러한 모델에는 에너지의 물리적 흐름을 수학적 기법으로 표현하는 역학적 모델 (Mechanistic Model; MM) (Li et al., 2021; Xie et al., 2019; Youssef et al., 2011)과 모델 인자들의 복잡한 연관성을 블랙박스 모델 (Black box model)에 기반하여 표현하는 기계학습 (Machine Learning; ML) 모델 (Garcia et al., 2020; Lee et al., 2022)이 주로 사용된다.
축사 내부 미기상 예측을 위해 역학적 모델이나 기계학습을 활용한 최근 연구들을 살펴보면, Arulmozhi 등 (2021)은 다중 선형 회귀 (Multiple Linear Regression; MLR), 다층 퍼셉트론 (Multi-Layer Perceptron; MLP), 랜덤 포레스트회귀(Randon Forest Regression; RFR), 의사 결정 트리 회귀(Decision Tree Regression; DTR) 및 서포트 벡터 회귀(Support Vector Regression; SVR) 모델을 활용하여 외부 기상환경에 따른 돈사 내부의 기온과 습도 변화를 예측하였다. Lee 등 (2022)은 강제환기식 오리사와 자연환기식 오리사에서 실내 기온과 습도 예측을 위해 순환신경망 (Recurrent Neural Network; RNN)을 사용하였다. Xie 등 (2019)은 에너지수지 모델에 기반한 역학적 모델로 돈사 내 실내 기온을 모의하였다. 이러한 연구들은 모두 다중 입력 데이터로부터 실내 미기상을 비교적 높은 신뢰도로 예측하고 있으나, 실제 스마트팜에 적용이 가능하기 위해서는 크게 두 가지 한계점을 보이고 있다. 하나는 모델의 학습 또는 개발 및 검증에 활용된 데이터가 매우 단기적인 점이다. 계절적 환경 변화가 큰 국내 여건을 고려할때 특정 시기 또는 계절의 데이터로 개발된 모델은 연중 운영되는 축사에 적용하는데 한계가 있다. 두번째는 미래 시점의 미기상을 실제로 예측하지 않는 점이다. 대부분 연구는 입력데이터와 동시간대의 미기상의 수학적 관련성을 찾는데 중점을 두고 있으나, 스마트팜에서는 외부 환경 변화나 내부 환기 제어에 의해 수 분 또는 수 시간 동안의 미래의 미기상을 예측할 수 있는가가 더 중요한 문제가 될 수 있다. 따라서 이러한 모델들은 미래 미기상의 예측이 가능한 형태로 보완이 필요하며, 장기간의 충분한 실측 데이터를 기반으로 모델 파라미터 또는 회귀 인자들을 정확히 추정해 낼 수 있다면, 스마트팜의 미기상 환경 예측과 제어에 효과적으로 사용될 수 있을 것으로 기대된다 (Hong and Lee, 2015).
본 연구에서는 상업용 강제환기식 육계사의 실내 기온을 예측하기 위하여 에너지 수지에 기반한 역학적 모델과 기계학습 모델들을 활용하고, 미래의 예측 시점에 따른 각 모델들의 예측 정확도를 비교 분석하였다. 모든 모델들은 동절기부터 춘절기까지의 실측 데이터로 학습 또는 개발되어 다양한 계절적 변화에 걸쳐 실내 기온을 예측할 수 있도록 구성되었다. 본 연구에서 개발된 미기상 예측 모델은 향후 가금 스마트팜의 실내 적정 환경을 제어하는데 활용될 것이다.
Ⅱ. 재료 및 방법
1. 대상 농장과 데이터 수집
본 연구를 진행하는 대상 농장은 전라북도 정읍시에 있는 강제환기식 무창 육계사이다. 대상 육계사는 사육두수 3만수 규모로서 길이 100 m, 폭 12 m 크기의 현대형 시설이다 (Fig. 1). 2세대 스마트팜 개발을 목적으로 영역 기반 (Zone-based) 미기상을 제어하기 위해 육계사 내부를 8개 영역으로 구분하여 영역별 온습도를 측정한다. 20개의 터널팬 (EM 50, Air extraction fans, Munters)과 6개의 온풍기 (SP-100A, 삼성파워 온풍기, 삼성산업)가 개별로 on/off 형식으로 작동하며, 총 60개의 측벽 슬롯형 입기구 (1200 × 370 mm, 높이 3.5 m)가 8개 그룹으로 나뉘어 그룹별로 열림/닫힘을 제어할 수 있다. 하지만 실험 중에는 기존의 상용 육계사와 같이 모든 입기구가 동일하게 작동하도록 설정하였다. 육계사 내부의 환기 제어 및 미기상 측정은 계사에 설치된 스마트팜 환경자동제어시스템 (LO-1000, 코코팜 육계용 IoT장치 & AC-2000, 계사환경자동제어시스템, (주)이모션)으로 수행되었다.
Fig. 1 The interior of a mechanically-ventilated broiler house
기상 환경은 외부에 설치된 기상대로부터 기온, 습도, 태양복사량, 풍속, 풍향 등을 1분 간격으로 측정하였다. 육계사 내부의 경우, 8개 영역에서 계군 높이인 바닥에서 0.5 m 높이에서 기온과 습도를 1분 간격으로 측정하였다. 단, 본 연구에서는 8개 영역의 측정값을 평균하여 시설 평균 기온과 습도를 데이터로 활용하였다. 환경제어 정보로서 터널 팬과 온풍기, 입기구의 작동에 대한 제어 시간과 제어 내용이 JSON (Java Script Object Notation) 형식으로 기록되며, 이는 MATLAB(R2021a, Mathworks Inc., USA)을 이용하여 1분 간격 데이터로 변환하여 사용하였다.
육계의 경우, 12∼14일령까지 스스로 체온을 조절할 수 있는 능력이 부족하며 일령에 따른 적정 실내 기온을 제어해야 한다. 대상 육계사의 경우, 육계가 성장함에 따라 입추부터 출하까지 약 36℃에서 21℃까지 실내 기온이 낮아지도록 설정하였다. 농장주의 경험에 따라 설정 기온으로부터 ±3℃ 편차 이내를 적정 기온 범위로 간주하고, 적정 기온이 유지되도록 운영되었다. 겨울철부터 봄철까지의 모델 개발을 위하여 2021년 12월 27일부터 2022년 1월 25일, 2022년 2월 22일부터 2022년 3월 23일, 2022년 4월 25일부터 2022년 5월 30일까지의 동절기부터 춘절기의 세 차례의 입추와 출하 사이의 데이터를 수집하여 연구에 활용하였다. Fig. 2는 세 기간 동안의 실내 평균 기온의 변화와 농장주에 의해 설정된 적정 기온을 비교한 그래프로서 ±3℃의 범위를 초과하여 실내에 저온 또는 고온이 형성되는 것이 관측되었으며, 이러한 편차를 줄이는 환경 제어 연구가 필요하다. 데이터에 대한 세부 정보는 「4. 데이터 세트 구축」에서 다룬다.
Fig. 2 Comparison of temperature settings (green bold lines) and monitored indoor temperature (blue lines) in a commercial broiler house
2. 기계학습 모델
기계학습은 주어진 학습 데이터를 컴퓨터 스스로 학습하여 데이터의 특성이나 규칙을 도출하기 위한 알고리즘을 의미한다. 기계학습의 경우 수학적으로 명확하지 않은 대규모의 데이터를 종합적으로 관계를 파악하고 분석하여 해를 도출하는 것에 유리하다. 주로 분류와 회귀 모델 구축에 사용되며 본 연구에서는 육계사 내부의 기온 예측을 위하여 회귀에 주로 사용되는 세 가지 학습 알고리즘을 사용하였다.
첫째, 인공신경망 (Artificial Neural Network, ANN)은 인간의 신경계의 기본 단위인 뉴런을 모델화한 기계학습 알고리즘이다. 인공신경망은 입력층, 은닉층, 출력층으로 나뉘며 각각의 층은 여러 개의 (Node)로 구성되어 있다. 각각의 노드는 편향 (Bias)을 가지고 노드와 노드 사이를 연결해주는 가중치(Weight)를 가지고 있으며 편의 값과 가중치가 사용된 전이 함수를 통해 결과가 출력된다. 학습을 반복할수록 가중치와 편의 값이 목표값에 최적화된다.
둘째, 랜덤 포레스트 (Random Forest, RF)는 다수의 의사결정나무 (Decision Tree)를 앙상블 (Ensemble)한 기계학습 알고리즘이다. 의사결정트리에서는 노드를 통해 특정 기준에 따라 데이터 영역을 분류 및 저장하며, 마지막 노드의 복잡성(Entropy)을 감소시키는 것을 목적으로 분류, 분기를 반복하는 것으로 훈련된다. 데이터를 임의로 샘플링하는 배깅(Bagging)을 통해 다수의 의사결정트리를 생성하여 각각의 의사결정트리에 하나의 예측 값이 도출된다. 다수의 의사결정트리의 예측값들을 앙상블, 평균하여 최종 예측값이 결정된다. 다수의 의사결정트리들의 결론을 앙상블하기 때문에 하나의 의사결정트리보다 더 정확한 예측을 보이며 배깅을 통한 의사결정트리를 생성하기 때문에 과적합을 줄일 수 있다.
마지막으로 서포트 벡터 머신 (Support Vector Machine, SVM)은 데이터 분류를 위한 기준을 정의하는 결정 경계(Decision Boundary)를 형성하는 기계학습 알고리즘이다. 결정 경계와 서포트 벡터의 거리, 즉 마진 (Margin)을 최대화하여 데이터를 분류하도록 학습이 이루어진다. 회귀의 경우 데이터 분포에 따라 선형, 다항, 가우시안 커널 함수 등을 결정하고 마진을 최소화하도록 학습이 이루어지며 최종적으로 결정 경계를 정의한다.
3. 역학적 모델
육계사 내부의 온도 변화는 대류, 전도, 복사 현상에 의한 열에너지 교환과 관계가 있으며, 온도 변화 요소로 육계의 현열, 호흡에 의한 증발열 (잠열)과 환기팬의 작동에 따른 환기, 벽체의 열전달에 의한 외부와의 열에너지 이동 및 교환, 온풍기로 인한 열에너지 증가가 주요인이다. 따라서, 육계사의 실내 기온 변화를 예측하기 위해 육계의 현열 (Qa), 잠열 (QL), 터널팬에 의한 환기 (Qvent), 벽체의 열전달 (Qd), 온풍기 (Qheating)에 의한 열에너지 증감을 식 (1)∼(5)으로 표현하였다. Qa는 실내 기온과 육계의 체중에 따라 육계의 신진대사에 의해 발생하는 현열발생량의 경험식으로 추정하였다(Sakomura et al., 2005; Izar-Tenorio et al., 2020). QL은 육계의 일일 급수량 중 40%가 시설 내에서 증발한다고 가정하고 이에 따른 증발 잠열로 추정하였다 (Izar-Tenorio et al., 2020). 식 (1)∼(2)의 SIN 함수는 24시간 주기의 육계의 신진대사에 따른 현열과 잠열의 변동성을 나타낸다 (CIGR, 2002; Pedersen, 2015).
\(\begin{aligned} Q_{a}= & m^{0.75}\left(307.87-15.63 T_{i n}+0.3105 T_{i n}^{2}\right) \times \frac{4184}{24 \times 3600} \\ & \times\left(1-a \sin \left(\frac{2 \pi}{24} \times\left(h+6-h_{\min }\right)\right)\right)\end{aligned}\) (1)
\(\begin{aligned} Q_{L}= & -0.4 \times\left(583.5-17.1 T_{i n}+25.25 m\right) \times \frac{1}{24 \times 3600} \\ & \times\left(1-a \sin \left(\frac{2 \pi}{24} \times\left(h+6-h_{\min }\right)\right)\right) \\ & \times\left(2500-2.327 T_{i n}\right)\end{aligned}\) (2)
\(\begin{aligned}Q_{v e n t}=-\dot{m} C_{p} \Delta T\end{aligned}\) (3)
\(\begin{aligned}Q_{d}=-\sum_{\text {walls }, i} U_{i} A_{i} \Delta T\end{aligned}\) (4)
Qheating = 33,000 × nH (5)
m = -35.783 + 19.098 × d + 0.6008 × d2 (6)
여기서, m은 육계 개체의 질량 (kg)으로 식 (6)과 같이 국립축산과학원에서 제시한 주령별 육계 체중 자료 (NIAS, 2022)로 부터 일령 d의 함수로 추정하였다. Tin은 실내 기온 (℃), h는 하루 중 시간 (hr), a와 hmin은 하루 중 동물의 생체 리듬을 표현하기 위한 상수로 Qa에서 a = 0.21, hmin = 0.38이며 QL에서 a = 0.46, hmin = 0.67이고 (Pedersen, 2015; Izar-Tenorio et al., 2020), \(\begin{aligned}\dot{m}\end{aligned}\)은 환기의 질량 유량 (kg s-1), ρ와 Cρ는 공기의 밀도 (kg m-3)와 비열 (J kg-1 ℃-1), Ui와 Ai는 벽체의 열관류율 (W m-2 ℃-1)과 면적 (m2), ΔT는 실내외의 기온 차이 (℃), nH는 가온에 사용된 히터의 수, 모든 Q는 시간당 에너지 증감 (W)이다. 식에서 제시된 상수들은 단위변환을 위해 사용되었다.
본 연구에서는 이산 시간 다중입력 단일 출력 모델 (discrete time multiple-input single-output [MISO] model)로서 에너지수지 방정식에 기반한 역학적 모델을 개발하였으며 식 (7)과 같은 형태로 표현된다.
\(\begin{aligned}\begin{array}{l} \rho C_{p} V_{b} \frac{T_{\text {in }}(t)-T_{\text {in }}(t-\Delta t)}{\Delta t} \\ \left.\left.=u_{1} Q_{a}\left(t-d_{1} \Delta t\right)\right)+u_{2} Q_{L}\left(t-d_{2} \Delta t\right)\right) \\ \left.\left.+u_{3} Q_{\text {vent }}\left(t-d_{3} \Delta t\right)\right)+u_{4} Q_{d}\left(t-d_{4} \Delta t\right)\right) \\ \left.+u_{5} Q_{\text {heating }}\left(t-d_{5} \Delta t\right)\right)\end{array}\end{aligned}\) (7)
여기서, u1∼u5는 각각 Qa, QL, Qvent, Qd, Qheating에 대한 불균일성 지수이며, d1∼d5는 각 열에너지 증감에 대한 시간지연 지수이다. Box 모델 특성상 육계사 시설 내의 열에너지의 공간적 분포가 균일하다고 가정하고 있지만, 실제 부피가 큰 육계사 내부의 미기상의 시공간적인 불균일성이 크다. 또한 환기팬, 온풍기 등 각 에너지 요소들의 작동이 실제 실내 평균 기온의 변화에 미치는 시간적 지연을 고려할 필요가 있다. 따라서, 불균일성 지수와 시간 지연 지수를 도입하여 역학적 모델을 설계하였다.
역학적 모델의 불균일성 지수와 시간 지연 지수는 Haupt and Haupt (2004)의 연속적 유전 알고리즘 (Genetic Algorithm; GA)으로 추정하였다. 유전 알고리즘은 해 집합으로 구성된 염색체를 무작위로 생성하여 세대를 거듭하며 적합도를 판단하여 선택 (Selection), 교배 (Crossover), 돌연변이 (Mutation)에 의해 해를 탐색, 결합, 무작위 과정을 거쳐 최적의 목표값을 찾는 방법이다 (Hong et al., 2015).
4. 데이터 세트 구축
기계학습, 역학적 모델은 학습 및 개발에 사용될 데이터의 품질에 따라서 모델 결과의 품질이 결정된다. 또한, 추후 실제육계사의 환경 예측 및 제어에 알고리즘을 용이하게 적용시키기 위해 데이터 구축은 필수적이다.
데이터 주기는 육계사의 실내, 실외의 온도 주기와 동일하게 1분 단위로 설계하였으며, 본 연구에서 구성된 데이터 세트의 구성 요소는 Table 1과 같다. 내부 기온의 경우, 8개의 영역의 기온 평균값을 사용하였다. 터널팬과 온풍기의 경우 데이터 주기 1분 동안 작동되었을 경우 1.0, 작동하지 않았을 경우 0.0으로 계산한다. 입기구의 경우 열림, 닫힘, 멈춤 신호에 따라 개폐 속도 (α)가 변하여 열려있는 상태 (bt)를 추정한다. 1분간 완전히 열려있을 경우를 1.0으로 완전히 닫혀 있는 경우를 0.0으로 계산되어 1분 동안의 입기구가 열려있는 정도를 계산하였다. 대상 육계사에서는 터널 팬의 작동 개수에 따라 환기량을 계산하여 입기구가 자동으로 개폐되므로, 역학적 모델에서는 입기구 정보 대신 환기량 만을 입력 데이터로 사용하였다. 다만, 기계학습 모델에서는 입기구 정보를 입력자료로 활용하였다. 육계의 일령 (Age)의 경우, 기계학습에서 육계의 생육 정도에 따라 변하는 현열과 잠열의 영향 변화를 고려하기 위하여 설계하였으며, 입추 시점을 0으로 시작하여 연속적으로 24시간이 이후 1.0씩 증가하도록 설계하였다. 시간 주기 (Time Cycle)의 경우 육계의 하루 중 활동의 변화에 따른 현열과 잠열의 변화를 기대하여 데이터 세트에 추가하였다. 시간 주기는 시간데이터를 24시간으로 나누어 정수 값으로 설계하였다.
Table 1 Dataset construction
유전알고리즘이 결합된 역학적 모델 (MM-GA)의 경우, 육계사 내⋅외부의 기온, 터널 팬과 온풍기, 육계의 일령, 시간주기를 입력 데이터로 구축하였다. 터널 팬과 온풍기의 경우 각각 작동하는 장치 작동 상태의 합으로 계산하였다. 모델의 출력값은 식 (7)의 1분 후의 온도 변화로 계산된다. 기계학습의 경우, 역학적 모델과 동일하게 1분 후 육계사 내부 온도변화를 출력값으로 설계하였다. 입력 변수를 줄여 모델을 단순화하기 위하여 실내 기온과 외부 기온은 ΔT의 하나의 변수로 입력값을 구성하였고, 이외에 터널 팬, 온풍기, 입기구, 육계의 일령, 시간 주기가 입력자료로 사용되었다. 기계학습에 사용된 모든 데이터는 정규화 (Normalization)과정을 거쳤다.
본 연구에서는 동절기부터 춘절기의 운영에 모두 사용 가능한 예측 모델을 개발하기 위해 세 차례의 사육 기간의 데이터를 하나로 데이터 세트로 구성하여 하나의 모델에 대해 학습 및 개발을 시도하였다. IQR (Inter Quantile Range)방식으로 이상치와 결측치를 제외하여 총 102,240개의 데이터가 데이터 세트로 구축되었다. 모델의 학습과 성능평가를 위하여 데이터 세트를 훈련 (Training)과 검증 (Test) 용으로 각각 60%와 40%의 비율로 분류하였다. 데이터를 분류하는 방법은 여러가지가 있지만, Sharma 등 (2015)은 데이터의 초반부를 집중훈련하는 것 (R2=0.061)보다 일정간격으로 배열 (R2=0.681)하거나 무작위 (R2=0.733)로 훈련하는 것이 기계학습의 성능이 좋다고 제안한다. 본 연구에서는 전 기간의 데이터 경향을 모두 학습시키기 위하여 일정 간격으로 데이터를 추출하여 배열하는 인터리빙 (Interliving) 방식을 이용하여 훈련용 데이터와 검증용 데이터를 분할하였다. 즉, 데이터 세트를 시간 순서에 맞게 5시간 주기로 3시간과 2시간씩 훈련용 데이터와 검증용 데이터로 반복하여 분류하였다.
5. 연구 방법
연구의 전체 흐름은 Fig. 3과 같다. 육계사에서 모니터링한 데이터들을 1분 간격의 시계열 데이터로 가공하여 개발할 모델의 알고리즘에 따라 적합한 형태로 데이터를 선택 및 정규화하였다. 완성된 데이터 세트는 결측 데이터는 제외하고 훈련용과 검증용으로 분할하였다. 훈련용 데이터를 활용하여 기계학습 모델들과 역학적 모델을 개발하였고, 개발된 모델들은 검증용 데이터로 각 모델들의 성능을 평가하였다. 모델의 훈련과 검증에 사용된 프로그램은 MATLAB을 사용하였으며, 기계학습 모델들은 MATLAB의 Statistics and Machine Learning Toolbox에서 제공되는 라이브러리를 사용하였다.
Fig. 3 Flowchart of model development to estimate indoor temperature
기계학습의 경우, 데이터 특성, 알고리즘에 따라 최적화하는 하이퍼파라미터가 다르며, 하이퍼파라미터의 설정에 따라 성능이 달라진다. 반복적인 실험으로 경험적인 최적의 하이퍼파라미터를 추정할 수 있지만, 본 연구에서는 베이지안 최적화 (Bayesian Optimization)을 활용하여 최적의 하이퍼파라미터를 추정하였으며 하이퍼 파라미터 추정 반복 횟수는 Default값인 30을 사용하였다. 베이지안 최적화는 목적함수를 모델링하기 위해 미지의 하이퍼파라미터를 반복 평가하여 최적화한다. 베이지안 최적화를 통한 모델링은 MATLAB에서 제공하는 하이퍼파라미터의 Default값보다 높은 예측 성능을 보이며 아직 개발되지 않은 알고리즘에 대한 문제를 해결하기 적합하다 (Choi et al. 2020).
역학적 모델의 모델 인자 추정을 위한 유전 알고리즘의 경우, 계산 과정에서 염색체 수는 500개로 설정하였고 총 200세대에 걸쳐 최적 인자를 추정하였다. 매 세대에서 변이, 교배, 선택의 수는 각각 총 염색체의 20%, 30%, 50%로 설정하였다.
본 연구를 통해 개발된 모델들은 1분, 10분, 30분, 1시간의 네 가지 예측 시점에 대하여 실내 기온을 예측할 수 있는지 평가가 되었다. 모든 모델은 기본적으로 1분 동안의 온도 변화를 통해 다음 1분 후를 예측하며, 이를 반복하여 실내 기온을 연속적으로 예측하게 된다. 단, 기존 연구들에서는 이러한 반복 과정에서 예측된 실내 기온을 다음 시간대의 예측을 위해 재사용하지 않고, 실측값만을 입력값으로 사용하게 되는데, 이 경우 사실상 1분 후의 미래를 예측하는 과정을 반복하는 것과 같다. 본 연구에서는 실질적인 예측을 위해 실내 기온의 예측값들을 다음 시간대의 예측을 위한 입력값에 사용함으로써, 10분, 30분, 1시간을 연속적으로 예측하였을 때의 모델의 최종적인 예측 정확도를 비교하였다. 예를 들어, 1시간 예측 모델의 경우, 매시 정각의 실측 실내 기온을 시작점으로 하여 59분 동안 실내 기온을 예측하고, 다시 다음 시 정각의 실측 실내 기온을 시작점으로 다음 59분을 예측하는 과정을 반복하였다.
역학적 모델의 경우 네 가지 예측 시점에 따라 각각 학습을 시켜 모델 인자들을 최적화하였으나, 기계학습의 경우 제공된 알고리즘의 한계로 인해 1분 후의 예측에 대해 모델을 개발하고, 이를 네 가지의 예측 시점에 대해 적용하여 평가하였다. 모델의 검증 및 성능평가는 시험용 데이터 세트의 실내 기온과 모델로 예측된 실내 기온과의 결정계수 (R2)와 평균제곱근 오차 (Root Mean Square Error; RMSE)를 통해 실시하였다.
Ⅲ. 결과 및 고찰
1. 실내 기온 예측 모델의 개발
본 연구에서 훈련된 기계학습 및 역학적 모델에 대한 하이퍼파라미터 및 변수 최적화 결과는 Table 2와 같다. ANN의 경우, 은닉층은 1개, 은닉층의 노드는 216개로 설계되며 전이함수는 ReLu (Rectified linear) 함수로 설계되었다. RF의 경우, 모델의 구축과 가중치의 갱신을 반복함으로 최적화하는 방식인 LSBoost (Least-squares boosting) 방식으로 RMSE를 최소화하기 위해 데이터 개수를 378개 그룹으로 나눈다. 최종 분류된 데이터 집단을 구성하는 최소의 데이터 (MinLeafSize)는 262개, 최대 분류 횟수 (MaxNumSplits)는 75번이다. RF는 의사결정나무와 같은 직관적인 그래프가 최종 모형으로 도출될 수 없다. 따라서 RF는 이러한 문제를 해결하기 위해 변수의 영향력을 파악할 수 있도록 중요도 지수 (variable imporatance)를 제공한다. 중요도 지수는 실측된 OOB(Out-Of-Bag) 데이터의 표준오차와 예측된 OOB 데이터의 오차 차이 평균을 표준오차로 나눈 값으로 계산된다. 이때, OOB는 배깅된 데이터를 제외한 나머지 데이터를 말한다 (Yoo, 2015). 최적화된 RF의 중요도 지수는 터널팬 (0.9727) > 일령(0.7085) > 실내외 기온 차 (0.6171) > 입기구 (0.5814) > 온풍기 (0.2767) >시간 주기 (0.2640) 순서로 높았다. SVM의 경우, 선형 커널 함수를 사용하였으며 커널 함수의 마진의 경계(Epilon)는 2.6192e-4 로 설계되었다. 선형 커널 함수는 1분후의 온도변화에 대한 1차 다항식으로 표현되며 식 (8)과 같다.
ΔTemp = (-0.0467x1 - 0.0474x2 - 0.0550x3 + 0.0524x4 + 0.0549x5 - 0.0086x6) + 0.0453 (8)
Table 2 Hyperparameters and factors in the optimized prediction model
여기서, x1∼x6은 기계학습에 사용된 입력값으로 각각 실내외 온도차, 터널팬, 입기구, 온풍기, 일령, 시간 주기를 나타내며 모든 데이터는 정규화를 거쳤기 때문에 무차원이다. 일령 실내외 온도차, 터널팬, 입기구, 시간 주기의 계수는 0보다 작으므로 실내외 온도차가 클수록, 터널팬의 작동 시간이 많을수록, 입기구가 열려있는 시간이 많을수록, 낮보다 밤인 시간에서 기온이 감소한다. 반대로 온풍기와 일령의 계수가 0보다 크므로, 온풍기의 작동시간이 많을수록, 일령이 많을수록 기온이 증가한다.
MM-GA의 경우, Qa, QL의 경우, 시간 지연 계수 (d)가 13 이상, Qvent, Qd, Qheating의 경우, 시간 지연 계수 (d)가 3 이하로 결정되었다. 이때, 시간 지연 계수 (d)는 식 (1)∼(5)의 열에너지 증감 (Q)에 의해 실내 공기의 평균 온도가 증감하는 데 필요한 시간으로 표현된다. 예를 들어, Qd의 경우, 벽체를 통해 열전달된 에너지가 실내 평균 기온의 변화에 영향을 미치는데 13분이 걸린다. Qa, QL는 육계의 일령 현열, 잠열에 의한 에너지이며, 이에 의한 실내 기온의 변화는 환기, 히터 등에 비해 느리게 반영되었다. Qvent, Qheating의 경우, 환기나 히터에 의한 에너지 증감은 매우 큰 양이며, 강제환기방식으로 이루어지므로, 실내 기온의 변화에 미치는 속도가 빠를 것으로 예상된다. 반면 Qa, QL, Qd는 팬 기류나 온풍기의 송풍기류와 같이 강제적인 대류에 의해 전달되는 것이 아니라, 온도차 등에 의한 자연대류에 의해 에너지 전달이 이루어지기 때문에 에너지 전달 속도가 느리다.
2. 예측 시점에 따른 모델의 성능평가
실측값과 예측 시점별 모델의 예측값을 비교하여 얻은 성능평가 결과는 Table 3과 같다. 1분 후의 예측의 경우, R2는 ANN, RF, SVM, MM-GA의 순서로 0.998, 0.995, 0.999, 0.990으로 SVM이 0.999로 가장 높았으며 RMSE도 SVM이 0.110℃로 가장 낮은 값을 보였다. 모든 알고리즘에서 R2가 0.990 이상인 값을 보이며 RMSE도 최대 0.306℃로 낮은 값을 보였다. 1분 후 예측의 경우, 실측값들로부터 1분 후의 예측값을 얻은 결과이므로, 기존 연구들에서와 같이 모든 모델에서 높은 예측 성능을 보였다.
Table 3 Evaluation of prediction models indicating the best performance with bold lines
10분 기온 예측의 경우, R2는 ANN이 0.977로 가장 높았으며, RMSE는 MM-GA가 0.522℃로 가장 낮은 값을 보였지만 모든 알고리즘에서 R2가 0.937이상으로 여전히 높은 예측 성능을 보인다. 30분과 1시간 예측의 경우, MM-GA가 각각 0.952, 0.934의 R2로 가장 높은 예측 성능을 보였으며, RMSE 또한 0.691, 0.841℃로 가장 낮았다. 기계학습의 경우, 1시간 기온 예측에서 RMSE가 모두 1.7℃이상인 값을 보였으며 RF의 경우 RMSE가 4.561℃로 가장 큰 오차를 보였다. 대상 농장에서 적정 기온의 범위로 ±3℃ 이내의 편차를 허용하므로, 기계학습 모델들에서 보인 RMSE는 상대적으로 크다고 볼 수 있다.
10분 이내의 예측에서는 모델의 종류에 관계없이 높은 예측 성능을 보였으나, 30분 이상의 예측에서는 MM-GA가 높은 예측 성능을 보였다. MM-GA는 예측 시점별 모델 인자들을 최적화하였고, 시간 지연 지수를 도입하여 실제 에너지의 물리적 흐름을 모의하고자 하여 장시간의 기온 예측에서 높은 성능을 보인 것으로 추정된다. 기계학습 모델들에서는 입력값들의 시간 지연 개념이 포함되지 않았기 때문에 장기간 예측에서의 예측 성능이 낮은 것으로 판단된다. 환기, 벽체, 동물의 발열 등이 실내 기온에 즉시 영향을 미치는 것은 물리적으로 타당하지 않을 수 있으며 넓은 면적의 육계사 내의 평균 기온을 즉시 변화시키는 것은 불가능할 것이다. 그럼에도 불구하고 1분 예측의 경우 모든 모델들에서 높은 R2가 나타나는 이유는 예측된 실내 기온뿐만 아니라 실측값 또한 1분간 큰 온도 변화를 보이지 않았기 때문이다. 또한 매 예측 계산마다 실내 기온의 측정값이 입력데이터로 사용되기 때문에 오차가 누적되지 않는 것도 중요한 원인이다. 반면 장기간 예측의 경우, 예측값을 기반으로 Δt이후의 실내 기온을 반복해서 예측하는 과정에서 오차가 누적되기 때문에 모델 인자가 매우 잘 맞지 않으면 장시간 이후에 오차가 커질 수밖에 없다. 이러한 측면에서 시간 지연 개념을 고려하지 않은 기계학습 모델들에서는 장시간 예측에 한계를 보였다.
3. 장기간 예측 성능의 비교
기온 변화에 민감한 육계의 특성으로 인해 육계사는 적정 실내 기온의 유지가 매우 중요하다. Fig. 2의 환경 조절 결과에서도 나타나듯이 현행의 on/off 기반의 환기 제어는 연중 지속적인 적정 환경 조절에 한계를 보이고 있다. 따라서 기상예보와 가상의 환기 제어를 통한 실내 미기상의 예측에 기반하여 지능적인 환기 제어가 필요하다. 또한 이를 위해 미기상 환경의 장기간 예측 모델은 필수적이다.
본 연구에서 개발된 육계사 실내 기온의 1시간 예측 모델들의 성능은 Fig. 4∼6에 제시되어 있다. Fig. 4는 실측 기온(x축)과 예측 기온 (y축)의 분산도이다. Fig. 4의 (a), (c)와 같이 ANN과 SVM의 회귀식의 기울기는 0.8 이하로 다른 알고리즘보다 낮은 값을 보이는데, 이는 측정된 기온 변화보다 예측된 기온 변화가 더 작음을 의미한다. 반대로 RF의 경우 (Fig. 4의(b)), 회귀식의 기울기가 1.4 이상으로 실제 기온의 변화보다 예측 모델의 기온 변화가 더 큼을 의미한다. 이렇게 1.0과 차이를 보이는 기울기는 모델 결과의 선형성과는 별개로 높은 RMSE를 유발할 수 밖에 없다. 1시간 예측의 최적의 알고리즘인 MM-GA는 Fig. 4의 (d)와 같이 회귀식의 기울기가 다른 예측 모델보다 1.0에 가깝다. 또한 MM-GA의 데이터 분산 형태는 두께가 가장 얇게 나타났는데, 이는 Table 3에서 MM-GA의 RMSE 값이 가장 작게 나타나는 것과 같은 결과이다. 분산도의 두께는 모델의 실제 적용 가능성과도 밀접한 관련이 있다. 예를 들어, MM-GA에서 예측 기온이 25℃로 나타난 경우, 분산도에 따르면 실제 기온은 약 22∼28℃ 범위에 있으며, 이는 적정 기온의 편차인 ±3℃의 범위에 포함되게 된다. 즉, 예측 결과에 다소 오차가 발생한다 하더라도 적정 기온의 범위에는 포함됨을 의미한다. 다른 모델들은 이 범위를 초과하게 되며, 이는 환경조절의 실패로 이어질 우려가 있다.
Fig. 4 Scatterplots of all data between measurements (X-axis) and 1-hour prediction (Y-axis)
Fig. 5 Comparison of indoor air temperature between measurements (blue lines) and 1-hour prediction (orange lines)
Fig. 5에서는 3회의 사육 기간에 걸쳐 측정된 실내 기온과 각각의 예측 모델에 대한 1시간 예측 결과를 비교하였으며, Fig. 6에서는 1시간 예측 결과에서 측정된 실내 기온을 뺀 오차를 나타낸다. ANN의 예측 기온은 3월 이후 양의 오차가 증가하였으며, 특히 5월 이후 양의 오차가 급격히 상승하는 추이를 보인다. 이는 5월 이후의 환기팬 사용의 증가로 인한 육계사 내의 열에너지 감소가 활발히 이루어지고 있지만, ANN 훈련 시 환기팬과 입기구의 가중치가 과소하게 반영되어 환기팬 사용 증가에도 기온의 감소가 충분히 이루어지지 않은 것으로 판단된다. RF의 경우, 예측 기온이 12월과 1월에서 급격히 상승하였고, 반대로 3월에는 급격히 감소하여 음의 오차를 나타내는 추이를 보였다. 예측 기온이 60℃ 이상으로 증가했으며 이는 1시간과 같이 장기간 예측에서 RF가 적절하지 않은 것으로 판단된다. SVM의 경우 전체적으로 측정된 기온보다 예측 기온이 높게 나타났으며, 이는 육계사 내에서 지속적인 열에너지 공급원이 육계의 현열임을 고려할 때, 이의 영향력이 과대하게 모의된 것으로 추정된다. 특히, 1월 15일에서 1월 25일의 기간에서 양의 오차가 급격히 커지는 것으로 나타났는데, 최소의 환기가 이루어지는 동절기에 육계의 체중이 증가하는 사육 후반이므로 육계의 현열 영향이 과대평가되었다는 추정과 상통한다. 기계학습의 경우 일반적으로 학습되지 않은 데이터의 경향을 예측하는 것은 매우 어려운 일이며, 본 연구에서 확보된 학습 데이터로는 충분한 정확도의 장기간 예측을 수행하는데 한계를 보였다.
Fig. 6 Difference of indoor air temperature between measurements and 1-hour prediction
MM-GA의 경우, 측정된 기온과 예측된 기온의 변화가 상당히 유사한 추이를 보였다. 기계학습 모델들의 결과와 같이 측정값의 범위를 초과하는 양의 오차와 음의 오차가 혼재된 경향을 보이지는 않았으며, 오히려 측정값보다 다소 작은 폭의 변동을 보이는 경향을 나타냈다. 전체 사육 기간 중 5월에서 예측 기온이 측정값에 비해 높은 경향을 보이며 오차가 최대 5.88 ℃까지 증가했지만, 여전히 MM-GA가 가장 좋은 성능을 보였다. 환기팬의 작동은 이전까지 실내 기온을 낮추는 목적으로 사용되며 실내외 기온 차이가 5월 이전까지 0보다 작았지만 (실내 기온 > 실외 기온), 5월에 0보다 커지면서 (실내 기온 < 실외 기온) 환기팬의 작동이 오히려 실내 기온의 증가를 유도한 것으로 판단된다. 실제 축사의 경우, 환기팬의 바람에 의해 습도 감소와 기화에 의한 기온의 감소 또한 기대되지만, 본 연구에서 설계된 역학적 모델에서는 공기 교환에 따른 열교환만을 고려하고 있기 때문에 이러한 차이가 나타난 것으로 판단된다. MM-GA는 물리적 현상을 기반으로 설계된 모델이므로, 모델 내의 열전달 현상을 복잡하게 설계할수록 더 나은 결과를 보일 것으로 기대된다.
본 연구의 결과를 바탕으로 역학적 모델에 기반한 예측 모델이 무창 육계사의 실내 기온 예측에 적합하다고 판단되었다. 기계학습의 경우, 시간 지연 지수를 도입하고 학습용 데이터를 개선하여 보완이 필요할 것으로 사료된다. 또한 추후 혹서기와 혹한기의 데이터를 포함할 경우 전 계절에 활용 가능한 예측 모델의 개발도 충분히 가능할 것으로 판단된다.
Ⅳ. 결론
최근 ICT 융복합 스마트 농업에 대한 연구 개발이 활발히 이루어지고 있으며, 가축의 생육 단계에 따라 적정 환경을 조성하기 위한 지능형 환경 제어 기술 개발에 중점을 두고 있다. 본 연구에서는 육계사 내 적정 미기상 환경 제어 기술 개발을 위한 기초 단계로서 실내 기온 예측 모델을 개발하고 장기간의 예측 성능을 평가하였다. 특히 외부 기상과 환기 운영특성이 서로 다른 3회의 사육 기간에 걸쳐 적용될 수 있는 단일한 모델의 개발에 중점을 두었다.
실내 기온 예측 모델은 3가지 기계학습 모델과 에너지 수지에 기반한 역학적 모델로 개발되었으며 예측 시점에 따라 1분, 10분, 30분, 1시간의 예측 결과를 평가하였다. 1분 후 기온 예측의 경우, 모든 예측 모델에서 R2가 0.990이상, RMSE가 0.306℃ 이하로 높은 성능을 보였다. 1시간과 같이 장기간 예측의 경우, MM-GA가 R2가 0.934, RMSE가 0.841℃로 가장 좋은 예측 성능이 나타났다. 1분 후 예측과는 달리 오차가 중첩되는 장기간의 기온 예측에서 물리적인 열수지식과 시간지연 지수를 도입한 역학적 모델이 높은 성능을 나타내며 육계사 실내 기온 예측에 적합성을 보였다. 기계학습 모델들은 장기간의 예측을 위해 시간 지연의 개념을 포함하도록 보완하고 양질의 학습용 데이터를 확보할 필요성이 제기된다.
본 연구에서 개발된 역학적 모델은 혹서기와 혹한기를 포함한 전 계절에 활용될 수 있도록 보완될 예정이다. 특히 향후 연구에서는 영역 기반의 미기상을 예측하고 미기상에 따라 환기 제어 장치를 효과적으로 운영하기 위한 적정 환경 제어 알고리즘 개발에 활용될 수 있을 것으로 기대된다.
감사의 글
본 결과물은 농림축산식품부 및 과학기술정보통신부, 농촌진흥청의 재원으로 농림식품기술기획평가원과 재단법인 스마트팜연구개발사업단의 스마트팜다부처패키지혁신기술개발사업의 지원을 받아 연구되었음 (과제번호: 421024-04)
References
- Arulmozhi, E., J. K. Basak, T. Sihalath, J. Park, H. T. Kim, and B. E. Moon, 2021. Machine learning-based microclimate model for indoor air temperature and relative humidity prediction in a swine building. Animals 11(1): 222. doi:10.3390/ani11010222.
- Choi, Y.-J., B.-R. Park, J.-H. Cho, J.-W. Moon, 2020. Development of Supply Air Temperature Prediction Model for Optimal Control Algorithm of Containment Data Center. Korea Institute of Ecological Architecture and Environme 20(5): 159-164. (in Korean). doi:10.12813/kieae.2020.20.5.159.
- CIGR, 2002. Heat and Moisture Production at Animal and House Levels. CIGR 4th Report of Working Group on Climatization of Animal. International Commission of Agricultural Engineering (CIGR), Section II. Accessed at https://www.cigr.org/sites/default/files/documets/CIGR_4TH_WORK_GR.pdf
- Garcia, R., J. Aguilar, M. Toro, A. Pinto, and P. Rodriguez, 2020. A systematic literature review on the use of machine learning in precision livestock farming. Computers and Electronics in Agriculture 179: 105826. doi:10.1016/j.compag.2020.105826.
- Haupt, R.L., and S.E. Haupt, 2004. Practical genetic algorithms, second edition. Wiley-Interscience, New Jersey, USA: 215-219.
- Hong, S.-W., A. K. Moon, Song, L., and I. B. Lee, 2015. Data-based model approach to predict internal air temperature of greenhouse. Journal of the Korean Society of Agricultural Engineers 57(3): 9-19. (in Korean). doi: 10.5389/KSAE.2015.57.3.009.
- Hong, S.-W. and I. B. Lee, 2014. Predictive model of micro-environment in a naturally ventilated greenhousec for a model-based control approach. Protected Horticulture and Plant Factory 23(3): 181-191. (in Korean). doi:10.12791/KSBEC.2014.23.3.181.
- Izar-Tenorio, J., P. Jaramillo, W. M. Griffin, and M. Small, 2020. Impacts of projected climate change scenarios on heating and cooling demand for industrial broiler chicken farming in the Eastern US. Journal of Cleaner Production 255: 120306. doi:10.1016/j.jclepro.2020.120306.
- Kim R. W., S.-W. Hong, T. Norton, T. Amon, A. Youssef, D. Berckmans, and I.-B. Lee, 2020. Computational fluid dynamics for non-experts: development of a user-friendly CFD simulator (HNVR-SYS) for natural ventilation design applications. Biosystems Engineering 193: 232-246. doi:10.1016/j.biosystemseng.2020.03.005.
- Kim R.-W., J.-G. Kim, I.-B. Lee, U.-H. Yeo, and S.-Y. Lee, 2019. Development of a VR simulator for educating CFD-computed internal environment of piglet house. Biosystems Engineering 188: 243-264. doi:10.1016/j.biosystemseng.2019.10.024.
- Kim, S.-C., 2017. 4th industrial revolution and smart farm technology. Rural Resources, Magazine of the Korean Society of Agricultural Engineers 59(2): 10-18. (in Korean).
- Kucuktopcu, E., B. Cemek, H. Simsek, and J. Q. Ni, 2022. Computational fluid dynamics modeling of a broiler house microclimate in summer and winter. Animals 12(7): 867. doi:10.3390/ani12070867.
- Kwon, K.-S., 2017. R&D and current state of livestock smart farm using ICT converence technology. Rural Resources, Magazine of the Korean Society of Agricultural Engineers 59(2): 38-45. (in Korean).
- Lee, I.-B., J.P. Bitog, S.-W. Hong, I.-H. Seo, K.-S. Kwon, T. Bartzanas, and M. Kacira, 2013. The past, present and future of CFD for agro-environental applications. Computers and Electronics in Agriculture 93: 168-183. doi:j.compag.2012.09.006. https://doi.org/10.1016/j.compag.2012.09.006
- Lee, S.-Y., I.-B. Lee, U.-H. Yeo, J.-G. Kim, and R.-W. Kim, 2022. Machine learning approach to predict air temperature and relative humidity inside mechanically and naturally ventilated duck houses: application of recurrent neural network. Agriculture 12(3): 318. doi:10.3390/agriculture12030318.
- Li, J., V. Narayanan, E. Kebreab, S. Dikmen, and J. G. Fadel, 2021. A mechanistic thermal balance model of dairy cattle. Biosystems engineering 209: 256-270. doi:10.1016/j.biosystemseng.2021.06.009.
- NIAS, 2022. Broiler breeding management - Method of determining the breeding density of broilers. National Institute of Animal Science, Accessed at https://www.nongsaro.go.kr/portal/ps/psb/psbk/kidoContentsFileView.ps?ep=SRafvgcz7ZIqtMkSj13MnYDhcJ@8SniWJoCSUU7jI@E!
- Pedersen, S., 2015. The influence of diurnal variation in animal activity and digestion on animal heat production. Agricultural Engineering International: CIGR Journal. Special Issue: 18th World Congress of CIGR. Accessed at https://cigrjournal.org/index.php/Ejounral/article/view/3097.
- Sakomura, N. K., F. A. Longo, E. O. Oviedo-Rondon, C. Boa-Viagem, and A. Ferraudo, 2005. Modeling energy utilization and growth parameter description for broiler chickens. Poultry Science 84(9): 1363-1369. doi:10.1093/ps/84.9.1363.
- Sharma, I., Canizares, C., and Bhattacharaya, K. 2015. Residential micro-hub load model using network. 2015 North American Power Symposium(NAPS), 1-6. doi:10.1109/NAPS.2015.7335091.
- Tong, X., S.-W. Hong, L. Zhao, 2019. CFD modeling of airflow, thermal environment and ammonia concentration distribution in a commercial manure-belt layer house with mixed ventilation systems. Computers and Electronics in Agriculture 162: 281-299. doi:10.1016/j.compag.2019.03.031.
- Tullo, E., G. Aletti, A. Micheletti, G. Naldi, A. P. Fernandez, E. Vranken, D. Berckmans, and M. Guarino, 2018. The influence of microclimate on the development of foot pad dermatitis in broilers. 10th International Livestock Environment Symposium (ILES X), p. 1. American Society of Agricultural and Biological Engineers. doi:10.13031/iles.18-090.
- Xie, Q., J. Q. Ni, J. Bao, and Z. Su, 2019. A thermal environmental model for indoor air temperature prediction and energy consumption in pig building. Building and Environment 161: 106238. doi:10.1016/j.buildenv.2019.106238.
- Yeo, U.-H., I.-B. Lee, K.-S. Kwon, T. Ha, S.-H. Park, R.-W. Kim, and S.-Y. Lee, 2016. Analysis of research trend and core technologies based on ICT to materialize smart-farm. Protected Horticulture and Plant Factory 25(1): 30-41. (in Korean). doi:10.12791/KSBEC.2016.25.1.30.
- Yoo, J.-E. 2015. Random forests, an alternative data mining technique to decision tree. Journal of Educational Evaluation 28(2): 427-448. (in Korean).
- Youssef, A., H. H. Yen, S. E. Ozc an, and D. Berc kmans, 2011. Data-based mechanistic modelling of indoor temperature distributions based on energy input. Energy and Buildings 43(11): 2965-2972. doi:10.1016/j.enbuild.2011.06.042.