A Study on the Automation of Fish Species Identification and Body Length Measurement System

어종 인식 및 체장 측정 자동화 시스템에 관한 연구

Abstract

Overfishing, climate change, and competitive fishing have led to a continuous decline in fishery production. To address these issues, the Total Allowable Catch (TAC) system has been established, which sets annual catch quotas for individual fish species and allows fishing only within those limits. As part of the TAC system, land-based investigators measure the length and height of fish species at auction markets to calculate the weight and TAC depletion. However, the accuracy of the acquired data varies depending on the skill level of the land-based investigators, and the labor-intensive nature of the work makes it unsustainable. To address these issues, this paper proposes a fish species recognition and length measurement system that automatically measures the length, height, and weight of eight TAC-managed fish species using the camera of a smart pad that can measure the distance to the water surface. This system can help to automate the current labor-intensive work, minimize data loss, and facilitate the establishment of the TAC system.

수산자원의 남획, 기후변화 및 어업종별 경쟁 조업 등으로 어업생산량은 지속적으로 감소하고 있다. 이러한 문제점을 개선하고자 개별어종에 대해 연간 어획량을 설정하여, 그 한도 내에서만 어획을 허용하는 수산자원 관리제도인 TAC(총허용어획량 제도)를 제정하였다. TAC 제도의 일환으로 육상 조사원이 위판장 어종의 체장, 체고를 측정하여 무게를 산출하여 TAC 소진량을 산출한다. 하지만 육상 조사원의 숙련도에 따라 취득 데이터의 정확도가 상이하고 노동 집약적 업무로 인해 지속가능 하지 못하다. 이러한 문제점을 개선하고자 본 논문에서는 물제와의 거리를 측정할 수 있는 스마트 패드의 카메라를 이용하여 TAC 관리 여덟 어종의 체장, 체고를 측정하고 무게를 산출하고 자동화하는 어종 인식 및 체장 측정 시스템을 제안하고자 한다. 이를 통해 현행 노동 집약적 업무의 스마트화와 데이터 누락을 최소화하여 TAC 제도 확립을 기대할 수 있다.

1. 서론

최근 수산자원은 지속적으로 어획량이 줄어들고 있으며 남획 및 기후변화 등 때문에 빠른 속도로 고갈되고 있다[1]. 따라서 지속적인 수산자원을 위해 체계적인 관리가 필요하다. 이를 위해 미국, 유럽을 비롯한 어업 선진국들은 관리체계를 도입하고 있다. 그 중 대표적인 관리체계는 TAC 제도이다. Total Allowable Catch(TAC)는 총허용어획량 제도로써 개별어종에 대해 연간 가능 어획량을 설정하고, 그 한도 내에서만 어획을 허용하는 제도이다. TAC 제도의 도입은 전통적 어업관리 보다 효율적이며 전통적 어업관리에 대한 새로운 제도적 기능보완이 될 수 있다[2]. 대한민국도 1999년부터 TAC 제도를 도입하여 관리하고 있다[3]. 현재 TAC 제도에 의해 관리되는 어종은 표 1과 같이 15종이며 대표적으로 갈치와 오징어의 허용어획량은 각각 연간 48,296톤과 79,000톤이다[4]. 허용어획량은 어종의 무게로 측정된다는 점에서 위판장에서 육상 조사원의 체장과 무게 측정은 필수적이다. 하지만 표 2와 같이 현재 전국 수산자원조사원의 숫자는 상업어종의 위판량에 따라 불규칙적으로 배치되고 있다[5]. 또한, TAC 조사원의 측정기준에 따른 계측 오차 발생과 데이터를 수기로 작성할 때 데이터 누락에 대한 숙련도 문제점이 있다. 그러므로 효과적인 제도 확립이 어려운 상황이다.

(표 1) TAC 어종 연간 허용어획량

(Table 1) TAC fish species per year allowed catch

(표 2) 지역별 수산자원조사원 배치현황

(Table 2) Status of Fisheries Resource Research Institute by Region

본 논문에서는 TAC 조사원의 숙련도 문제를 해결하기 위해 TAC 조사원이 사용할 수 있는 스마트폰을 이용해 TAC 어종을 인식과 체장 측정을 자동화 하는 시스템을 제안한다. 최근 스마트폰에 탑재되어있는 LiDAR 센서 및 카메라를 이용한 본 논문의 시스템은 어플리케이션 기반 시스템이며 TAC 소진율을 정확하게 파악하고 수산자원을 체계적으로 관리할 수 있는 효과를 기대할 수 있다.

본 논문의 구성은 다음과 같다. 2장에서 딥러닝 기반 객체 탐지와 기존에 관련된 연구 설명을 하였으며, 3장에선 어종 인식 및 체장 측정 자동화 시스템 구조를 제시하였고 어플리케이션과 , 실제 거리 픽셀 변환 알고리즘, 어종 인식 및 체장 알고리즘, 결과 데이터 데이터베이스에 저장하는 부분들을 설명하였으며, 4장에서는 성능 평가지표에 대해 설명하였고, 제안하는 방법의 실험 데이터 학습 구성과 실험 준비, 결과, 성능을 설명하였다. 마지막으로 5장에서는 결론을 맺는다.

2. 관련 연구 동향

2.1 딥러닝 기반 객체 탐지 모델 연구 동향

딥러닝 기반 객체 탐지 모델은 크게 One-Stage Detector, Two-Stage-Detector로 나눌 수 있다. 먼저 One-Stage Detector는 단일 단계 방식으로써 이미지를 각 영역에 대해 객체의 존재여부와 클래스, 위치, 크기를 한 번에 예측하는 방식이며 이러한 방식의 알고리즘에는 YOLO[6], RetinaNet, SSD가 포함된다. 이 알고리즘은 처리 속도가 빠르며 실시간 탐지에 적합하다. 다음으로는Two-Stage-Detector는 이단계 방식을 말하며 위에서 말한 단일 단계 방식과는 다르게 단계별로 나누어 예측하는 방식이다. 이 알고리즘에는 R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN이 있다. 단일 단계 방식보다 정확도가 높지만 예측 속도가 느려 실시간 탐지에는 적합하지 않다.

본 논문에서는 적은 연산과 적은 메모리를 사용하는 One-Stage Detector 방식의 정확도가 높은 YOLO 모델을 선정하였다[7]. 선정한 이유는 YOLO 모델이 다른 Two-Stage-Detector 모델들과 비슷한 성능 결과를 보였고 추론 시간에서 매우 빠른 속도를 보였고[8-9], YOLOv8의 ACCURACY mAP가 가장 높고 정확하며 다른 버전에 비해 성능이 향상되었기에 본 논문에서 YOLOv8 모델을 사용했다[10].

2.2 기존 어종 인식 관련 연구 동향

사람들은 어종의 종류를 판별하기 쉽지 않아 어떤 종류의 물고기인지 전문가도 알기 어려운 어종이 많다. 따라서 연구[11]에서는 안드로이드 환경의 스마트폰을 이용하여 민물고기를 촬영하고 무슨 어종인지 알려주는 서비스를 구현했고 연구[12]에서는 YOLO를 이용해 학습할 때 적은 학습 데이터를 이미지 증강으로 학습성능의 향상을 확인했다. 연구[13-16]는 영상 이미지의 특징을 추출하기에 매우 유용한 딥러닝인 CNN(Convolution Neural Network )을 기반으로 한 YOLO 모델을 이용해 단일 객체가 아닌 다양한 종류의 어류를 인식하고 분류했다.

연구[17]에서 모델은 EfficientNet-D2를 이용하였고 어류의 체장과 체고 라인 Keypoint를 인식한 후 어종을 분류했다. 연구[18]은 증강 현실 애플리케이션 개발에 사용되는 ARCore를 이용하여 평면을 인식하고 객체의 전체치수를 측정하는 방법을 보여주었다.

3. 어종 인식 및 체장 측정 자동화 시스템

그림 1은 어종 인식 및 체장 측정 자동화 시스템 구성이다. 위에 시스템은 크게 클라이언트 부분과 서버 부분으로 나뉜다. 클라이언트 부분에서는 스마트폰용 어플리케이션과 서버 부분에서는 어플리케이션에서 보내는 이미지들을 관리하고 저장하는 Node.js 서버를 API 서버로 사용했으며 받은 이미지를 분석하는 서버를 Flask 서버로 사용하였다. Flask 서버에서는 인공지능 객체 알고리즘인 Yolov8x를 사용해 어종을 인식과 분류, 체장, 체고를 측정하며 측정된 체장과 체고를 이용하여 어종의 무게를 구한다. 위에서 추출한 어종에 대한 상세정보(체장, 체고, 무게, 인식된 어종의 수)와 위판장의 데이터를 웹페이지를 가시화한 자동화 시스템이다.

(그림 1) 제안된 어종 인식 및 체장 측정 자동화 시스템

(Figure 1) The proposed system for automating fish species recognition and body measurement

3.1 어류 촬영용 어플리케이션

그림 2는 스마트폰용 어플리케이션의 알고리즘 순서도이다. TAC 수산자원조사원들이 앱을 시작하게 되면 어떤 지역, 위판장에서 일하는지 선택할 수 있는 화면이 그림 3이다. 그림 4는 선택 후 증강 현실(ARCore)을 이용한 촬영 화면이며 촬영 방법은 수산자원조사원들이 편하게 촬영할 수 있게 원터치로 사진 촬영되게 했으며 조사원들이 불규칙하게 배치되는 현재 상황을 고려하면 신속한 촬영이 필요하기에 이 방법을 선택하게 되었다. 또 ARCore[19]을 이용하면 정확한 거리 측정을 할 수 있기에 선택하게 되었다. 촬영한 후 이미지 리스트가 그림 5이다. 그림 5에서 조사원들이 무슨 어종인지와 체장, 체고, 무게를 알기 위해서 서버에 전송하고 삭제하는 기능을 사용할 수 있게 했다. 서버에서 전송할 때의 데이터 형식은 표 3과 같다. market은 위판장 번호를 의미하고 date는 현재 연도와 날짜이며 time은 현재 시간을 말하며 camera_dist는 어종과의 거리를 나타낸다. pixel은 단말기의 1개 픽셀값을 말하며 x와 y는 터치한 부분의 좌푯값을 나타낸다. type은 확장명으로 한다.

(표 3) 서버 전송 데이터 형식

(Table 3) Server Transfer Data Format

(그림 2) 어플리케이션 동작 순서도

(Figure 2) Application operation flow chart

(그림 3) 어플리케이션 앱 시작 화면

(Figure 3) Application App Start Screen

(그림 4) 어플리케이션을 이용한 어종 촬영 화면

(Figure 4) Fish species photographing screen using application

(그림 5) 어플리케이션을 이용한 저장 리스트

(FIgure 5) Save list using application

3.2 실제 거리 픽셀 변환 알고리즘

그림 6을 보면 초록색 2점은 단말기 화면상의 임의의 좌표이고 빨간색 2점은 단말기 화면상의 임의의 좌표로부터 매칭된 현실 평면 좌표이다. 식(1)은 P1 (x1, y1) , P2 (x2, y2) 두 좌표 사이의 거리를 구하는 식이며 식(1)을 이용하여 화면상의 임의의 좌표 p1, p2 사이 거리와 현실 평면 위에 좌표 p3, p4 사이 거리를 구할 수 있다. 다음으로 식(2)는 1개 픽셀의 실제 거리에 대한 비율을 구하는 식이며 식(2)의 S_d와 A_d는 식(1)을 통해 구할 수 있다. S_d는 화면상의 좌표 사이 거리를 의미하고 A_d는 현실 평면 위에 좌표 사이 거리를 의미한다.

(그림 6) 픽셀 1개 값 알고리즘

(Figure 6) 1 pixel value algorithm

\(\begin{align}D_{P t o P}=\sqrt{(x 1-x 2)-L S U P 2(y 1-y 2) L S U P 2}\end{align}\)       (1)

\(\begin{align}D_{\text {Pixcel }}=\frac{S_{d}}{A_{d}}\end{align}\)       (2)

3.3 어종 인식 및 체장 측정 알고리즘

Node.Js에서 어종과의 거리와 1개의 픽셀값, 터치한 부분의 x, y 좌푯값을 Flask 서버로 보내주게 된다. 터치한 부분의 좌푯값을 보내는 이유는 자신이 원하는 어종을 인식하게끔 도와주기 위해서 좌푯값을 보내게 된다. 이제 Flask 서버 안에서 YOLOv8x 모델을 이용해 어종을 인식하고 분류하게 되는데 그림 7과 8이 각각 위, 아래를 인식한 그림이다. 자신이 원하는 어종을 인식하는 과정을 거치고 나면 픽셀값을 이용해 체장과 체고를 구하게 된다. 식(3)은 체장 측정 알고리즘이며 인식된 객체의 경계박스 좌푯값을 추출한 값이 x₁, x₂, y₁, y₂이다. 각 좌푯값 사이의 거리를 구한 후 1개 픽셀값인 P_L을 곱한 값이 length(B_L) 값이다. 식(4)도 각 좌푯값 사이의 거리를 구한 후 P_L을 곱한 값이 height(B_H) 값이다. 이렇게 체장(B_L)과 체고(B_H)를 구할 수 있다.

(그림 7) 위 어종 인식

(Figure 7) Recognition of fish top

(그림 8) 아래 어종 인식

(Figure 8) Recognition of fish below

B_L = |(x₁ - x₂)| × P_L       (3)

B_H = |(y₁ - y₂)| × P_L       (4)

3.4 결과 데이터 DB 저장

본 논문에서 어종 인식 및 체장 측정 자동화 시스템은 스마트폰용 어플리케이션을 통해 촬영된 어류 사진을 Node.js에 저장과 동시에 데이터베이스에도 저장하게 된다. 저장된 데이터의 순서는 표4와 같다. 이미지는 데이터가 크기 때문에 효율적이지 못하며 데이터가 쌓일수록 속도가 느려 파일명으로 저장한다.

(표 4) 데이터베이스 데이터 구조

(Table 4) Database data sequence

4. 성능 및 실험

4.1 성능 평가 지표

본 논문에서는 정확도 및 속도의 Trade-off 관계에서 좋은 지표를 띄는 YOLOv8을 적용하게 되었다. 객체 인식 성능 평가를 위해 정밀도(Precision), 재현율(Recall), mean Average precision(mAP) 등을 적용했다.

정밀도(Precision)는 한 사진을 인식한 결과 중 올바르게 검출한 비율을 말하고 식(5)을 통해 계산되며 식(5)에서 TP는 True Positives로 옳은 검출을 의미하고 FP는 False Positives로 잘못된 검출을 의미한다. FN은 False Negatives로 모델이 실제 데이터에 대한 예측이 틀렸음을 의미한다.

재현율(Recall)은 실제 예측값 중에 제대로 검출된 비율을 말하며 식(6)으로 계산된다. 즉, 정밀도는 인식한 객체가 정확한 객체인지 판단할 수 있고 재현율은 객체를 찾을 수 있는 성능을 평가하기 위한 지표로 사용 가능하다. 대부분 정확도가 높으면 재현율은 낮아지고 정확도가 낮으면 재현율을 높아지는 경향이 있다. 그러므로 Precision과 Recall은 Trade-Off 관계를 갖는다.

컴퓨터 비전 분야에서 객체 인식 알고리즘의 성능은 대부분 AP(Average precision)으로 평가한다. PR 곡선은 confidence 레벨에 대한 threshold 값의 변화에 의한 객체 검출기의 성능을 평가하는 대표적인 방법들 중의 하나이다. confidence 레벨은 검출한 것에 대해 이 알고리즘이 정확한지를 알려주는 값이다. 따라서 PR 곡선은 객체 검출기의 성능을 평가하는데 좋은 방법이라 할 수 있다.

AP는 PR 곡선과는 다르게 하나의 숫자로 성능을 평가할 수 있으며 AP값이 높을수록 성능이 우수하다. AP가 0이면 시스템이 무작위 확률보다 더 나은 성능을 발휘하지 않는다는 의미를 가지며 AP가 1이면 완벽하다는 의미이다. 이 모든 범주에 대한 AP 값의 평균을 나타내는 것이 바로 mAP(mean Average Precision)이다. mAP가 높을수록 시스템이 일반적으로 다양한 클래스에서 개체를 찾고 분류하는 데 우수하다는 것을 나타낸다.

\(\begin{align}\text {Precision}=\frac{T P}{T P+F P}\end{align}\) (5)

\(\begin{align}\text {Recall}=\frac{T P}{T P+F N}\end{align}\)       (6)

4.2 학습 데이터 구성 및 실험 준비

본 논문은 어종 인식 및 체장 측정 자동화 시스템에 필요한 어종에 대한 커스텀 데이터셋이 필요하며 어종의 종류로는 TAC 어종에 포함되어있는 꽃게, 붉은 대게, 전갱이, 고등어, 오징어, 삼치, 갈치, 조기 8종에 대해서 데이터셋을 구축한다. 데이터셋을 분류를 하는데 보통 3가지로 분류하는데 본 연구에서는 학습용(Train), 검증용(Valid), 테스트용(Test)으로 7:2:1의 비율로 나누었다.

학습용 데이터는 딥러닝 학습 과정 중 학습을 하는데 필요한 데이터이고 검증용 데이터는 학습 과정 중에 성능 검증을 할 때 사용되는 데이터이다. 마지막으로 테스트용 데이터는 다 학습이 마무리된 데이터를 검증하는 데이터로 분류된다. 분류한 데이터셋은 증강을 통해 학습 데이터의 수를 증가시켜 성능을 더 높일 수 있다. 본 논문에서도 데이터셋을 다양하게 증강을 시켜 성능을 높였다. 표 5는 학습한 어종 별로 이미지의 수를 보여준다.

(표 5) 각 어종 학습데이터양

(Table 5) Amount of training data for each fish species

본 논문에서 사용된 컴퓨터 환경의 GPU는 NVIDIA Geforce RTX 3090 그래픽 카드를 사용하는 환경이다. 학습 구성 데이터는 Train 데이터는 19950개, Valid 데이터는 5700개, Test 데이터는 2850개로 구성되었으며 모든 이미지는 640x640으로 설정했다. Epoch는 600회를 진행하였다.

4.3 실험 결과

그림 9는 YOLOv8을 통해 커스텀 학습을 진행한 후 평가 지표이며 a, f는 객체의 위치를 예측하는 손실이며 즉, a, f가 낮을수록 box 예측의 정확도가 높다는 것을 의미한다. b, g는 객체의 클래스를 예측하는 손실이며 b, g가 낮을수록 클래스의 예측의 정확도가 높다는 것을 의미하고 c, h는 default box의 크기와 위치를 예측하는 손실이며 c, h가 낮을수록 default box 예측의 정확도가 높다는 것을 의미한다. d는 정밀도이며 모델의 예측 정확성을 측정을 의미한다. e는 재현율을 말하며 실제로 검색된 관련 인스턴스의 총량 중 일부를 측정하는 것을 말한다. d와 e는 성능 평가를 위해 중요하며 1에 가까울수록 성능이 좋다. i는 50%의 IoU 임계값에서의 평균정밀도이며 1에 가까울수록 성능이 좋으며 j도 50%~95%의 IoU 임계값 범위에서의 평균정밀도이다. j도 1에 가까우면 가까울수록 성능이 준수하다.

(그림 9) 학습 결과

(Figure 9) Learning result

현재 TAC 어종 8종 중에 고등어, 꽃게, 오징어, 참조기, 갈치들을 YOLOv8x를 통해 어종의 종류와 체장, 체고를 구한 모습이 그림 10, 11, 12, 13, 14와 같다.

(그림 10) 고등어 인식 및 체정·체고 측정 결과

(Figure 10) Mackerel recognition and measurement results of length and height

(그림 11) 꽃게 인식 및 체정·체고 측정 결과

(Figure 11) Crab recognition and measurement results of length and height

(그림 12) 오징어 인식 및 체정·체고 측정 결과

(Figure 12) Squid recognition and measurement results of length and height

(그림 13) 참조기 인식 및 체정·체고 측정 결과

(Figure 13) Yellow corvina recognition and measurement results of length and height

(그림 14) 갈치 인식 및 체정·체고 측정 결과

(Figure 14) cutlassfish recognition and measurement results of length and height

본 논문에서는 어종 인식 정확도와 체장 측정 정확도를 실험을 진행하였다. 어종인식률은 대상 어종을 앱으로 촬영했을 때 YOLO가 대상 어종을 인식하는 정확도를 의미하며 표 6이 어종인식률에 대한 표이며 대상 어종은 위에서 언급한 8종과 같다. 실험 데이터는 각 어종 별로 100개 진행하였으며 어종 인식 정확도는 식(7)을 통해 계산된다. A는 어종 당 실험 데이터를 말하며 B는 YOLO를 통해 인식된 어종 수를 뜻한다. 전갱이가 90%의 정확도를 보이며 오징어가 70%의 정확도를 보인다. 전갱이의 mAP는 0.852로 가장 높았고 가장 낮은 어종은 오징어이며 mAP는 0.715으로 나왔다.

(표 6) 어종 인식 정확도 결과

(Table 6) Fish species recognition accuracy results

마지막으로 체장 측정 정확도는 YOLO가 어종별 체장을 측정했을 때의 추정치와 실측치를 비교하여 계산한다. 체장 측정 정확도는 식(8)을 이용하여 계산된다. X는 실제 측정치며 Y는 YOLO가 측정한 측정치이다. 표 7은 체장 측정 정확도를 보여주는 표이며 실험 준비 구성은 위에 어종인식률 실험의 구성과 같다. 전갱이와 붉은 대게가 97%로 일치하는 모습을 보여주었고 오징어가 92%로 가장 낮지만 대부분의 어종이 체장 측정 정확도의 성능이 우수하게 측정되었다.

(표 7) 어종 체장 측정 정확도 결과

(Table 7) Accuracy results of measuring the body size of fish species

\(\begin{align}\text {어종측정정확도}(\%)=\frac{B}{A} \times 100\end{align}\)       (7)

\(\begin{align}\text {체장측정정정확도}(\%)=100- \frac{(|X-Y|)}{X} \times 100\end{align}\)       (8)

5. 결론

본 논문은 우리나라의 어업자원의 남획과 환경변화, 어업종별 경쟁 조업등으로 어업생산량이 지속적으로 감소하고 있는 문제점이 생기고 있다. 이런 문제점들로 인해 개별어종에 대해 연간 잡을 수 있는 양을 정하여, 그 한도 내에서만 어획을 허용하는 대표적인 수산자원 관리제도인 TAC 제도가 생겨났다.

TAC 제도를 정확하게 측정하려면 수산자원조사원이 정확하고 신속하게 어종을 판별 또는 어종의 체장, 체고, 무게를 측정할 수 있는 기술이 요구된다. 따라서 본 연구는 ToF 기능이 있는 스마트폰 앱을 이용하여 어종을 촬영, 어종을 분류하고 인식하게 된다. 인식할 때 객체 인식 알고리즘인 YOLOv8 모델을 사용하였고 TAC 어종 8종을 중심으로 커스텀 데이터셋을 구축하고 학습을 진행하였다. 현재 Train 데이터는 11689개, Valid 데이터는 1200개. Test 데이터는 702개로 구성되어 있으며 모든 이미지는 640X640 크기의 학습 데이터셋으로 구성되었다. epochs 600회 했으며 weight는 best 모델을 적용시켰다. 픽셀값을 통해 체장과 체고를 추출하고 추출한 값을 이용해 무게를 추출했다. 위 데이터를 웹페이지에 가시화할 수 있게 하는 어종 인식 및 체장 측정 자동화 시스템 연구를 진행하였다.