Effect Analysis of a Artificial Intelligence Attention Redirection Compensation Strategy System on the Data Labeling Work Attention Concentration of Individuals with Developmental Disabilities

인공지능 주의환기 보상전략 시스템이 발달장애인의 데이터 라벨링 작업 주의집중력에 미치는 효과 분석

Abstract

This paper investigates the effect of an artificial intelligence attention redirection compensation strategy system on the data labeling work attention concentration by individuals with developmental disabilities. Task accuracy and task performance for each session were used as measures of attention concentration. As a result of the study, after the intervention was applied, a significant improvement in attention concentration was observed in all study subjects compared to self-serving task. These results mean that artificial intelligence technology can have a positive effect on improving the attention span of people with developmental disabilities during data labeling tasks. This study shows that the application of artificial intelligence technology can improve the quality of learning data by improving the accuracy of data labeling tasks for people with developmental disabilities, and is expected to provide important implications for vocational training programs related to data labeling for people with developmental disabilities.

본 논문에서는 인공지능 주의환기 보상전략 시스템이 발달장애인의 데이터 라벨링 작업 주의집중력에 미치는 효과를 분석하였다. 주의집중력의 척도로는 세션별 작업 정확도와 작업수행량을 사용하였다. 연구 결과, 중재가 적용된 후 연구대상자 모두 자율작업 대비 주의집중력에서 유의미한 향상이 관찰되었다. 이러한 결과는 인공지능 기술이 발달장애인의 데이터 라벨링 작업 중 주의집중력 향상에 긍정적으로 작용할 수 있음을 의미한다. 본 연구는 인공지능 기술의 적용이 발달장애인의 데이터 라벨링 작업 정확도를 향상하여 학습데이터의 품질을 높일 수 있음을 보여주고 있으며, 발달장애인의 데이터라벨링 관련 직업훈련 프로그램에 중요한 시사점을 제공하리라 본다.

Ⅰ. 서론

장애인복지법에 따르면 발달장애는 지적 장애와 자폐성 장애를 통칭하는 용어이다. 발달장애는 그 특성상 주의집중력의 부족 또는 과잉의 문제와 자기 통제력의 결함^[1]의 문제를 보이는데, 이는 낮은 작업 효율성으로 이어져 발달장애인의 취업을 저해하는 요인으로 작용한다^[2]. 특히 4차 산업혁명 시대에는 직업이 더 세분화되고 업무 간 초연결성이 강조되는데^[15], 발달장애인의 업무를 지원하기 위한 인공지능 기술의 개발은 이들의 취업에 긍정적인 역할을 할 것이다.

본 연구에서는 인공지능 기술을 활용한 주의환기 보상 전략 시스템이 발달장애인의 주의집중력 향상에 어떤 영향을 미치는지 알아보고자 한다. 본 연구에서 사용된 딥러닝 기반의 주의 환기 보상 전략 시스템은 자기 관리전략에서 제시하는 자기점검, 자기평가, 보상의 영역과 켈러의 지각적 주의 환기 전략에서 제시하는 시청각적 매체의 활용, 스토리텔링 및 정서적 연결영역을 참조하여 저자들이 독자적으로 고안한 시스템^[8]으로서, 저자들의 선행연구에서 발달장애인의 작업생산성 효과 비교에서도 사용했던 방법이다. 그리고 교실이 아닌 실제 기업체에서 본 시스템을 적용하여 효과를 분석해 봄으로써, 인공 지능 기술이 데이터 라벨링 작업의 주의집중력을 높일 수 있는지 알아보고자 하였다. 4차 산업혁명 시대에 걸맞은 미래 인재양성을 위한 교육 방향으로서의 컴퓨팅 교육의 중요성^[9]은 발달장애인에게도 그대로 적용되어야 하며, 본 연구가 이러한 접근의 기초자료를 제공하리라 기대한다.

II. 본문

본 연구에서는 자율작업을 기준선으로 하여, 사람과 인공지능의 중재에 따른 주의집중력 효과의 크기를 비교, 분석하기 위해 작업정확도와 작업수행량을 척도로 사용하였다. 작업정확도는 작업을 점수화하여 측정하였는데, 이를 위해 본 연구에서 사용한 인공지능 자동 채점 방식은 컴퓨터 비전, 객체 탐지 등의 분야에서 두 영역의 겹침을 측정하는 데 주로 사용되는 기법인 Intersection over Union(IoU) 기법^[3]을 사용하였으며, 사전에 제공된 정답 데이터셋과 연구대상자의 실제 작업 데이터 사이의 중첩 정도를 정량화하여 점수로 나타내었다.

\(\begin{align}\text {Intersection over Union}(IoU)=\frac{|A \cap B|}{|A| \cup|B|}\end{align}\)       (1)

[IoU 수식표현]

중재에 따른 작업정확도의 효과 분석은 단일대상 연구에서 주로 사용되는 중재 효과분석 방법인 비중복비율(PND: Percentage of Non overlapping Data) 기법을 사용하였다. 비중복비율(PND) 기법은 단일대상 연구에서 기초선과 중재 단계 간의 비중복 데이터 비율을 측정하여 효과 크기를 나타내는 방식^[11]으로 단일대상 연구의 효과 크기를 계산하기 위해 가장 많이 사용되는 방법이다^[12].

\(\begin{align}P N D=\frac{\text { 중재단계에서 기초선의 최고값보다 높은 값의 개수 }}{\text { 중재 실시된 전체 회기수 }} \times 100\end{align}\)       (2)

[비중복비율(PND) 계산방법]

PND 값이 90%를 초과한다면 중재 프로그램이 참가자들에게 매우 효과적인 것을 의미하며, 70~90%의 PND 값은 다소간 효과적인 중재, 50~70% 사이에 있다면 효과가 낮은 중재, 50% 미만이면 중재 프로그램이 참여 대상자에게 효과가 없다는 것으로 해석한다^[13]. 그리고 단위 실험 회기당 완수한 작업량을 토대로 하나의 작업을 완수하는데 소요된 시간을 계산하여 작업수행량의 척도로 사용하였다.

실험 방법은 한 명의 연구대상자를 직무지도원과 연구 책임자가 동시에 관찰하는 방식으로 진행하였다. 자율적인 작업 방식은 연구대상자가 스스로 작업할 수 있도록 환경을 조성해 준 다음, 일체의 간섭없이 연구대상자 스스로 30분간 작업을 수행하도록 하고 직무지도원과 연구책임자는 관찰만 진행하였다. 사람이 중재하는 방식의 경우는 자율적인 작업 환경과 같은 상황에서 직무지도원이 연구대상자의 옆에 앉아서 작업을 도와주면서 관찰실험을 진행하였다. 인공지능 중재의 경우는 자율작업 방식과 마찬가지로 연구대상자 스스로 작업을 수행하도록 하였으며, 직무지도원과 연구책임자는 관찰만 진행하였다. 이때 작업자의 작업속도와 작업정확도에 따라 10분 마다 한 번씩 작업 독려 또는 응원 메시지를 연구대상자의 PC 화면에 보여주었다. 작업자는 메시지를 읽은 후 PC 화면 하단에 있는 [네, 알겠습니다.]라는 버튼을 클릭하고 작업을 계속 진행하도록 하였다. 작업 종료 후, 자기 목표를 달성하면 그에 따른 보상 포인트가 지급되도록 하였다^[8].

본 연구에서는 발달장애인이 수행한 자율작업(기초선)과 두 가지 중재 방식, 즉 직무지도원의 중재와 딥러닝 기반 주의환기 보상전략 시스템의 중재에 따른 작업정확도 효과 크기를 PND 값을 사용하여 각각 비교 분석하였다. 또한, 단위 실험 회기당 완수한 작업량과 작업정확도를 통해 주의집중력의 효과 크기를 분석하였다. 주의집중력을 판단하는 데에 있어서 단위 작업당 소요 시간은 중요한 판단 요소이다^[4]. 또한, 중재 효과에 따른 주의집중력 변화를 분석하기 위해, 2명의 연구대상자가 수행한 바운딩박스 작업과 폴리곤 작업의 정확도를 이용하여, 자율작업 대비 두 가지 중재 방식의 효과를 PND 값을 사용하여 분석하였다^[8]. 또한, 각 그룹의 작업량 평균과 작업정확도의 표준편차를 통해 각 중재에 대한 주의집중력의 변화를 살펴보았다.

III. 연구 결과

먼저, 자율작업을 기초선으로 한 연구대상자 A에 대하여, 바운딩박스 작업에 대한 PND 값은 직무지도원 중재가 0%, 인공지능 중재가 20%로 나와 중재에 따른 작업정확도 점수의 효과는 없는 것으로 나타났다. 연구대상자 A의 폴리곤 작업에 대한 PND 값은 직무지도원 중재가 40%, 인공지능 중재가 60%로 나와 인공지능 중재에 따른 작업정확도 점수의 효과만 미비하게 나타났다.

다음으로, 자율작업을 기초선으로 한 연구대상자 B에 대하여, 바운딩박스 작업에 대한 PND 값은 직무지도원 중재가 0%, 인공지능 중재가 20%로 나와 중재에 따른 작업정확도 점수의 효과는 없는 것으로 나타났다. 연구 대상자 B의 폴리곤 작업에 대한 PND 값은 직무지도원 중재가 0%, 인공지능 중재가 0%로 나와 두 중재에 따른 작업정확도 점수의 효과는 전혀 없는 것으로 나타났다.

실제 실험을 진행하는 동안 발달장애인은 작업 시 중재의 여부와 무관하게 작업정확도를 높이기 위해 노력하는 모습을 보였는데, 다만 주어진 과제를 완수하는 데 걸리는 시간은 중재의 영향을 받는 것으로 나타났다.

그림1에서 연구대상자 A의 경우, 작업정확도의 척도인 작업점수 평균은 자율작업이 83.99점, 직무지도원 중재가 78.89점, 인공지능 중재가 87.13점으로 인공지능 중재 시 점수가 가장 높게 나타났으나 통계적인 유의미성은 보이지 않았다. 또한, 자율작업의 경우는 작업 1개를 완수하는데 소요된 시간이 140초이고 작업점수의 표준편차 평균이 5.97점이며, 직무지도원의 중재는 작업 1개를 완수하는데 소요된 시간이 48초이고 작업점수의 표준편차 평균이 9.62점이며, 인공지능 중재는 작업 1개를 완수하는데 소요된 시간이 42초이고 작업점수의 표준편차 평균이 6.11점이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 1. 연구대상자 A의 자율작업, 직무지도원 중재, 인공지능 중재에 따른 평균점수 비교(바운딩박스작업)

Fig. 1. Comparison of mean scores according to research subject A's self-serving task, and job supervisor and artificial intelligence intervention (bounding box task)

먼저 작업점수의 표준편차는 자율작업에 비해 인공지능 중재 시 평균이 5.97점에서 6.11점으로 약간 증가했지만 차이가 극히 미미했고, 직무지도원의 중재 시에는 표준편차가 5.97점에서 9.62점으로 크게 증가했다. 이는 인공지능 중재가 직무지도원 중재보다 작업 성과의 일관성을 유지하면서도 효율성을 높이는 데 더 효과적임을 시사한다고 볼 수 있다.

다음으로 작업 소요 시간의 경우, 자율작업에 비해 두 중재 모두 작업을 완수하는 데 소요된 시간이 크게 감소했다. 자율작업 대비 사람의 중재는 작업 시간을 291% 단축했고 인공지능 중재는 작업 시간을 333% 단축하였다. 작업효율성 향상을 위한 주의집중력을 시간, 노동 또는 자원과 같은 투입 단위당 생산된 출력량으로 측정되는 생산성 판단 척도^[5]로 볼 때, 사람과 인공지능의 중재는 둘 다 매우 효과가 크며 특히, 인공지능의 중재 시 더 높은 효과를 얻는 것으로 나타났다.

그림2에서 연구대상자 B의 경우, 작업정확도의 척도인 작업점수 평균은 자율작업이 73.96점, 직무지도원 중재가 75.14점, 인공지능 중재가 76.01점으로 인공지능 중재 시 점수가 가장 높게 나타났지만 유의미한 수준에 미치지는 않았다. 또한, 자율작업의 경우 작업 1개를 완수하는데 소요된 시간이 94초이고 작업점수의 표준편차 평균이 10.71점이며, 직무지도원의 중재는 작업 1개를 완수하는데 소요된 시간이 43초이고 작업점수의 표준편차 평균이 8.97점이며, 인공지능 중재는 작업 1개를 완수하는데 소요된 시간이 36초이고 작업점수의 표준편차 평균이 9.7점이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 2. 연구대상자 B의 자율작업, 직무지도원 중재, 인공지능 중재에 따른 평균점수 비교(바운딩박스작업)

Fig. 2. Comparison of mean scores according to research subject B's self-serving task, and job supervisor and artificial intelligence intervention (bounding box task)

작업 소요 시간의 경우, 자율작업에 비해 직무지도원의 중재와 인공지능 중재를 통해 작업을 완수하는 데 소요된 시간이 크게 감소했다. 자율작업 대비 사람의 중재는 작업 시간을 219% 단축했고 인공지능 중재는 작업 시간을 261% 단축하였다. 연구대상자 B의 경우, 두 중재 모두 작업정확도를 유지하면서도 작업시간을 크게 단축하여 주의집중력에 효과가 있는 것으로 나타났다.

그림3에서 연구대상자 A의 경우, 작업정확도의 척도인 작업점수 평균은 자율작업이 62.78점, 직무지도원 중재가 68.84점, 인공지능 중재가 75.97점으로 인공지능 중재 시 점수가 가장 높게 나타났으며, 두 중재의 PND 값은 40%와 60%로 나타나 인공지능 중재의 경우 작업정확도 향상에서 유의미한 효과를 확인할 수 있었다. 또한 자율작업은 작업 1개를 완수하는데 소요된 시간이 300초이고 작업점수의 표준편차 평균이 10.83점이며, 직무지도원의 중재는 작업 1개를 완수하는데 소요된 시간이 110초이고 작업점수의 표준편차 평균이 7.73점이며, 인공지능 중재는 작업 1개를 완수하는데 소요된 시간이 78초이고 작업점수의 표준편차 평균이 6.25점이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 3. 연구대상자 A의 자율작업, 직무지도원 중재, 인공지능 중재에 따른 평균 점수 비교(폴리곤 작업)

Fig. 3. Comparison of mean scores according to research subject A's self-serving task, and job supervisor and artificial intelligence intervention (polygon task)

먼저 작업점수의 표준편차는 자율작업에 비해 두 중재 모두 상당한 점수 하락을 보여 중재가 작업의 일관성을 유지하는데 효과가 있음을 알 수 있었으며 특히, 인공지능 중재의 경우 효과가 더 높게 나타났다. 다음으로 작업 소요 시간의 경우, 자율작업에 비해 두 중재 모두 작업을 완수하는 데 소요된 시간이 크게 감소했다. 자율작업 대비 사람의 중재는 작업 시간을 273% 단축했고 인공지능 중재는 작업 시간을 385% 단축하였다. 연구대상자 A의 경우, 두 중재 모두 작업정확도를 유지하면서도 작업시간을 크게 단축하여 주의집중력에 효과가 있는 것으로 나타났다.

특히 인공지능 중재는 작업의 정확도와 효율성 모두에서 유의미한 향상을 가져왔으며, 작업 일관성 유지에도 효과적임을 알 수 있다. 따라서 인공지능 중재가 난이도가 높은 폴리곤 작업의 경우 주의집중력을 향상시키는데 매우 유용한 방법임을 시사한다고 하겠다.

그림4에서 연구대상자 B의 경우, 작업정확도의 척도인 작업점수 평균은 자율작업이 42.13점, 직무지도원 중재가 50.45점, 인공지능 중재가 72.84점으로 인공지능 중재 시 작업점수가 가장 높게 나타났다. 하나의 작업을 완수하는데 소요된 시간은 자율작업은 196초이고, 작업 점수의 표준편차 평균이 13점이며, 직무지도원의 중재는 작업 1개를 완수하는데 소요된 시간이 107초이고 작업 점수의 표준편차 평균이 15.77점이며, 인공지능 중재는 작업 1개를 완수하는데 소요된 시간이 59초이고 작업점수의 표준편차 평균이 7.02점이다. 이를 통해 다음과 같은 사실을 유추할 수 있다.

그림 4. 연구대상자 B의 자율작업, 직무지도원 중재, 인공지능 중재에 따른 평균 점수 비교(폴리곤작업)

Fig. 4. Comparison of mean scores according to research subject B's self-serving task, and job supervisor and artificial intelligence intervention (polygon task)

먼저 작업점수의 표준편차는 자율작업에 비해 인공지능 중재 시 상당한 점수 하락을 보여 인공지능 중재가 작업의 일관성을 유지하는데 효과가 있음을 알 수 있었다. 다음으로 작업 소요 시간의 경우, 자율작업에 비해 두 중재 모두 작업을 완수하는 데 소요된 시간이 크게 감소했다. 자율작업 대비 사람의 중재는 작업 시간을 183% 단축했고 인공지능 중재는 작업 시간을 332% 단축하였다.

연구대상자 B의 경우, 두 중재 모두 작업정확도의 점수가 올라갔다. 특히 인공지능 중재는 작업의 정확도와 효율성 모두에서 유의미한 향상을 가져왔으며, 작업 일관성 유지에도 효과적임을 알 수 있었다. 따라서 인공지능 중재가 난이도가 높은 폴리곤 작업의 경우 주의집중력을 향상시키는 데 매우 유용한 방법임을 시사한다고 하겠다.

IⅤ. 결론

본 논문에서는 인공지능 기술이 발달장애인의 데이터 라벨링 작업 중 주의집중력에 긍정적인 영향을 미칠 수 있는지 알아보기 위해, 발달장애인이 수행한 데이터 라벨링 작업 중 자율작업(기초선)과 두 가지 중재 방식, 즉 직무지도원 중재와 인공지능 중재에 따른 작업정확도의 개선효과를 PND 값을 사용하여 각각 비교 분석하였으며, 작업완수시간 비교, 작업점수의 표준편차를 이용하여 작업의 효율성과 안정성을 각각 비교 분석하였으며 연구 결과는 다음과 같다.

첫째, 기초선인 자율작업과 두 중재에 따른 작업정확도의 PND 값은 연구대상자 A의 경우 폴리곤 작업에서의 인공지능 중재만 미미하나마 효과가 있는 것으로 나타났고, 나머지는 작업정확도에 대한 중재 효과가 없는 것으로 나타났다. 연구대상자 B의 경우는 모든 실험에서 PND 값을 통한 효과는 없는 것으로 나타났다.

둘째, 연구대상자 A의 폴리곤 작업에 대한 작업정확도를 보면 자율작업 대비 사람과 인공지능의 중재가 개입 시 평균 점수가 향상되었으나 통계적으로 유의미성을 부여하기는 어려운 정도였다. 하지만 한 회기당 완료한 작업량을 살펴보면 자율작업 대비 사람과 인공지능의 중재가 있을 때, 작업량이 월등히 증가하였으며 특히 인공 지능 중재 시 가장 큰 증가 폭을 보였다. 주의집중력을 투입된 단위 시간당 생산된 출력량으로 평가하였을 때 연구대상자 A의 경우, 사람과 인공지능의 중재는 둘 다 매우 효과가 크며 특히, 인공지능의 중재 시 더 높은 효과를 얻는 것으로 나타났다.

셋째, 연구대상자 B의 폴리곤 작업에 대한 작업정확도를 보면 자율작업 대비 두 중재 모두 평균 점수가 향상되었으며 인공지능 중재의 경우, 작업점수가 173% 향상되는 것으로 나타났다. 또한, 한 회기당 완료한 작업량을 살펴보면 자율작업 대비 사람과 인공지능의 중재 시 작업량이 월등히 증가하였으며 특히 인공지능 중재 시 330%의 향상을 보였다. 연구대상자 B의 경우, 작업점수와 작업량에 있어서 사람과 인공지능의 중재는 둘 다 매우 효과가 크며 특히, 인공지능의 중재 시 더 높은 효과를 얻는 것으로 나타났다.

이는 인공지능 기술이 교육생의 특성, 행동 등을 분석하고 교육생 정보에 대한 개별화된 데이터를 도출하며 이를 바탕으로 교육생에 적합한 개별화된 학습을 제공하고^[7] 교육생 맞춤형 피드백 지원 등을 가능하게 한다^[10]는 선행연구의 결과를 지지한다고 하겠다. 반면 사람에 의해 제공되는 중재는 소모적이면서도 발달장애인에게 논리적인 적용의 한계가 있고, 모든 행동에 대한 관찰에 있어서 한계를 보이며, 끝으로 중재자의 존재가 바람직한 행동을 유도하는 식별 자극으로 기능할 수 있는 단점이 있다^[14]. 이러한 결과는 발달장애인의 직업 유지를 위한 국가 차원의 지원 시스템에 인공지능 기술이 효과적인 도구로써 활용될 수 있음을 시사한다고 할 수 있다. 특히 비교적 작업 난이도가 높은 폴리곤 작업에서 딥러닝 기반 시스템의 중재 효과가 크게 나타났는데, 이러한 결과는 자기관리 전략을 통해 비교적 난이도가 높은 POS기 사용 직무 능력의 향상을 입증한^[6] 선행연구의 결과와 같다고 할 수 있다.

본 논문은 인공지능 기술을 활용한 주의환기 보상전략 시스템이 발달장애인의 데이터 라벨링 작업에 미치는 영향에 대해 분석하였다. 연구 결과, 인공지능 중재는 특히 폴리곤 작업과 같이 난이도가 높은 작업에서 주의집중력과 작업 효율성을 크게 향상시키는 것으로 나타났다. 이는 인공지능 기술이 발달장애인의 작업 능력을 개선하고, 특히 복잡한 작업에서 중재가 더욱 효과적일 수 있음을 시사한다. 본 연구 결과는 발달장애인의 직업 훈련 및 유지를 위한 교육 프로그램에 인공지능 기술을 적극적으로 활용할 것을 강조한다. 나아가 4차 산업혁명 시대에 맞는 발달장애인의 직업 훈련에 인공지능 기술을 어떻게 접목해야 하는지에 대한 중요한 시사점을 제공하는 데 기여할 것으로 기대된다.