• 응용통계연구
• /
• 제37권5호
• /
• pp.631-641
• /
• 2024

다중 작업 학습 은 여러 관련 작업들 사이에서 정보를 공유하며 동시에 학습하는 기계 학습에서 널리 사용되는 방법론이다. 본 논문에서는, 동일한 주요 작업(main task) 하에 속한 하위 작업(sub task)들의 계층적 구조를 고려하며 다중 작업 학습을 수행하기 위한 HiSS (hierarchical multi-task learning with self-supervised auxiliary task)라는 새로운 계층적 다중 작업 학습 방법론을 제안한다. 해당 방법론은 하위 작업을 해결하기 위한 표현 벡터를 학습하기 위해 전역적 공유층, 지역적 공유층, 작업 별 특정층을 활용하는 계층적 구조를 가진다. 또한, 제안한 방법론은 계층적 다중 작업 학습을 주요 과제로 하고, 자기 지도 학습을 보조 과제로 사용하여 학습을 동시에 진행한다. 이는 레이블 없이 입력 데이터만을 활용하여 획득한 군집 레이블을 보조 분류 태스크의 가상 레이블로 사용함으로써, 레이블이 없는 데이터로부터도 추가적인 정보를 획득하고자 함이다. 제안된 접근 방식은 AI 동반 로봇이 수집한 노인 개인의 사용자 정보와 활동 로그로 구성된 효돌 데이터를 사용하여 검증되었으며, 시간대와 월을 기반으로 응급 호출을 예측한다. HiSS는 작업의 수에 관계없이 단일모델만을 필요로 하여 작업에 따라 개별 모델을 사용하는 기존의 기계 학습 알고리즘보다 더 효율적이고, 다양한 메트릭을 사용하여 분류 작업에서 우수한 성능을 확인하였다. 해당 알고리즘에 대한 소스 코드는 다음링크에서 확인할 수 있다: https://github.com/seunghan96/HiSS.

• 디지털융복합연구
• /
• 제17권12호
• /
• pp.243-248
• /
• 2019

다중작업학습(Multi-Task Learning, MTL) 기법은 하나의 신경망을 통해 다양한 작업을 동시에 수행하고 각 작업 간에 상호적으로 영향을 미치면서 학습하는 방식을 말한다. 본 연구에서는 전통문화 말뭉치를 직접 구축 및 학습데이터로 활용하여 다중작업학습 기법을 적용한 개체명 인식 모델에 대해 성능 비교 분석을 진행한다. 학습 과정에서 각각의 품사 태깅(Part-of-Speech tagging, POS-tagging) 과 개체명 인식(Named Entity Recognition, NER) 학습 파라미터에 대해 Bi-LSTM 계층을 통과시킨 후 각각의 Bi-LSTM을 계층을 통해 최종적으로 두 loss의 joint loss를 구한다. 결과적으로, Bi-LSTM 모델을 활용하여 단일 Bi-LSTM 모델보다 MTL 기법을 적용한 모델에서 1.1%~4.6%의 성능 향상이 있음을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.474-478
• /
• 2023

논증 마이닝이란 비정형의 텍스트 데이터에서 논증 구조와 그 요소들을 식별, 분석, 추출하는 자연어 처리의 한 분야다. 논증 마이닝의 하위 작업인 주장-증거 쌍 추출은 주어진 문서에서 자동으로 주장과 증거 쌍을 추출하는 작업이다. 본 논문에서는 효과적인 주장-증거 쌍 추출을 위해, 문서 단위의 문맥 정보를 이용하고 주장과 증거 간의 종속성을 반영하기 위한 계층적 LAN 방법을 제안한다. 실험을 통해 서로의 정보를 활용하는 종속적인 구조가 독립적인 구조보다 우수함을 입증하였으며, 최종 제안 모델은 Macro F1을 기준으로 13.5%의 성능 향상을 보였다.