Acknowledgement
이 논문은 현대 자동차 AIR Lab의 "딥러닝 기반 기계 번역 기술 연구"과제의 지원을 받아 연구되었음
Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2019.10a
- /
- Pages.236-238
- /
- 2019
- /
- 2005-3053(pISSN)
English-Korean Neural Machine Translation using MASS
MASS를 이용한 영어-한국어 신경망 기계 번역
- Jung, Young-Jun (Kangwon National University) ;
- Park, Cheon-Eum (Kangwon National University) ;
-
Lee, Chang-Ki
(Kangwon National University)
;
- Kim, Jun-Seok (Hyundai Motor Company AIR Lab)
- Published : 2019.10.10
Abstract
신경망 기계 번역(Neural Machine Translation)은 주로 지도 학습(Supervised learning)을 이용한 End-to-end 방식의 연구가 이루어지고 있다. 그러나 지도 학습 방법은 데이터가 부족한 경우에는 낮은 성능을 보이기 때문에 BERT와 같은 대량의 단일 언어 데이터로 사전학습(Pre-training)을 한 후에 미세조정(Finetuning)을 하는 Transfer learning 방법이 자연어 처리 분야에서 주로 연구되고 있다. 최근에 발표된 MASS 모델은 언어 생성 작업을 위한 사전학습 방법을 통해 기계 번역과 문서 요약에서 높은 성능을 보였다. 본 논문에서는 영어-한국어 기계 번역 성능 향상을 위해 MASS 모델을 신경망 기계 번역에 적용하였다. 실험 결과 MASS 모델을 이용한 영어-한국어 기계 번역 모델의 성능이 기존 모델들보다 좋은 성능을 보였다.