Annual Conference on Human and Language Technology (한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리))
- 2019.10a
- /
- Pages.540-542
- /
- 2019
- /
- 2005-3053(pISSN)
Korean Syntactic Parsing with XLNet
XLNet을 이용한 한국어 구문분석
- Kim, Min-Seok (Changwon National University) ;
- Shin, Chang-Uk (Changwon National University) ;
-
Oh, Jinyoung
(Changwon National University)
;
- Cha, Jeong-Won (Changwon National University)
- Published : 2019.10.10
Abstract
문맥기반 사전학습 단어 임베딩이 다양한 분야 적용되어 훌륭한 성능을 보여주고 있다. 본 논문에서는 사전학습한 XLNet 모델을 구문분석에 적용하였다. XLNet은 문장에서 생성 가능한 모든 후보에 대해 트랜스 포머를 기반으로 하는 사전학습을 진행한다. 따라서 문장 전체 정보를 필요로 하는 구문분석에 특히 유용하다. 본 논문에서는 한국어 특성을 반영하기 위하여 형태소 분석을 시행한 107.2GB 크기의 대용량 데이터를 사용해 학습을 진행하였다. 본 논문에서 제안한 모델을 세종 구문 코퍼스에 적용한 결과, UAS 91.93% LAS 89.30%의 성능을 보였다.