• Title/Summary/Keyword: Cardinality residual connection

Search Result 1, Processing Time 0.016 seconds

The Cardinality Residual Connection Method Applied to Transformer Model combining with BERT Layer (BERT layer를 합성한 Transformer 모델에 적용한 Cardinality Residual connection 방법)

  • Choi, Gyu-Hyeon;Lee, Yo-Han;Kim, Young-Kil
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.27-31
    • /
    • 2020

  • 본 논문에서는 BERT가 합성된 새로운 Transformer 구조를 제안한 선행연구를 보완하기 위해 cardinality residual connection을 적용한 새로운 구조의 모델을 제안한다. Transformer의 인코더와 디코더의 셀프어텐션에 BERT를 각각 합성한 모델의 잔차연결을 수정하여 학습 속도와 번역 성능을 개선하고자 한다. 그리고 가중치를 다르게 부여하는 실험으로 어텐션을 선택하는 효과적인 방법을 제시하고 원문의 언어에 맞는 BERT를 사용하는 이유를 설명한다. IWSLT14 독일어-영어 말뭉치와 AI hub에서 제공하는 영어-한국어 말뭉치를 이용한 실험에서는 제안하는 방법의 모델이 기존 모델에 비해 더 나은 학습 속도와 번역 성능을 보였다.

  • PDF