Annual Conference of KIPS (한국정보처리학회:학술대회논문집)
- 2022.05a
- /
- Pages.381-383
- /
- 2022
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Transformer-based Language model Bert And GPT-2 Performance Comparison Study
Transformer기반의 언어모델 Bert와 GPT-2 성능 비교 연구
- Yoo, Yean-Jun (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics) ;
- Hong, Seok-Min (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics) ;
- Lee, Hyeop-Geon (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics) ;
- Kim, Young-Woone (Dept. of Data Analysis, Seoul kangseo Campus of Korea Polytechnics)
- 유연준 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) ;
- 홍석민 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) ;
- 이협건 (한국폴리텍대학 서울강서캠퍼스 데이터분석과) ;
- 김영운 (한국폴리텍대학 서울강서캠퍼스 데이터분석과)
- Published : 2022.05.17
Abstract
최근 자연어처리 분야에서는 Bert, GPT 등 Transformer기반의 언어모델 연구가 활발히 이뤄지고 있다. 이러한 언어모델은 대용량의 말뭉치 데이터와 많은 파라미터를 이용하여 사전학습을 진행하여 다양한 자연어처리 테스트에서 높은 성능을 보여주고 있다. 이에 본 논문에서는 Transformer기반의 언어모델인 Bert와 GPT-2의 성능평가를 진행한다. 성능평가는 '네이버 영화 리뷰' 데이터 셋을 통해 긍정 부정의 정확도와 학습시간을 측정한다. 측정결과 정확도에서는 GPT-2가 Bert보다 최소 4.16%에서 최대 5.32% 높은 정확도를 나타내었지만 학습시간에서는 Bert가 GPT-2보다 최소 104초에서 116초 빠르게 나타났다. 향후 성능 비교는 더 많은 데이터와 다양한 조건을 통해 구체적인 성능 비교가 필요하다.
Keywords