The Performance Analysis of Parallelization Techniques in Large-Scale NLP Models

대규모 NLP 모델에서 병렬화 기법의 성능 분석

최근 자연어 처리(Natural Language Processing , NLP) 모델의 규모가 급격히 증가함에 따라, 하드웨어가 처리해야 할 파라미터 수가 기하급수적으로 늘어나고 있다. 이로 인해 대규모 모델의 효율적인 학습을 위해 다양한 병렬화 및 분산 학습 기법이 도입되었다. 이러한 기법은 데이터셋의 크기와 모델의 구조에 따라 학습 성능에 상당한 차이를 보인다. 본 연구에서는 IMDB (Internet Movie Database) 감정 분류 작업을 대상으로, Bert 와 ALBERT 모델을 활용하여 두 가지 병렬화 방식이 학습 시간에 미치는 영향을 분석하였다. 이를 통해 모델의 크기에 따라 최적의 병렬화 기법을 선택하는 것이 성능 향상에 필수적임을 밝히고, 분산 학습 환경에서 자원의 효율적 활용 및 성능 최적화를 위한 지침을 제시하고자 한다.