Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2024.05a
  • /
  • Pages.733-736
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

A Study on the Evaluation Method of Korean Comprehension Abilities of Large Language Model

대규모 언어모델의 한국어 이해 능력 평가 방법에 관한 연구

  • Ki Jun Son (Dept. of AI Data, Opinionlive) ;
  • Seung Hyun Kim (Dept. of AI Data, National Information society Agency)
  • 손기준 (오피니언라이브) ;
  • 김승현 (한국지능정보사회진흥원)
  • Published : 2024.05.23
Download PDF
⟨ Previous Next ⟩

Abstract

최근 GTP4, LLama와 같은 초거대 언어모델을 활용한 서비스가 공개되어 많은 사람의 주목을 받고 있다. 해당 모델들은 사용자들의 다양한 질문에 대하여 유창한 결과를 생성하고 있지만 한국어 데이터에 대한 학습량이 부족하여 한국어 이해 및 한국 문화 등에 대한 잘못된 정보를 제공하는 문제를 야기할 수 있다. 이에 본 논문에서는 한국어 데이터를 학습한 주요 공개 모델 6개를 선정하고 5개 분야(한국어 이해 및 문화 영역으로 구성)에 대한 평가 데이터셋을 구성하여 한국어 이해 능력에 대한 평가를 진행하였다. 그 결과 한국어 구사 능력은 Bookworm 모델이, 한국어 이해 및 문화와 관련한 부문은 LDCC-SOLAR 모델이 우수한 것으로 확인할 수 있었다.

Keywords

References

  1. S. Lim and S. Lee "Research Trends in Artificial Intelligence Language Models", Information and Communication Magazine, Vol 40, No. 3, pp.42-50, 2023.
  2. M. Shanahan "Talking about large language models", Communication of the ACM, Vol 67, No. 2, pp68-79, 2024.
  3. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez et al., "Attention is All You Need", Advances in Neural Information Processing Systems, pp5998-6008, 2017.
  4. J. Devlin, M. Chang, K. Lee, and K. Toutanova, "BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding", North America Chaper of the Association for Computational Liguistics, pp4171-4186, 2018.
  5. A, Radfordm J, Narasimhan, T. Salimans, and I. Sutskever, Improving Language Understanding by Generarive Pre-training, OpenAI, 2018
  6. LDCC. (2024, February 28). LDCC/LDCC-SOLAR-10.7B. Hugging Face. https://huggingface.co/LDCC/LDCC-SOLAR-10.7B
  7. Yanolja. (2024, March 16). Yanolja/Bookworm-10.7B-v0.4-DPO. Hugging Face. https://huggingface.co/yanolja/Bookworm-10.7B-v0.4-DPO
  8. Dopeornope. (2024, January 15). DopeorNope/SOLARC-M-10.7B. Hugging Face. https://huggingface.co/DopeorNope/SOLARC-M-10.7B
  9. Meta. (2023, November 13). Meta-Llama/Llama-2-13b-Hf. Hugging Face. https://huggingface.co/meta-llama/Llama-2-13b-hf
  10. Heavytail. (2024, January 28). Heavytail/Kullm-Solar. Hugging Face. https://huggingface.co/heavytail/kullm-solar
  11. Beomi.(2023, May 3). Beomi/KoAlpaca-Polyglot-12.8B. Hugging Face. https://huggingface.co/beomi/KoAlpaca-Polyglot-12.8B