거대언어모델에 대한 원자력 안전조치 용어 적용 가능성 평가

A Training Feasibility Evaluation of Nuclear Safeguards Terms for the Large Language Model (LLM)

  • 윤성호 (한국원자력통제기술원)
  • Sung-Ho Yoon (Korea Institute of Nuclear Nonproliferation and Control)
  • 발행 : 2024.01.17

초록

본 논문에서는 원자력 안전조치 용어를 미세조정(fine tuning) 알고리즘을 활용해 추가 학습한 공개 거대 언어모델(Large Language Model, LLM)이 안전조치 관련 질문에 대해 답변한 결과를 정성적으로 평가하였다. 평가 결과, 학습 데이터 범위 내 질문에 대해 학습 모델은 기반 모델 답변에 추가 학습 데이터를 활용한 낮은 수준의 추론을 수행한 답변을 출력하였다. 평가 결과를 통해 추가 학습 개선 방향을 도출하였으며 저비용 전문 분야 언어 모델 구축에 활용할 수 있을 것으로 보인다.

키워드

참고문헌

  1. EleutherAI, https://github.com/EleutherAI/polyglot.
  2. https://kin.naver.com/best/listaha.naver
  3. J. Lee, https://huggingface.co/beomi/KoAlpaca-Polyglot-5.8B.
  4. T. Dettmers, A. Pagnoni, A. Holtzman and L. Zettlemoyer, "QLoRa: Efficient Finetuning of Quantized LLMs," arXiv: 2305.14314, May 2023.
  5. IAEA, IAEA Safeguards Glossary, 2022.