Annual Conference of KIPS (한국정보처리학회:학술대회논문집)

  • 2024.10a
  • /
  • Pages.738-740
  • /
  • 2024
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지

Strategies for Enhancing Code Generation LLM Performance through Automated Feedback

자동화된 피드백을 통한 코드 생성 LLM 성능 향상 전략

  • Miseon Yu (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University) ;
  • Yunheung Peak (Dept. of Electrical and Computer Engineering and Inter-University Semiconductor Research Center(ISRC), Seoul National University)
  • 유미선 (서울대학교 전기정보공학부, 서울대학교 반도체 공동연구소) ;
  • 백윤흥 (서울대학교 전기정보공학부, 서울대학교 반도체 공동연구소)
  • Published : 2024.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

최근 몇 년간 대규모 언어 모델(LLM)은 자연어 처리(NLP) 분야에서 인간의 언어를 이해하고 생성하는 능력으로 큰 주목을 받아왔다. 초기에는 텍스트 생성, 번역, 질의응답 시스템과 같은 작업에 주로 사용되었으나, 최근에는 코드 생성과 같은 복잡한 기술 작업에도 응용되고 있다. 그러나 LLM 이 생성한 코드는 문법적 오류, 논리적 결함, 실행 불가능한 문제 등 다양한 문제점을 포함할 수 있다. 이러한 문제를 해결하기 위해 LLM 이 스스로 코드를 검증하고 개선할 수 있는 자동화 피드백 시스템이 주목받고 있다. 본 논문에서는 코드 생성 LLM 의 성능을 향상시키기 위한 주요 자동화 피드백 메커니즘들을 분석한다. 이러한 자동화 피드백 시스템은 소프트웨어 개발 과정을 자동화하고 최적화하는 데 중요한 역할을 할 수 있으며, 향후 연구에서는 이 시스템의 정교화 및 코드 생성 분야에서의 확장 가능성에 대한 탐구가 필요할 것이다.

Keywords

Acknowledgement

이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(RS-2023-00277326). 이 논문은 2024 년도 BK21 FOUR 정보기술 미래인재 교육연구단에 의하여 지원되었음. 이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구임 (IITP-2023-RS-2023-00256081). 본 연구는 반도체 공동연구소 지원의 결과물임을 밝힙니다. 이 논문은 2024 년도 정부(산업통상자원부)의 재원으로 한국산업기술기획평가원의 지원을 받아 수행된 연구임.(No. RS-2024-00406121, 자동차보안취약점기반 위협분석시스템개발(R&D)). 이 논문은 2024년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행된 연구 결과임(No.RS-2024-00438729, 익명화된 기밀실행을 이용한 전주기적 데이터 프라이버시 보호 기술 개발)

References

  1. Thomas Dohmke. 2023. GitHub Copilot X: the AI-powered Developer Experience. https://github.blog/2023-03-22-github-copilot-x-the-ai-powered-developerexperience/.
  2. Liangming Pan, et al. Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies. arXiv. 2023.
  3. Xinyun Chen, et al. Teaching large language models to self-debug. ICLR. 2024.
  4. Kexun Zhang, et al. ALGO: Synthesizing Algorithmic Programs with LLM-Generated Oracle Verifiers. NeurIPS. 2023.
  5. Hung Le, et al. CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning. NeurIPS. 2022.