Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)
- 2023.05a
- /
- Pages.754-755
- /
- 2023
- /
- 2005-0011(pISSN)
- /
- 2671-7298(eISSN)
DOI QR Code
Evaluation Coding Performance of GPT-3.5 and GPT-4 in Terms of Completeness and Consistency
완전성과 일관성 측면에서의 GPT-3.5 와 GPT-4 의 코딩 성능 평가
- Jimin Jung (Division of Computer Engineering, Hankuk University of Foreign Studies) ;
- Chanho Lee (Division of Computer Engineering, Hankuk University of Foreign Studies)
- Published : 2023.05.18
Abstract
본 연구는 GPT-3.5 와 GPT-4 를 대상으로 완전성과 일관성 측면에서 코딩 협업 환경에 어떤 버전이 더 적합한지 평가하는 것을 목표로 한다. 두 버전을 대상으로 실험한 결과, GPT-4 가 GPT-3.5보다 완전성과 일관성 측면에서 더 높은 성능을 보였다. 특히 GPT-4 는 모든 항목들에서 100%의 완전성을 보였으나, 일관성은 여전히 개선이 필요함을 확인하였다. 프롬프트 수정만으로는 한계가 있으며, GPT-4 자체의 업그레이드가 필요하다는 의미이며, 향후 연구를 통해 타 생성형 AI 의 성능들도 평가할 예정이다.
Keywords