• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.715-718
• /
• 2023

본 연구는 ChatGPT 모델의 특성과 장점을 활용하여 프롬프트 엔지니어링 기법을 연구하고자 하였다. 프롬프트는 엔지니어가 원하는 결과를 잘 얻을 수 있도록 하는 것이 목표이기 때문에 ChatGPT와 프롬프트 엔지니어링의 상호작용과 효과적인 프롬프트 엔지니어링 기법을 개발할 필요가 있다. 연구 방법으로는 ChatGPT에 대한 학습자 사전 설문조사에서 학습자를 분석하였고, 이를 반영하여 프로그래밍 문제를 제시하고 해결하는 과정을 거치면서 다양한 ChatGPT 사용에 대한 분석과 학습자 분석이 이루어졌다. 그 결과 비전공자가 듣고 있는 프로그래밍 수업에서 ChatGPT를 활용하여 얻은 통찰력으로 프롬프트에 필요한 가이드 라인을 마련하였다. 본 연구를 기반으로 향후 비전공자를 위한 파이썬 프로그래밍 수업에서 ChatGPT를 활용한 수업모델을 제시하고 학습자의 피드백 또는 적응형 학습에 활용할 수 있는 방법을 모색할 것이다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.23-24
• /
• 2023

가상 면접은 현대 사회에서 필수적인 기술이지만, 상호작용의 부족으로 인해 한계가 존재한다. 현실적이고 현장감 있는 가상 면접을 구현하기 위해서는 면접관을 자동으로 생성하여 다양한 상황에서의 면접을 진행할 필요가 있다. 본 논문은 Stable Diffusion 기반의 프롬프트 엔지니어링을 통해 가상 면접관 생성에 대한 연구 결과를 제시한다. 프롬프트 엔지니어링은 Stable Diffusion 모델이 생성하는 결과의 품질을 향상시킬 수 있으며 다양한 조건에 따른 실험 결과를 제시한다.

• Journal of Intelligence and Information Systems
• /
• v.29 no.4
• /
• pp.287-308
• /
• 2023

After launching its service in November 2022, ChatGPT has rapidly increased the number of users and is having a significant impact on all aspects of society, bringing a major turning point in the history of artificial intelligence. In particular, the inference ability of large language models such as ChatGPT is improving at a rapid pace through prompt engineering techniques. This reasoning ability can be considered as an important factor for companies that want to adopt artificial intelligence into their workflows or for individuals looking to utilize it. In this paper, we begin with an understanding of in-context learning that enables inference in large language models, explain the concept of prompt engineering, inference with in-context learning, and benchmark data. Moreover, we investigate the prompt engineering techniques that have rapidly improved the inference performance of large language models, and the relationship between the techniques.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.419-422
• /
• 2023

자연어 추론은 전제 문장과 가설 문장의 관계를 함의, 중립, 모순으로 분류하는 자연어 처리 태스크이다. 최근 여러 자연어 처리 태스크에서 딥러닝 모델을 이용하는 방법이 우수한 성능을 보이고 있지만, 이는 미세 조정과정에 드는 비용이 많다는 점과 모델 출력의 근거, 과정을 사람이 이해하기 어려운 한계가 있다. 이러한 이유로 최근에는 소량의 입력, 출력 예시를 포함한 프롬프트를 이용한 방법론과 모델 출력에 대한 근거를 생성, 활용하는 방법에 관한 많은 연구가 진행되고 있다. 본 논문에서는 퓨샷 학습 환경의 한국어 자연어 추론 태스크를 위한 세 가지 프롬프트 방법과 이들을 조합하여 적용하는 방법을 제안한다. 이를 통해 '해석 가능성'과 자연어 추론 성능을 모두 향상시킬 수 있음을 보인다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.873-874
• /
• 2024

본 논문은 GPT-3.5 모델을 활용하여 우울증 환자의 일기에 대한 정서적 공감과 위로의 질을 향상 하는 프롬프트 엔지니어링 기법을 제안하고 실험적으로 검증한다. 제안 방법은 GPT-3.5모델에게 감정에 섬세하게 반응하고 적절한 위로의 답변을 생성하는 3가지 접근 방식을 사용한다. 위로 방법 구체적 제시, 페르소나 부여 및 감정 호소 명령서 제시를 통해 감정 일기 응답을 개선한다. 실험 결과, 조언 중심의 기존 답변 대신 감정을 중심으로 공감하는 응답이 생성됨을 확인할 수 있었다. 이는 우울증 환자에 대한 인문학적 접근과 제안 프롬프트 엔지니어링 기법을 통합하여, 인공지능 모델의 정서적 공감 능력을 향상할 수 있다는 것을 실험적으로 검증하였다.

• Journal of the Korea Society of Computer and Information
• /
• v.28 no.8
• /
• pp.195-204
• /
• 2023

In this study, prompt engineering that improves prompts was explored to improve the performance of teaching and learning materials recommendations using generative artificial intelligence such as GPT and Stable Diffusion. Picture materials were used as the types of teaching and learning materials. To explore the impact of the prompt composition, a Zero-Shot prompt, a prompt containing learning target grade information, a prompt containing learning goals, and a prompt containing both learning target grades and learning goals were designed to collect responses. The collected responses were embedded using Sentence Transformers, dimensionalized to t-SNE, and visualized, and then the relationship between prompts and responses was explored. In addition, each response was clustered using the k-means clustering algorithm, then the adjacent value of the widest cluster was selected as a representative value, imaged using Stable Diffusion, and evaluated by 30 elementary school teachers according to the criteria for evaluating teaching and learning materials. Thirty teachers judged that three of the four picture materials recommended were of educational value, and two of them could be used for actual classes. The prompt that recommended the most valuable picture material appeared as a prompt containing both the target grade and the learning goal.

• The Mathematical Education
• /
• v.63 no.2
• /
• pp.187-207
• /
• 2024

In this study, we explored the feasibility of automatically scoring descriptive assessment items using GPT-4 based ChatGPT by comparing and analyzing the scoring results between teachers and GPT-4 based ChatGPT. For this purpose, three descriptive items from the permutation and combination unit for first-year high school students were selected from the KICE (Korea Institute for Curriculum and Evaluation) website. Items 1 and 2 had only one problem-solving strategy, while Item 3 had more than two strategies. Two teachers, each with over eight years of educational experience, graded answers from 204 students and compared these with the results from GPT-4 based ChatGPT. Various techniques such as Few-Shot-CoT, SC, structured, and Iteratively prompts were utilized to construct prompts for scoring, which were then inputted into GPT-4 based ChatGPT for scoring. The scoring results for Items 1 and 2 showed a strong correlation between the teachers' and GPT-4's scoring. For Item 3, which involved multiple problem-solving strategies, the student answers were first classified according to their strategies using prompts inputted into GPT-4 based ChatGPT. Following this classification, scoring prompts tailored to each type were applied and inputted into GPT-4 based ChatGPT for scoring, and these results also showed a strong correlation with the teachers' scoring. Through this, the potential for GPT-4 models utilizing prompt engineering to assist in teachers' scoring was confirmed, and the limitations of this study and directions for future research were presented.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.209-213
• /
• 2023

최근 자연어 이해 분야에서 대규모 언어모델 기반으로 프롬프트를 활용하여 모델과 상호작용하는 방법이 널리 연구되고 있으며, 특히 상담 분야에서 언어모델을 활용한다면 내담자와의 자연스러운 대화를 주도할 수 있는 대화생성 모델로 확장이 가능하다. 내담자의 상황에 따라 개인화된 상담대화를 진행하는 모델을 학습시키려면 동일한 내담자에 대한 과거 및 차기 상담대화가 필요하지만, 기존의 데이터셋은 대체로 단일 대화세션으로 구축되어 있다. 본 논문에서는 언어모델을 활용하여 단일 대화세션으로 구축된 기존 상담대화 데이터셋을 확장하여 연속된 대화세션 구성의 학습데이터를 확보할 수 있는 프롬프트 기반 데이터 증강 기법을 제안한다. 제안 기법은 기존 대화내용을 반영한 요약질문 생성단계와 대화맥락을 유지한 차기 상담대화 생성 단계로 구성되며, 프롬프트 엔지니어링을 통해 상담 분야의 데이터셋을 확장하고 사용자 평가를 통해 제안 기법의 데이터 증강이 품질에 미치는 영향을 확인한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.646-647
• /
• 2024

사이버 범죄가 증가함에 따라 익명성을 보장하는 암시장인 다크웹 내 불법적인 활동에 대한 모니터링의 중요성이 커졌다. 최근 다양한 분야에서 ChatGPT 의 쓰임이 주목받고 있듯이 다크웹에서도 전용 GPT 가 등장하였으며, 다크웹 생태계를 분석하고 정보를 수집하는데 이러한 다크웹 전용 생성형 인공지능 모델을 활용할 수 있다. 본 연구에서는 다크웹 GPT 에서 불법 행위와 관련된 질의를 통해 정보를 수집하고 해당 정보가 표면웹과 다크웹 상에서 다르게 쓰이고 있음을 확인함으로써 수사를 위한 다크웹 전용 GPT 활용 가능성 및 프롬프트 엔지니어링의 필요성을 탐구한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.11
• /
• pp.481-492
• /
• 2023

This study explores how to build a Korean dataset to extract information from text using generative large language models. In modern society, mixed information circulates rapidly, and effectively categorizing and extracting it is crucial to the decision-making process. However, there is still a lack of Korean datasets for training. To overcome this, this study attempts to extract information using text-based zero-shot learning using a generative large language model to build a purposeful Korean dataset. In this study, the language model is instructed to output the desired result through prompt engineering in the form of "system"-"instruction"-"source input"-"output format", and the dataset is built by utilizing the in-context learning characteristics of the language model through input sentences. We validate our approach by comparing the generated dataset with the existing benchmark dataset, and achieve 25.47% higher performance compared to the KLUE-RoBERTa-large model for the relation information extraction task. The results of this study are expected to contribute to AI research by showing the feasibility of extracting knowledge elements from Korean text. Furthermore, this methodology can be utilized for various fields and purposes, and has potential for building various Korean datasets.