• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.432-436
• /
• 2023

초거대언어모델(LLM)의 도래에 따라 다양한 과업들이 도메인 관계 없이 제로샷으로 추론이 가능해짐에 따라서 LLM이 다양한 산업분야에 적용되고 있다. 대표적으로 ChatGPT와 GPT-4는 상용 API로 서비스를 제공하여 용이한 서비스 접근으로 다양한 이용층을 끌어들이고 있다. 그러나 현재 상용 API로 제공되고 있는 ChatGPT 및 GPT-4는 사용자의 대화 내역 데이터를 수집해 기업의 보안 문제를 야기할 수 있고 또한 생성된 결과물의 환각 문제로 인한 기업 문서의 신뢰성 저하를 초래할 수 있다. 특히 LLM 생성 글은 인간의 글과 유사한 수준으로 유창성을 확보한만큼 산업현장에서 LLM 작성 글이 판별되지 못할 경우 기업 활동에 큰 제약을 줄 수 있다. 그러나 현재 한국어 LLM 작성 글 탐지 서비스가 전무한 실정이다. 본 논문에서는 한국어 초거대언어모델 작성 글 판별기: KoCheckGPT 를 제안한다.KoCheckGPT는 산업현장에서 자주 사용되는 문어체, 개조식 글쓰기로 작성된 문서 도메인을 목표로 하여 글 전체와 문장 단위의 판별 정보를 결합하여 주어진 문서의 LLM 작성 여부를 효과적으로 판별한다. 다국어 LLM 작성 글 판별기 ZeroGPT와의 비교 실험 결과 KoCheckGPT는 우수한 한국어 LLM 작성 글 탐지 성능을 보였다.

• The Transactions of the Korea Information Processing Society
• /
• v.13 no.3
• /
• pp.148-155
• /
• 2024

Despite the increasing importance of irony and sarcasm detection in the field of natural language processing, research on the Korean language is relatively scarce compared to other languages. This study aims to experiment with various models for irony detection in Korean text. The study conducted irony detection experiments using KoBERT, a BERT-based model, and ChatGPT. For KoBERT, two methods of additional training on sentiment data were applied (Transfer Learning and MultiTask Learning). Additionally, for ChatGPT, the Few-Shot Learning technique was applied by increasing the number of example sentences entered as prompts. The results of the experiments showed that the Transfer Learning and MultiTask Learning models, which were trained with additional sentiment data, outperformed the baseline model without additional sentiment data. On the other hand, ChatGPT exhibited significantly lower performance compared to KoBERT, and increasing the number of example sentences did not lead to a noticeable improvement in performance. In conclusion, this study suggests that a model based on KoBERT is more suitable for irony detection than ChatGPT, and it highlights the potential contribution of additional training on sentiment data to improve irony detection performance.

• Journal of Intelligence and Information Systems
• /
• v.28 no.4
• /
• pp.309-328
• /
• 2022

This study empirically analyzed a Korean pre-trained language models (PLMs) designed for natural language generation. The performance of two PLMs - BART and GPT - at the task of abstractive text summarization was compared. To investigate how performance depends on the characteristics of the inference data, ten different document types, containing six types of informational content and creation content, were considered. It was found that BART (which can both generate and understand natural language) performed better than GPT (which can only generate). Upon more detailed examination of the effect of inference data characteristics, the performance of GPT was found to be proportional to the length of the input text. However, even for the longest documents (with optimal GPT performance), BART still out-performed GPT, suggesting that the greatest influence on downstream performance is not the size of the training data or PLMs parameters but the structural suitability of the PLMs for the applied downstream task. The performance of different PLMs was also compared through analyzing parts of speech (POS) shares. BART's performance was inversely related to the proportion of prefixes, adjectives, adverbs and verbs but positively related to that of nouns. This result emphasizes the importance of taking the inference data's characteristics into account when fine-tuning a PLMs for its intended downstream task.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.203-208
• /
• 2021

본 논문에서는 맥락에 따라 개체명의 범주가 달라지는 어휘를 중심으로 교차 태깅된 개체명의 성능을 레이블과 스팬 정답률, 문장 성분과 문장 위치에 따른 정답률로 나누어 살펴 보았다. 레이블의 정확도는 KoGPT2, mBERT, KLUE-RoBERTa 순으로 정답률이 높아지는 양상을 보였다. 스팬 정답률에서는 mBERT가 KLUE-RoBERTa보다 근소하게 성능이 높았고 KoGPT2는 매우 낮은 정확도를 보였다. 다만, KoGPT2는 개체명이 문장의 끝에 위치할 때는 다른 모델과 비슷한 정도로 성능이 개선되는 결과를 보였다. 문장 종결 위치에서 인식기의 성능이 좋은 것은 실험에 사용된 말뭉치의 문장 성분이 서술어일 때 명사의 중첩이 적고 구문이 패턴화되어 있다는 특징과 KoGPT2가 decoder기반의 모델이기 때문으로 여겨지나 이에 대해서는 후속 연구가 필요하다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.01a
• /
• pp.31-33
• /
• 2022

쇼핑몰 리뷰 생성기는 사용자로 하여금 사용자를 대신해서 리뷰를 생성할 수 있는 기술이고, 옷 상태, 배송 상태, 사이즈와 관련된 세 가지의 카테고리를 이용하여 부분마다 점수를 부여하여 점수에 맞는 리뷰를 생성할 수 있도록 하는 기술이다. 해당 리뷰 생성기는 점수마다 생성되는 리뷰가 달라지기 때문에 다양한 리뷰 생성을 원하는 웹, 앱 쇼핑몰 사이트에서 적용이 가능한 기술이다. 본 논문에서는 KoGPT2를 이용한 리뷰 생성과 카테고리와 점수에 따른 다르게 생성되는 리뷰의 방식을 제안한다. 그리고 두 방식을 결합한 리뷰 생성의 방식을 제안한다. 제안하는 방식들은 카테고리고리 마다 학습하는 모델을 다르게 적용하고 있다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.367-368
• /
• 2023

최근 챗봇 시스템은 급격한 발전과 함께 사용자와 자연스러운 대화를 할 수 있는 인공지능 기술의 필요성이 대두되고 있다. 기존의 챗봇 시스템은 대화 상황을 충분히 이해하지 못하거나, 학습된 데이터를 벗어나는 문장에 대한 일관성 있는 응답을 제공하지 못하는 한계가 있다. 본 논문에서는 GPT-3와 KoBERT를 활용하여 사용자의 감정 상태를 파악하고 해당 감정을 고려한 일관성 있는 대화를 제공하는 감정 분석 기반 챗봇 시스템을 제안한다. 이를 바탕으로 긍정적인 대화를 이어 나가는데 초점을 두어 자연스러운 대화가 가능할 것으로 기대된다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.457-460
• /
• 2021

대화 시스템은 인공지능과 사람이 자연어로 의사 소통을 하는 시스템으로 크게 목적 지향 대화와 일상대화 시스템으로 연구되고 있다. 목적 지향 대화 시스템의 경우 날씨 확인, 호텔 및 항공권 예약, 일정 관리 등의 사용자가 생활에 필요한 도메인들로 이루어져 있으며 각 도메인 별로 목적에 따른 시나리오들이 존재한다. 이러한 대화는 사용자에게 명확한 발화을 제공할 수 있으나 자연스러움은 떨어진다. 일상 대화의 경우 다양한 도메인이 존재하며, 시나리오가 존재하지 않기 때문에 사용자에게 자연스러운 발화를 제공할 수 있다. 또한 일상 대화의 경우 검색 기반이나 생성 기반으로 시스템이 개발되고 있다. 검색 기반의 경우 발화 쌍에 대한 데이터베이스가 필요하지만, 생성 기반의 경우 이러한 데이터베이스가 없이 모델의 Language Modeling (LM)으로 부터 생성된 발화에 의존한다. 따라서 모델의 성능에 따라 발화의 품질이 달라진다. 최근에는 사전학습 모델이 자연어처리 작업에서 높은 성능을 보이고 있으며, 일상 대화 도메인에서도 역시 높은 성능을 보이고 있다. 일상 대화에서 가장 높은 성능을 보이고 있는 사전학습 모델은 Auto Regressive 기반 생성모델이고, 한국어에서는 대표적으로 KoGPT2가 존재한다. 그러나, KoGPT2의 경우 문어체 데이터만 학습되어 있기 때문에 대화체에서는 낮은 성능을 보이고 있다. 본 논문에서는 대화체에서 높은 성능을 보이는 한국어 기반 KoDialoGPT2를 개발하였고, 기존의 KoGPT2보다 높은 성능을 보였다.

• Journal of the Korea Society of Computer and Information
• /
• v.26 no.12
• /
• pp.53-59
• /
• 2021

In this paper, we propose a BERGPT-chatbot, a domestic AI chatbot that can alleviate negative emotions based on text input such as 'Replika'. We made BERGPT-chatbot into a chatbot capable of mitigating negative emotions by pipelined two models, KR-BERT and KoGPT2-chatbot. We applied a creative method of giving emotions to unrefined everyday datasets through KR-BERT, and learning additional datasets through KoGPT2-chatbot. The development background of BERGPT-chatbot is as follows. Currently, the number of people with depression is increasing all over the world. This phenomenon is emerging as a more serious problem due to COVID-19, which causes people to increase long-term indoor living or limit interpersonal relationships. Overseas artificial intelligence chatbots aimed at relieving negative emotions or taking care of mental health care, have increased in use due to the pandemic. In Korea, Psychological diagnosis chatbots similar to those of overseas cases are being operated. However, as the domestic chatbot is a system that outputs a button-based answer rather than a text input-based answer, when compared to overseas chatbots, domestic chatbots remain at a low level of diagnosing human psychology. Therefore, we proposed a chatbot that helps mitigating negative emotions through BERGPT-chatbot. Finally, we compared BERGPT-chatbot and KoGPT2-chatbot through 'Perplexity', an internal evaluation metric for evaluating language models, and showed the superity of BERGPT-chatbot.

• Journal of the Korea Society of Computer and Information
• /
• v.29 no.2
• /
• pp.43-50
• /
• 2024

This paper evaluates the Korean sentiment analysis performance of large language models like GPT-3.5 and GPT-4 using a zero-shot approach facilitated by the ChatGPT API, comparing them to pre-trained Korean models such as KoBERT. Through experiments utilizing various Korean sentiment analysis datasets in fields like movies, gaming, and shopping, the efficiency of these models is validated. The results reveal that the LMKor-ELECTRA model displayed the highest performance based on F1-score, while GPT-4 particularly achieved high accuracy and F1-scores in movie and shopping datasets. This indicates that large language models can perform effectively in Korean sentiment analysis without prior training on specific datasets, suggesting their potential in zero-shot learning. However, relatively lower performance in some datasets highlights the limitations of the zero-shot based methodology. This study explores the feasibility of using large language models for Korean sentiment analysis, providing significant implications for future research in this area.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.317-320
• /
• 2020

연설문은 구어체와 문어체 두 가지 특성을 모두 갖고 있는 복합적인 데이터 형태이다. 발화자의 문장 표현, 배열, 그리고 결합에 따라 그 구조가 다르기 때문에, 화자 별 갖는 문체적 특성 또한 모두 다르다. 국정을 다루는 정치인들의 연설문은 국정 현황을 포함한 다양한 주요 문제점을 다룬다. 그러면 발화자의 문서 내 문체적 특성을 고려할 경우, 해당 문서가 어느 정치인의 연설문인지 파악 할 수 있는가? 본 연구에서는 대한민국 정책 브리핑 사이트로부터 한국어 기반 사전 학습된 언어 모델을 활용하여 연설문에 대한 미세조정을 진행함으로써 발화자 예측 분류 모델을 생성하고, 그 가능성을 입증하고자 한다. 본 연구는 5-cross validation으로 모델 성능을 평가하였고 KoBERT, KoGPT2 모델에서 각각 90.22%, 84.41% 정확도를 보였다.