• 한국산업정보학회논문지
• /
• 제29권3호
• /
• pp.51-65
• /
• 2024

스마트 그리드에서 전력 시스템을 효과적으로 운영하기 위해서는 전력 수요량을 정확히 예측하는 것이 중요하다. 최근 기계학습 기술의 발달로, 인공지능 기반의 전력 수요량 예측 모델이 활발히 연구되고 있다. 하지만, 기존 모델들은 모든 입력변수를 수치화하여 입력하기 때문에, 이러한 수치들 사이의 의미론적 관계를 반영하지 못해 예측 모델의 정확도가 하락할 수 있다. 본 논문은 입력 데이터에 대하여 거대언어모델을 통해 추출한 특징을 이용하여 단기 전력 수요량을 예측하는 기법을 제안한다. 먼저, 입력변수를 문장 형식의 프롬프트로 변환한다. 이후, 가중치가 동결된 거대언어모델을 이용하여 프롬프트에 대한 특징을 나타내는 임베딩 벡터를 도출하고, 이를 입력으로 받은 모델을 학습하여 예측을 수행한다. 실험 결과, 제안 기법은 수치형 데이터에 기반한 예측 모델에 비해 높은 성능을 보였고, 프롬프트에 대한 거대언어모델의 주의집중 가중치를 시각화함으로써 예측에 있어 주요한 영향을 미친 정보를 확인하였다.

• 지능정보연구
• /
• 제29권3호
• /
• pp.125-144
• /
• 2023

최근 ChatGPT 등 거대언어모델(Large Language Models)의 활용은 대화형상거래, 모바일금융 서비스 등 다양한 분야에서 사용이 증가하고 있다. 그러나 주로 기존 문서를 학습하여 만들어진 거대언어모델은 문서에 내재된 인간의 다양한 편향까지도 학습할 수 있다. 그럼에도 불구하고 거대언어모델에 편향과 차별의 양상에 대한 비교연구는 거의 이루어지지 않았다. 이에 본 연구의 목적은 거대언어모델안에 9가지 차별(Age, Disability status, Gender identity, Nationality, Physical appearance, Race ethnicity, Religion, Socio-economic status, Sexual orientation)의 존재유무 또는 그 정도를 점검하고 발전 방안을 제안하는 것이다. 이를 위해 차별 양상을 특정하기 위한 도구인 BBQ (Bias Benchmark for QA)를 활용하여 ChatGPT, GPT-3, Bing Chat 등 세가지 거대언어모델을 대상으로 비교하였다. 평가 결과 거대언어모델에 적지 않은 차별적 답변이 관찰되었으며, 그 양상은 거대언어모델에 따라 차이가 있었다. 특히 성차별, 인종차별, 경제적 불평등 등 전통적인 인공지능 윤리 이슈가 아닌 노인차별, 장애인차별에서 문제점이 노출되어, 인공지능 윤리의 새로운 관점을 찾을 수 있었다. 비교 결과를 기반으로 추후 거대언어모델의 보완 및 발전 방안에 대해 기술하였다.

• Korean Journal of Radiology
• /
• 제25권5호
• /
• pp.499-500
• /
• 2024

• 정보관리학회지
• /
• 제40권3호
• /
• pp.77-98
• /
• 2023

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

• 지능정보연구
• /
• 제29권4호
• /
• pp.287-308
• /
• 2023

ChatGPT는 2022년 11월에 서비스를 시작한 후 급격하게 사용자 수가 늘어나며 인공지능의 역사에서 큰 전환점을 가져올 정도로 사회 곳곳에 많은 영향을 미치고 있다. 특히 ChatGPT와 같은 거대언어모델의 추론 능력은 프롬프트 엔지니어링 기법을 통해 빠른 속도로 그 성능이 발전하고 있다. 인공지능을 워크플로우에 도입하려고 하는 기업이나 활용하려고 하는 개인에게 이와 같은 추론 능력은 중요한 요소로 고려될 수 있다. 본 논문에서는 거대언어모델에서 추론을 가능하게 한 문맥내 학습에 대한 이해를 시작으로 하여 프롬프트 엔지니어링의 개념과 추론 유형 및 벤치마크 데이터에 대해 설명하고, 이를 기반으로 하여 최근 거대언어모델의 추론 성능을 급격히 향상시킨 프롬프트 엔지니어링 기법들에 대해 조사하고 발전과정과 기법들 간의 연관성에 대해 상세히 알아보고자 한다.

• Korean Journal of Radiology
• /
• 제25권2호
• /
• pp.126-133
• /
• 2024

Large language models (LLMs) have revolutionized the global landscape of technology beyond natural language processing. Owing to their extensive pre-training on vast datasets, contemporary LLMs can handle tasks ranging from general functionalities to domain-specific areas, such as radiology, without additional fine-tuning. General-purpose chatbots based on LLMs can optimize the efficiency of radiologists in terms of their professional work and research endeavors. Importantly, these LLMs are on a trajectory of rapid evolution, wherein challenges such as "hallucination," high training cost, and efficiency issues are addressed, along with the inclusion of multimodal inputs. In this review, we aim to offer conceptual knowledge and actionable guidance to radiologists interested in utilizing LLMs through a succinct overview of the topic and a summary of radiology-specific aspects, from the beginning to potential future directions.

• ETRI Journal
• /
• 제46권1호
• /
• pp.106-117
• /
• 2024

Large language models (LLMs) have revolutionized various applications in natural language processing and exhibited proficiency in generating programming code. We propose a framework for evaluating the code generation ability of LLMs and introduce a new metric, pass-ratio@n, which captures the granularity of accuracy according to the pass rate of test cases. The framework is intended to be fully automatic to handle the repetitive work involved in generating prompts, conducting inferences, and executing the generated codes. A preliminary evaluation focusing on the prompt detail, problem publication date, and difficulty level demonstrates the successful integration of our framework with the LeetCode coding platform and highlights the applicability of the pass-ratio@n metric.

• Korean Journal of Radiology
• /
• 제24권8호
• /
• pp.715-718
• /
• 2023

• Korean Journal of Radiology
• /
• 제24권9호
• /
• pp.924-925
• /
• 2023

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.454-460
• /
• 2023

대규모 언어 모델(Large Language Models, LLM)의 발전과 더불어 대량의 학습 데이터로부터 기인한 LLM의 편향성에 관심이 집중하고 있다. 최근 선행 연구들에서는 LLM이 이러한 경향성을 탈피하고 다양한 언어 패턴을 생성하게 하기 위하여 LLM에 여러가지 페르소나를 부여하는 방법을 제안하고 있다. 일부에서는 사람의 성격을 설명하는 성격 5 요인 이론(Big 5)을 이용하여 LLM에 다양한 성격 특성을 가진 페르소나를 부여하는 방법을 제안하였고, 페르소나 간의 성격의 차이가 다양한 양상의 언어 사용 패턴을 이끌어낼 수 있음을 보였다. 그러나 제한된 횟수의 입력만으로 목표하는 성격의 페르소나를 생성하려 한 기존 연구들은 세밀히 서로 다른 성격을 가진 페르소나를 생성하는 데에 한계가 있었다. 본 연구에서는 페르소나 부여 과정에서 피드백을 반복하여 제공함으로써 세세한 성격의 차이를 가진 페르소나를 생성하는 방법론을 제안한다. 본 연구의 실험과 분석을 통해, 제안하는 방법론으로 형성된 성격 페르소나가 다양한 언어 패턴을 효과적으로 만들어 낼 수 있음을 확인했다.