• Journal of the Korean Society for information Management
• /
• v.40 no.3
• /
• pp.77-98
• /
• 2023

Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.25-30
• /
• 2023

초거대 언어모델은 과연 수수께끼 문제에 재치있는 답변을 할 수 있을까? 최근 초거대 언어모델(Large language model, LLM)은 강력한 성능 및 유저 만족도를 보이며 세계의 이목을 집중시키고 있다. 여러 태스크들에 대한 정량 평가를 넘어서 최근에는 LLM의 창의력 및 고도화된 언어능력을 평가하는 연구들이 등장하고 있다. 본 논문에서는 이러한 연구 흐름에 따라 LLM의 재치에 관해 고찰해본다. 이때 재치를 평가하기 위한 태스크로 이를 요구하는 말놀이인 수수께끼를 활용한다. 본 논문은 LLM이 수수께끼를 잘 수행하는지를 모델 추론을 통해 평가하며, 모델 추론 시 활용되는 프롬프트들의 성격에 따른 성능 변화를 관찰한다. 또한 수수께끼의 종류에 따른 모델의 능력을 비교 분석하며 LLM의 추론 결과에 대한 오류 분석을 수행한다. 본 논문은 실험을 통해 GPT-4가 가장 높은 성능을 보이며, 설명글이나 데이터 예시를 추가할 시 성능을 한층 더 향상시킬 수 있음을 확인한다. 또한 단어 기반보다는 특성 기반의 수수께끼에 더욱 강력한 성능을 보이며, 오류 유형 분석을 통해 LLM이 환각(hallucination) 문제와 창의력을 동시에 가지고 있다고 분석한다.

• Annual Conference on Human and Language Technology
• /
• 2004.10d
• /
• pp.270-272
• /
• 2004

본 논문에서는 뇌손상으로 인하여 난독증을 보이는 환자를 대상으로 시각적 단어 재인과정에 대한 평가와 기능적 자기공명영상기법을 통한 언어처리과정의 대뇌활성 양상을 살펴봄으로써 난독증의 특성을 알아보고자 한다. 인지신경심리학적 언어행동평가를 통해 환자 JYM는 자소-음소 변환(grapheme-phoneme conversion)경로와 직접 경로(direct route) 모두가 손상된 심층성 난독증(deep dyslexia)으로 보이며. 기능적 자기공명영상촬영 결과 언어처리과정에서 특정한 언어관련영역보다 등외측전전두영역과 시각피질의 활성이 증가되는 양상을 나타냈다.

• The Journal of the Korea Contents Association
• /
• v.12 no.5
• /
• pp.280-292
• /
• 2012

Cognitive-pragmatic language ability decreases during the normal aging process. Evaluating the ability might be useful in testing predicting cognitive level and diseases such as dementia. The aim of this study is to analyze various assessment protocols for normal aging, and evaluate the content validity of the currently developing cognitive-pragmatic language test domains and items. Content Validity Index(CVI) was calculated based on ratings judged by 17 experts including speech-language pathologists and clinical psychologists. As a result, it was found that CVIs of all 7 domains including attention, memory, organization, reasoning, problem solving, executive function, pragmatic language were above .75. It was concluded that the test items contained the appropriate content validity to assess cognitive-pragmatic language for normal aging.

• Journal of the Korea Convergence Society
• /
• v.4 no.3
• /
• pp.7-13
• /
• 2013

The objective of this research is to find out the effect of service provider nonverbal attributes on customer evaluation in service recovery stage. Results showed that first, the better kinesics of service provider, the more satisfaction in service recovery stage. Second, the better service providers have physical appearance, the more revisit intention. But both the kinesics and physical appearance have not an effect on recommendation intention. This paper discussed theoretical and practical focusing on nonverbal attributes of service providers.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.448-453
• /
• 2023

대규모 언어 모델 (Large Language Model, LLM)을 인간의 선호도 관점에서 평가하는 것은 기존의 벤치마크 평가와는 다른 도전적인 과제이다. 이를 위해, 기존 연구들은 강력한 LLM을 평가자로 사용하여 접근하였지만, 높은 비용 문제가 부각되었다. 또한, 평가자로서 LLM이 사용하는 주관적인 점수 기준은 모호하여 평가 결과의 신뢰성을 저해하며, 단일 모델에 의한 평가 결과는 편향될 가능성이 있다. 본 논문에서는 엄격한 기준을 활용하여 편향되지 않은 평가를 수행할 수 있는 평가 프레임워크 및 평가자 모델 'FubaoLM'을 제안한다. 우리의 평가 프레임워크는 심층적인 평가 기준을 통해 다수의 강력한 한국어 LLM을 활용하여 연쇄적 사고(Chain-of-Thought) 기반 평가를 수행한다. 이러한 평가 결과를 다수결로 통합하여 편향되지 않은 평가 결과를 도출하며, 지시 조정 (instruction tuning)을 통해 FubaoLM은 다수의 LLM으로 부터 평가 지식을 증류받는다. 더 나아가 본 논문에서는 전문가 기반 평가 데이터셋을 구축하여 FubaoLM 효과성을 입증한다. 우리의 실험에서 앙상블된 FubaoLM은 GPT-3.5 대비 16% 에서 23% 향상된 절대 평가 성능을 가지며, 이항 평가에서 인간과 유사한 선호도 평가 결과를 도출한다. 이를 통해 FubaoLM은 비교적 적은 비용으로도 높은 신뢰성을 유지하며, 편향되지 않은 평가를 수행할 수 있음을 보인다.

• The KIPS Transactions:PartC
• /
• v.11C no.4
• /
• pp.471-484
• /
• 2004

Recently. many projects have been actively implementing IPsec on the various Operating Systems for security of IPv6 network. But there is no existing tool that checks the IPsec-based systems, which provide IPsec services, work Properly and provide their network security services well In the IPv6 network. In this paper, we design SERDL(Security Evaluation Rule Description Language) and rule execution tool for evaluating security of the IPv6 network, and we provide implementation details. The system Is divided into following parts : User Interface part, Rule Execution Module part, DBMS part and agent that gathering information needed for security test.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.95-100
• /
• 2023

끊임없이 재생산되는 혐오 표현의 정확한 탐지를 위해서는 혐오란 무엇인가에 대한 본질적인 이해가 필요하다. 본 연구에서는 화용론에서 사용되는 적정성 조건이라는 분석 틀을 활용하여 모델이 '혐오하기' 화행을 어떻게 인식하고 있는지 평가하고자 했다. 혐오 화행의 적정성 조건을 명제 내용 조건, 예비 조건, 성실성 조건, 본질 조건으로 나누어 분석하였으며, 이를 진위형, 연결형, 단답형, 논술형 문항으로 구성했다. 그 결과 모든 문항 유형에서 50점이 넘는 점수를 받았으나 비교적 고차원인 사고 능력을 측정하는 단답형과 논술형 문항 유형의 점수가 가장 낮게 나타났다.

• Annual Conference of KIPS
• /
• 2013.05a
• /
• pp.281-284
• /
• 2013

한국전자통신연구원(ETRI)에서는 2010 년부터 2015 년까지 5 년간에 걸쳐 모바일 플랫폼 기반 대화모델이 적용된 자연어 음성인터페이스 기술을 개발하고 있다. 2010 년에는 대화 시스템의 전반적인 모습을 설계하였고, 2011 년에는 대상 도메인으로 도시 관광용 영어 대화 시스템을, 2012 년에는 대상 도메인으로 차량공조, 응급조치 등과 같은 차량 정보 서비스용 한국어 대화 시스템을 개발하였다. 본 논문에서는 2012 년에 개발한 차량 정보 서비스용 한국어 대화 시스템을 기술하는 것을 목표로 한다. 차량 정보 서비스용 한국어 대화 시스템의 성능 평가는 운전 경험이 있는 평가자 20 명에 의해 이루어졌다. 평가자는 웹 평가 도구에 원격으로 접속하여 주어진 40 개의 차량 정보 관련 대화 미션을 태스크로 하여 차량 정보 서비스용 대화 시스템과 대화를 하였다. 평가는 태스크 성공률과 대화턴 성공률로 나누어 측정되었으며 태스크 성공률은 87.8%, 대화턴 성공률은 86.7%였다.

• Journal of Korean language education
• /
• v.28 no.2
• /
• pp.265-289
• /
• 2017

외국어를 학습하는 데 있어서 해당 외국어의 의사소통 능력을 향상시키고 평가한다는 것은 상당히 큰 중요성을 가진다. 교실에서 학습자의 듣기, 말하기, 읽기, 쓰기 능력을 통해 학습자의 언어 능력을 함양하고 평가하기 위해 어떠한 연습문제나 시험 혹은 평가방법을 사용하느냐 하는 것은 학습자의 학습동기에 지대한 영향을 미친다. 왜냐하면, 보통 학습자들은 교수자가 무엇을 가르치고 기대하며 평가하느냐에 따라 자신들의 학습방법을 맞춰 나가기 때문이다. 이러한 맥락에서 본 연구는 보다 적극적인 학습자들의 참여를 유도하고 유연성 있는 학습자 중심의 학습법을 고양시키며 다양한 언어능력을 고취시키기 위하여, 효과적인 외국어 학습법의 하나로 알려진 paraphrasing을 학습에 활용하고자 한다. 특히 paraphrasing은 일상생활 속에서도 의사소통을 원활히 하기 위한 수단으로서 글 바꿔 쓰기 혹은 말 바꿔 말하기로 활용되기도 하나, 본 소논문에서는 paraphrasing이 학습을 목적으로 하는 학습현장에서 활용되었다는 것을 감안하여 의역을 통한 학습 혹은 의역학습법을 소개하고자 한다. 실제로 paraphrasing은 언어 및 외국어 학습자들에게 상당히 효과가 있는 것으로 알려진 것에 비해 실제로 한국어 교육현장에서 사용한 연구들은 거의 찾아 볼 수가 없다고 해도 과언이 아니다. 따라서, 의역학습법을 학습현장에서 도입했을 때 경험한 여러 시행착오를 바탕으로 실질적으로 교실에서 사용된 예시들을 소개하고, 한국어를 가르치는 교수자들과 한국어를 배우는 외국인 학습자들에게 paraphrasing을 사용한 새로운 한국어 교수방법과 평가 도구를 제안하고자 한다. 이를 통해, paraphrasing이 한국어를 가르치는 교수자들과 한국어를 배우고자 하는 외국 학습자들에게 효과적인 언어학습 도구로서 실질적으로 교육현장에서 널리 사용될 수 있는 계기가 되었으면 한다.