• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.25-30
• /
• 2023

초거대 언어모델은 과연 수수께끼 문제에 재치있는 답변을 할 수 있을까? 최근 초거대 언어모델(Large language model, LLM)은 강력한 성능 및 유저 만족도를 보이며 세계의 이목을 집중시키고 있다. 여러 태스크들에 대한 정량 평가를 넘어서 최근에는 LLM의 창의력 및 고도화된 언어능력을 평가하는 연구들이 등장하고 있다. 본 논문에서는 이러한 연구 흐름에 따라 LLM의 재치에 관해 고찰해본다. 이때 재치를 평가하기 위한 태스크로 이를 요구하는 말놀이인 수수께끼를 활용한다. 본 논문은 LLM이 수수께끼를 잘 수행하는지를 모델 추론을 통해 평가하며, 모델 추론 시 활용되는 프롬프트들의 성격에 따른 성능 변화를 관찰한다. 또한 수수께끼의 종류에 따른 모델의 능력을 비교 분석하며 LLM의 추론 결과에 대한 오류 분석을 수행한다. 본 논문은 실험을 통해 GPT-4가 가장 높은 성능을 보이며, 설명글이나 데이터 예시를 추가할 시 성능을 한층 더 향상시킬 수 있음을 확인한다. 또한 단어 기반보다는 특성 기반의 수수께끼에 더욱 강력한 성능을 보이며, 오류 유형 분석을 통해 LLM이 환각(hallucination) 문제와 창의력을 동시에 가지고 있다고 분석한다.

• Journal of the Korea Convergence Society
• /
• v.13 no.3
• /
• pp.77-89
• /
• 2022

It has been proven through many previous researches that the pretrained language model with a large corpus helps improve performance in various natural language processing tasks. However, there is a limit to building a large-capacity corpus for training in a language environment where resources are scarce. Using the Cross-lingual Post-Training (XPT) method, we analyze the method's efficiency in Korean, which is a low resource language. XPT selectively reuses the English pretrained language model parameters, which is a high resource and uses an adaptation layer to learn the relationship between the two languages. This confirmed that only a small amount of the target language dataset in the relationship extraction shows better performance than the target pretrained language model. In addition, we analyze the characteristics of each model on the Korean language model and the Korean multilingual model disclosed by domestic and foreign researchers and companies.

• International Journal of Computer Science & Network Security
• /
• v.24 no.2
• /
• pp.101-112
• /
• 2024

Telugu language is considered as fourth most used language in India especially in the regions of Andhra Pradesh, Telangana, Karnataka etc. In international recognized countries also, Telugu is widely growing spoken language. This language comprises of different dependent and independent vowels, consonants and digits. In this aspect, the enhancement of Telugu Handwritten Character Recognition (HCR) has not been propagated. HCR is a neural network technique of converting a documented image to edited text one which can be used for many other applications. This reduces time and effort without starting over from the beginning every time. In this work, a Unicode based Handwritten Character Recognition(U-HCR) is developed for translating the handwritten Telugu characters into English language. With the use of Centre of Gravity (CG) in our model we can easily divide a compound character into individual character with the help of Unicode values. For training this model, we have used both online and offline Telugu character datasets. To extract the features in the scanned image we used convolutional neural network along with Machine Learning classifiers like Random Forest and Support Vector Machine. Stochastic Gradient Descent (SGD), Root Mean Square Propagation (RMS-P) and Adaptative Moment Estimation (ADAM)optimizers are used in this work to enhance the performance of U-HCR and to reduce the loss function value. This loss value reduction can be possible with optimizers by using CNN. In both online and offline datasets, proposed model showed promising results by maintaining the accuracies with 90.28% for SGD, 96.97% for RMS-P and 93.57% for ADAM respectively.

• The Journal of Korea Robotics Society
• /
• v.19 no.3
• /
• pp.293-310
• /
• 2024

In this paper, we propose an agent model for Language-Driven Zero-Shot Object Navigation (L-ZSON) tasks, which takes in a freeform language description of an unseen target object and navigates to find out the target object in an inexperienced environment. In general, an L-ZSON agent should able to visually ground the target object by understanding the freeform language description of it and recognizing the corresponding visual object in camera images. Moreover, the L-ZSON agent should be also able to build a rich spatial context map over the unknown environment and decide efficient exploration actions based on the map until the target object is present in the field of view. To address these challenging issues, we proposes AML (Agent Model for L-ZSON), a novel L-ZSON agent model to make effective use of AI foundation models such as Large Language Model (LLM) and Vision-Language model (VLM). In order to tackle the visual grounding issue of the target object description, our agent model employs GLEE, a VLM pretrained for locating and identifying arbitrary objects in images and videos in the open world scenario. To meet the exploration policy issue, the proposed agent model leverages the commonsense knowledge of LLM to make sequential navigational decisions. By conducting various quantitative and qualitative experiments with RoboTHOR, the 3D simulation platform and PASTURE, the L-ZSON benchmark dataset, we show the superior performance of the proposed agent model.

• International Journal of Precision Engineering and Manufacturing
• /
• v.8 no.1
• /
• pp.59-65
• /
• 2007

This paper suggests a method for developing computer code that can solve inverse heat conduction problem, The concept of the object-oriented development is employed to implement the computer code in an efficient and flexible fashion. The software design is conducted based on the unified modeling language. Furthermore, this paper also explains how to implement the deliverable computer code using the existing software development tools.

• Proceedings of the Korean Information Science Society Conference
• /
• 1999.10c
• /
• pp.501-503
• /
• 1999

네트워크 상에서 서로 다르게 저작된 애니메이션 기술과 데이터를 결합하여 동일한 뷰를 표현 가능하게 하기 위해선 공유 가상 환경 시스템과 같은 요소가 필요하게 된다. 이러한 시스템을 구현하기 위해선 여러 가지 요구 사항이 필요하게 된다. 즉, 데이터 공유, 멀티미디어 렌더링, 상호작용 등이다. 본 논문에서는 이러한 요구 사항을 만족하고, 서로 다른 네트워크 상에 있는 3차원 데이터를 웹을 통하여 동일된 가상 환경상에 표현함으로써 데이터 공유에 따른 애니메이션 및 물체의 제어를 효율적으로 처리 가능하게 한다.

• 제어로봇시스템학회:학술대회논문집
• /
• 1993.10a
• /
• pp.264-269
• /
• 1993

In this paper, we develop the basic robot commands on the level of VAL robot language and the integrated environment software of the robot management system to give users an easy way of programming and running the robot. The developed software is designed to support Korean language and to be run by the pop-up menus for programming commands and inputs. Geometrical and dynamical features can be viewed on a computer monitor by graphics and the taught works can be interfaced with a computer and controllers.

• Annual Conference on Human and Language Technology
• /
• 1992.10a
• /
• pp.141-149
• /
• 1992

본 논문에서는 자연언어 처리 시스템에서 사용할 수 있는 단어의 개념 정보에 대해 연구한다. 그러기 위해 언어의 실생활에서의 쓰임 - 연세대학교 사전 편찬실의 연세 말뭉치 -을 바탕으로 한국어의 동사와 명사에 대해 개념을 조사, 분류하였으며 그 개념들이 한국어 문장 분석기에 어떻게 이용되는가를 보인다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.569-571
• /
• 2020

시맨틱 파싱은 주어진 자연어 발화를 domain specific language(DSL)를 따르는 프로그램으로 변환하는 방법이다. 시맨틱 파서가 다형성을 가지는 DSL을 사용할 경우, 적은 수의 토큰으로 다양한 프로그램을 출력할 수 있지만, 탐색 공간이 넓어진다는 문제가 있다. 본 연구에서는 해당 문제를 완화하기 위해 다형성을 가지는 DSL의 타입 시그니처를 제한하는 방법을 제안한다. 해당 방법은 sequence-to-sequence 기반의 시맨틱 파싱 성능을 향상시키는데 효율적임을 보였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2024.01a
• /
• pp.479-480
• /
• 2024

본 논문에서는 원자력 안전조치 용어를 미세조정(fine tuning) 알고리즘을 활용해 추가 학습한 공개 거대 언어모델(Large Language Model, LLM)이 안전조치 관련 질문에 대해 답변한 결과를 정성적으로 평가하였다. 평가 결과, 학습 데이터 범위 내 질문에 대해 학습 모델은 기반 모델 답변에 추가 학습 데이터를 활용한 낮은 수준의 추론을 수행한 답변을 출력하였다. 평가 결과를 통해 추가 학습 개선 방향을 도출하였으며 저비용 전문 분야 언어 모델 구축에 활용할 수 있을 것으로 보인다.