• The Transactions of the Korea Information Processing Society
• /
• v.13 no.9
• /
• pp.421-428
• /
• 2024

Recently, services utilizing large-scale language models (LLMs) such as GPT-4 and LLaMA have been released, garnering significant attention. These models can respond fluently to various user queries, but their insufficient training on Korean data raises concerns about the potential to provide inaccurate information regarding Korean culture and language. In this study, we selected eight major publicly available models that have been trained on Korean data and evaluated their understanding of Korean culture using a dataset composed of five domains (Korean language comprehension and cultural aspects). The results showed that the commercial model HyperClovaX exhibited the best performance across all domains. Among the publicly available models, Bookworm demonstrated superior Korean language proficiency. Additionally, the LDCC-SOLAR model excelled in areas related to understanding Korean culture and language.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.36-40
• /
• 2021

다양한 Masked Language Modeling을 통해 학습한 사전 학습 모델들은 질의응답 시스템에서 매우 높은 성능을 보여주고 있다. 이러한 강력한 성능에도 불구하고 그러한 모델들이 질의를 정확히 이해하고 정답을 예측하는 것인지, 혹은 질의에 등장하는 특정 단어와 잘 나타나는 단어들을 기반으로 정답을 예측하는 것인지에 대한 분석은 아직 충분하지 않다. 이러한 사전학습 모델의 질의 이해 능력을 밝히기 위하여, 본 연구에서는 클레버 한스 테스트를 제안한다. 클레버 한스 테스트에서는 의미적 구조적, 의도 유무 측면의 여러 질의 변형이 된 데이터 셋들이 포함되어 있다. 본 연구에서는 클레버 한스 테스트를 통하여 사전학습 모델들이 의미적으로 달라진 질의나 의도가 제거된 질의를 입력으로 받아도 성능이 크게 떨어지지 않는 것을 확인하였고 모델의 질의 이해능력 부족을 실험적으로 시사하였다.

• The KIPS Transactions:PartB
• /
• v.10B no.7
• /
• pp.829-836
• /
• 2003

In this paper, we propose a stochastic model for sentence speech understanding using dictionary and thesaurus. The proposed model extracts words from an input speech or text into a sentence. A computer is sellected category of dictionary database compared the word extracting from the input sentence calculating a probability value to the compare results from stochastic model. At this time, computer read out upper dictionary information from the upper dictionary searching and extracting word compared input sentence caluclating value to the compare results from stochastic model. We compare adding the first and second probability value from the dictionary searching and the upper dictionary searching with threshold probability that we measure the sentence understanding rate. We evaluated the performance of the sentence speech understanding system by applying twenty questions game. As the experiment results, we got sentence speech understanding accuracy of 79.8%. In this case, probability ($\alpha$) of high level word is 0.9 and threshold probability ($\beta$) is 0.38.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.711-715
• /
• 2023

본 연구는 대부분의 언어 모델이 사용하고 있는 서브워드 토큰화 과정을 거치지 않고, 바이트 단위의 인코딩을 그대로 다룰 수 있는 토큰-프리 사전학습 언어모델에 대한 것이다. 토큰-프리 언어모델은 명시적인 미등록어 토큰이 존재하지 않고, 전 처리 과정이 단순하며 다양한 언어 및 표현 체계에 대응할 수 있는 장점이 있다. 하지만 관련 연구가 미흡, 서브워드 모델에 대비해 학습이 어렵고 낮은 성능이 보고되어 왔다. 본 연구에서는 한국어를 중심으로 토큰-프리 언어 이해-생성 모델을 사전 학습 후, 서브워드 기반 모델과 비교하여 가능성을 살펴본다. 또한, 토큰 프리 언어모델에서 지적되는 과도한 연산량을 감소시킬 수 있는 그래디언트 기반 서브워드 토크나이저를 적용, 처리 속도를 학습 2.7배, 추론 1.46배 개선하였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.517-520
• /
• 2022

지능형 대화 시스템은 줄곧 서비스의 목표와 무관한 사용자 입력을 전달받아, 그 처리 성능을 의심받는다. 특히 종단간 대화 이해 생성 모델이나, 기계학습 기반 대화 이해 모델은 학습 시간대에 한정된 범위의 도메인 입력에만 노출됨으로, 사용자 발화를 자신이 처리 가능한 도메인으로 과신하는 경향이 있다. 본 연구에서는 대화 생성 모델이 처리할 수 없는 입력과 신뢰도가 낮은 생성 결과를 배제하기 위해 불확실성 정량화 기법을 대화 의도 분류 모델에 적용한다. 여러 번의 추론 샘플링이 필요 없는 실용적인 예측 신뢰도 획득 방법과 함께, 평가 시간대와 또다른 도메인으로 구성된 분포 외 입력 데이터를 학습에 노출시키는 것이 분포 외 입력을 구분하는데 도움이 되는지를 실험으로 확인한다.

• Annual Conference of KIPS
• /
• 2022.05a
• /
• pp.21-24
• /
• 2022

최근 통신업계에서는 축적된 빅데이터를 활용하여 고객의 특성을 이해하고 맞춤형 마케팅에 이용하려는 노력이 지속되어 왔다. 본 연구에서는 CatBoost 모델을 사용하여 이탈 가능성이 높은 고객을 예측하고 XAI(eXplainable Artificial Intelligence) 기법 중 하나인 SHAP을 적용하여 이탈에 영향을 미치는 요인을 설명하고자 하였다. SHAP의 global explanation 기법을 사용하여 특정 고객 segmentation 에 대한 이해력을 높이고, local explanation 기법을 사용하여 개별 고객에 대한 설명과 개인화 마케팅에 적용 가능성을 제시하였다. 본 연구는 기존의 이탈 예측모델인 블랙박스 모델이 갖는 한계점을 극복하고 고객의 특성을 이해하여 실제 비즈니스에 활용 가능성을 높였다는 점에서 의의를 가진다.

• Journal of Educational Research in Mathematics
• /
• v.17 no.2
• /
• pp.147-162
• /
• 2007

This paper reports an analysis of 19 Chinese and Korean middles school mathematics teachers' understanding of division by fractions. The study analyzes the teachers' responses to the teaching task of generating a real-world situation representing the meaning of division by fractions. The findings of this study suggests that the teachers' conceptual models of division are dominated by the partitive model of division with whole numbers as equal sharing. The dominance of partitive model of division constraints the teachers' ability to generate real-world representations of the meaning of division by fractions, such that they are able to teach only the rule-based algorithm (invert-and-multiply) for handling division by fractions.

• Communications of Mathematical Education
• /
• v.37 no.2
• /
• pp.135-157
• /
• 2023

Double scale models have been introduced in elementary mathematics textbooks under the 2015 revised mathematics curriculum. However, few studies have examined in detail how students understand or utilize such models. In this study, we analyzed how 154 sixth-grade students who had learned the division of fractions from textbooks containing double scale models understood such models. The results showed that the students tended to identify the components of the model relatively well, but had difficulties exploring the unit or the meaning of the bottom number line of a model. They also had a lot of difficulties using the double scale model to complete the computation process and explain the computation principle. Based on these findings, we discuss the implications of teaching double scale models.

• Annual Conference of KIPS
• /
• 2007.11a
• /
• pp.415-418
• /
• 2007

최근 활발히 진행되고 있는 모델 기반 공학에 관한 연구 중 모델 변환은 소스 모델을 입력 받아 다른 차원의 뷰를 제공하는 타겟 모델을 출력한다. 이러한 모델 변환은 메타모델을 사용하여 동일한 시스템을 서로 다른 이해관계자들의 관점에서 이해할 수 있는 방법을 제공한다. 동일한 시스템이라 하더라도 개발자와 시험자 그리고 사용자들이 보는 주요 관점은 다를 수 있다. 본 논문에서는 시험자의 관점에서 수직적 분할 시험이 가능하도록 입력 모델인 UML의 행위 다이어그램으로부터 출력 모델인 단위 시험을 위한 상태 다이어그램으로의 모델 변환에 대해 연구하고, 생성된 상태 다이어그램을 통해 시험 사례를 작성한다.

• Annual Conference of KIPS
• /
• 2017.11a
• /
• pp.869-872
• /
• 2017

참조 표현이란 영상 내의 특정 물체를 가리키는 자연어 문장을 의미한다. 그리고 이러한 자연어 참조 표현을 기초로, 한 영상에서 실제로 대상 물체의 영역을 찾아내는 일을 참조 표현 이해라고 한다. 본 논문은 참조 표현 이해를 위한 새로운 심층 신경망 모델과 학습 방법을 제안한다. 본 논문에서 제안하는 모델은 효과적인 참조 표현 이래를 위해, 참조 표현에서 언급하는 대상 물체와 보조 물체를 모두 고려할 뿐만 아니라, 두 물체간의 관계정보도 활용한다. 또한, 본 논문에서 제안하는 모델은 이러한 다양한 맥락 정보들을 참조 표현 의존적인 방식으로 가중 결합함으로써, 참조 표현에 부합하는 대상 물체 영역을 보다 정확히 탐지해낼 수 있도록 설계하였다. 본 논문에서는 대규모 참조 표현 데이터 집합인 Google RefExp를 이용한 성능 비교 실험들을 통해, 제안하는 모델의 우수성을 확인하였다.