• Journal of Intelligence and Information Systems
• /
• v.28 no.4
• /
• pp.309-328
• /
• 2022

This study empirically analyzed a Korean pre-trained language models (PLMs) designed for natural language generation. The performance of two PLMs - BART and GPT - at the task of abstractive text summarization was compared. To investigate how performance depends on the characteristics of the inference data, ten different document types, containing six types of informational content and creation content, were considered. It was found that BART (which can both generate and understand natural language) performed better than GPT (which can only generate). Upon more detailed examination of the effect of inference data characteristics, the performance of GPT was found to be proportional to the length of the input text. However, even for the longest documents (with optimal GPT performance), BART still out-performed GPT, suggesting that the greatest influence on downstream performance is not the size of the training data or PLMs parameters but the structural suitability of the PLMs for the applied downstream task. The performance of different PLMs was also compared through analyzing parts of speech (POS) shares. BART's performance was inversely related to the proportion of prefixes, adjectives, adverbs and verbs but positively related to that of nouns. This result emphasizes the importance of taking the inference data's characteristics into account when fine-tuning a PLMs for its intended downstream task.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2023.07a
• /
• pp.59-61
• /
• 2023

본 논문에서는 감정 분류 성능 향상을 위한 초거대 언어모델로부터의 추론 데이터셋 활용 방안을 제안한다. 이 방안은 Google Research의 'Chain of Thought'에서 영감을 받아 이를 적용하였으며, 추론 데이터는 ChatGPT와 같은 초거대 언어 모델로 생성하였다. 본 논문의 목표는 머신러닝 모델이 추론 데이터를 이해하고 적용하는 능력을 활용하여, 감정 분류 작업의 성능을 향상시키는 것이다. 초거대 언어 모델(ChatGPT)로부터 추출한 추론 데이터셋을 활용하여 감정 분류 모델을 훈련하였으며, 이 모델은 감정 분류 작업에서 향상된 성능을 보였다. 이를 통해 추론 데이터셋이 감정 분류에 있어서 큰 가치를 가질 수 있음을 증명하였다. 또한, 이 연구는 기존에 감정 분류 작업에 사용되던 데이터셋만을 활용한 모델과 비교하였을 때, 추론 데이터를 활용한 모델이 더 높은 성능을 보였음을 증명한다. 이 연구를 통해, 적은 비용으로 초거대 언어모델로부터 생성된 추론 데이터셋의 활용 가능성을 보여주고, 감정 분류 작업 성능을 향상시키는 새로운 방법을 제시한다. 제시한 방안은 감정 분류뿐만 아니라 다른 자연어처리 분야에서도 활용될 수 있으며, 더욱 정교한 자연어 이해와 처리가 가능함을 시사한다.

• Proceedings of the Korean Society of Propulsion Engineers Conference
• /
• 2012.05a
• /
• pp.578-585
• /
• 2012

Reciprocating engine is widely used for small propeller driven aircraft. because it is the superior efficiency and low price. Currently, reciprocating engine is used for the development of KC-100, LSA, PAV, UAV in domestic. In this study, Naturally aspirated engine and turbocharger engine performance model is developed. The propeller is designed and analyzed at cruise condition of reciprocating engine aircraft using optimum method, the propeller performance model is developed. The Integrated propulsion performance model is developed, through the matching with engine and propeller performance model, for small reciprocating engine aircraft performance analysis.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.221-225
• /
• 2001

본 논문에서는 대량의 말뭉치를 바탕으로 한국어에 대해 단어 기반의 n-gram 언어 모델과 클래스 기반의 언어 모델을 구축하고, 이를 실험적으로 검증한다. 단어 기반의 n-gram 모델링의 경우 Katz의 백오프와 Kneser-ney의 스무딩(smoothing) 알고리즘에 대해 실험을 수행한다. 클래스 기반의 언어 모델의 경우에는 품사 태그를 단어의 클래스로 사용한 경우와 말뭉치로부터 자동으로 구축된 클래스를 사용한 경우로 나누어 실험한다. 마지막으로 단어 기반 모델과 클래스 기반 모델을 결합하여 각각의 모델과 그 성능을 비교한다. 실험 결과 단어 기반의 언어 모델의 경우 Katz의 백오프에 비해 Knerser-ney의 스무딩이 보다 조은 성능을 나타내었다. 클래스 기반의 모델의 경우 품사 기반의 방범보다 자동 구축된 단어 클래스를 이용하는 방법의 성능이 더 좋았다. 또한, 단어 모델과 클래스 모델을 결합한 모델이 가장 좋은 성능을 나타냈다. 논문의 모든 알고리즘은 직접 구현되었으며 KLM Toolkit이란 이름으로 제공된다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.617-621
• /
• 2021

의미역 결정은 문장 속에서 서술어와 그 논항의 관계를 파악하며, '누가, 무엇을, 어떻게, 왜' 등과 같은 의미역 관계를 찾아내는 자연어 처리 기법이다. 최근 수행되고 있는 의미역 결정 연구는 주로 말뭉치를 활용하여 딥러닝 학습을 하는 방식으로 연구가 이루어지고 있다. 최근 구글에서 개발한 사전 훈련된 Bidirectional Encoder Representations from Transformers (BERT) 모델이 다양한 자연어 처리 분야에서 상당히 높은 성능을 보이고 있다. 본 논문에서는 한국어 의미역 결정 성능 향상을 위해 한국어의 언어적 특징을 고려하며 사전 학습된 SNU KR-BERT를 사용하면서 한국어 의미역 결정 모델의 성능을 살펴보였다. 또한, 본 논문에서는 BERT 모델에서 과연 어떤 히든 레이어(hidden layer)에서 한국어 의미역 결정을 더 잘 수행하는지 알아보고자 하였다. 실험 결과 마지막 히든 레이어 임베딩을 활용하였을 때, 언어 모델의 성능은 66.4% 였다. 히든 레이어 별 언어 모델 성능을 비교한 결과, 마지막 4개의 히든 레이어를 이었을 때(concatenated), 언어 모델의 성능은 67.9% 이였으며, 11번째 히든 레이어를 사용했을 때는 68.1% 이였다. 즉, 마지막 히든 레이어를 선택했을 때보다 더 성능이 좋았다는 것을 알 수 있었다. 하지만 각 언어 모델 별 히트맵을 그려보았을 때는 마지막 히든 레이어 임베딩을 활용한 언어 모델이 더 정확히 의미역 판단을 한다는 것을 알 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04d
• /
• pp.292-294
• /
• 2003

인터넷의 보급과 활용이 증대되고 있고, 이동 통신에 대한 관심과 함께 분산 환경을 통한 컴퓨팅의 성능 향상이 중요시되고 있다. 분산 환경에서 데이터 사용의 성능을 향상시키기 위하여 데이터 중복 기법을 사용하는데, 서로 다른 복사본 사이의 데이터 일치성 유지가 필요하다. 본 논문에서는 데이터 일치성의 대표적인 모델을 Eager, Lazy, Periodic 세 가지로 구분하고. 각 모델의 특징을 알아보고 비용을 분석하여 사용자가 적절한 모델을 사용할 수 있도록 하였다. 또한 무선 컴퓨팅 환경에서의 데이터 일치성에 대한 테스트 베드를 블루투스를 이용하여 구축한 후 실제 성능을 측정하여 비용분석 모델의 유용성을 검증하였다.

• Proceedings of the KAIS Fall Conference
• /
• 2012.05b
• /
• pp.671-673
• /
• 2012

본 연구에서는 상용 엔진 해석프로그램인 GT-Power를 이용하여 디젤엔진의 성능을 개선 개발을 위한 일차원 성능해석 모델을 개발하였다. 개발된 일차원 엔진 성능모델을 통하여 엔진의 출력, 토크 및 연비등을 검토하였다. 향후 터보챠져를 장착한 엔진개발에 사용이 가능하도록 터보매칭을 할 수 있는 모델을 추가하였으며, 향후 디젤엔진의 실험결과와 비교를 통하여 엔진 모델을 지속적으로 보완할 예정이다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2000.04a
• /
• pp.116-118
• /
• 2000

분산 공유 메모리(Distributed Shared Memory)시스템은 사용자에게 간단한 공유메모리 개념을 제공하기 때문에 사용자는 노드 사이의 데이터 이동에 관여할 필요가 없다. DSM에서 일치서 유지를 위한 프로토콜을 선택하는 것은 통신부하를 줄이는데 중요한 역할을 한다. 본 논문은 DSM 프로토콜을 효과적으로 선택하기 위한 새로운 성능평가 모델을 제시한다. 본 연구에서 제안하는 성능평가 모델을 사용함으로써 무효화방식(invalidate protocol), 갱신 방식(update protocol) 그리고 이주방식(migratory protocol)의 성능예측이 가능하다. 본 성능평가모델은 노드들 사이의 데이터 일치성(consistency)유지를 위한 부담을 최소화하는 최적의 DSM 프로토콜을 결정하는데 사용된다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.218-220
• /
• 2021

본 논문에서는 CAR(content adaptive resampler)로 축소된 저해상도 이미지를 직접 다른 모델에 여러가지 방식으로 훈련을 시켜 성능을 개선시키고자 하였다. 본 논문에서는 단일 영상 super resolution 에 관하여 여러 기술이 존재하는 상황에 더 나은 기술을 테스트하려 하고 그를 위해 과거의 모델들에 대한 이해가 필요하여 이를 구현하였다. 현재 가장 뛰어난 성능을 보이고 있는 모델 중의 하나인 CAR 에서 복원 전 이미지를 사용하여 훈련을 시키면 더 나은 성능의 모델을 만들 수 있을 것이라고 가정하고 다양한 훈련을 통해 성능을 개선시키고자 하였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2003.04c
• /
• pp.118-120
• /
• 2003

컴포넌트 기반 개발 방법은 조립 가능한 컴포넌트들을 이용하여 소프트웨어를 구현하는 기술로써, 소프트웨어의 생산성 및 품질을 높이는 효과적인 방법으로 알려져 있다. 향후 성장이 예상되는 컴포넌트 시장에서는 여러 컴포넌트 공급자들에 의해 COTS나 Web Services의 형태로 동일 내지는 유사 기능을 수행하는 대체 가능한 컴포넌트들이 나타나게 될 것이다. 개발되는 컴포넌트 기반 소프트웨어의 품질을 위해서는 여러 경쟁 컴포넌트들 중에서 우수한 성능을 가진 컴포넌트를 선택하는 기술이 중요한 요소의 하나라고 할 수 있다. 일반적으로 컴포넌트는 컴포넌트 모델에 종속적이기 때문에 컴포넌트의 성능 측정기도 측정 대상 컴포넌트뿐만 아니라 컴포넌트 모델에 종속적으로 구현된다. 본 논문은 컴포넌트 모델과 미들웨어 프레임워크에 중립적인 분산 컴포넌트의 성능 측정 모델에 대하여 설명한다. 이 모델을 이용하여 컴포넌트 모델에 중립 적인 성능측정기를 개발할 수 있으며 컴포넌트의 비교와 검증에 필요한 객관적인 성능 측정 결과를 얻을 수 있다.