• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.622-624
• /
• 2021

현재 BERT와 같은 대용량의 코퍼스로부터 학습된 사전 학습 언어 모델을 자연어 응용 태스크에 적용하기 위해 일반적으로 널리 사용되는 방법은 Fine-tuning으로 각 응용 태스크에 적용 시 모델의 모든 파라미터를 조정하기 때문에 모든 파라미터를 조정하는데 필요한 시간적 비용과 함께 업데이트된 파라미터를 저장하기 위한 별도의 저장공간이 요구된다. 언어 모델이 커지면 커질수록 저장 공간의 비용이 증대됨에 따라 이러한 언어모델을 효율적으로 튜닝 할 수 있는 방법들이 연구되었다. 본 연구에서는 문장의 입력 임베딩에 연속적 태스크 특화 벡터인 prefix를 추가하여 해당 prefix와 관련된 파라미터만 튜닝하는 prefix-tuning을 한국어 네이버 감성 분석 데이터 셋에 적용 후 실험결과를 보인다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.591-595
• /
• 2023

최근 지시 학습을 통해 미세 조정한 자연어 처리 모델들이 큰 성능 향상을 보이고 있다. 하지만 한국어로 학습된 자연어 처리 모델에 대해 지시 학습을 진행할 수 있는 데이터 세트는 공개되어 있지 않아 관련 연구에 큰 어려움을 겪고 있다. 본 논문에서는 T5 기반 한국어 자연어 처리 모델인 Long KE-T5로 영어 데이터 세트를 번역하여 한국어 지시 학습 데이터 세트를 구축한다. 또한 구축한 데이터 세트로 한국어로 사전 학습된 Long KE-T5 모델을 미세 조정한 후 성능을 확인한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.644-647
• /
• 2023

대화 시스템에서 대화 상태 추적은 사용자와의 대화를 진행하면서 사용자의 의도를 파악하여 시스템 응답을 결정하는데 있어서 중요한 역할을 수행한다. 특히 목적지향(task-oriented) 대화에서 사용자 목표(goal)를 만족시키기 위해서 대화 상태 추적은 필수적이다. 최근 다양한 자연어처리 다운스트림 태스크들이 사전학습 언어모델을 백본 네트워크로 사용하고 그 위에서 해당 도메인 태스크를 미세조정하는 방식으로 좋은 성능을 내고 있다. 본 논문에서는 한국어 토큰-프리(token-free) 사전학습 언어모델인 KeByT5B 사용하고 종단형(end-to-end) seq2seq 방식으로 미세조정을 수행한 한국어 생성 기반 대화 상태 추적 모델을 소개하고 관련하여 수행한 실험 결과를 설명한다.

• Management & Information Systems Review
• /
• v.31 no.1
• /
• pp.89-116
• /
• 2012

This paper is an empirical study for the listed manufacturing companies in the Korea Stock Exchange during the sample period(2001-2010). The research is based on the target adjustment model(Shyam-Sunder and Myers(1999)) and the pecking order model(Frank and Goyal(2003)), and is aimed at reflecting the critical viewpoint of Chirinko and Singha(2000). An analysis in the model of Shyam-Sunder and Myers(1999) shows the value is too low to support the pecking order model in view of the following results. A target adjustment coefficient value is between 0 and 1, and is significant variable and explanatory power is very high, while deficit-in-funds coefficients close to 0. In addition, the result of an empirical test following the methodology used by Frank and Goyal(2003) does not support the pecking order theory.

• Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
• /
• v.28 no.2
• /
• pp.247-254
• /
• 2010

In this paper, a new approach has been studied correcting the geometric distortion of SPOT 4 imagery. Two new equations were induced by the relationship between satellite and the Earth in the space. line-of-sight (LOS) vector adjustment model for SPOT 4 imagery was implemented in this study. This model is to adjust LOS vector under the assumption that the orbital information of satellite provided by receiving station is uncertain and this uncertainty makes a constant error over the image. This model is verified using SPOT 4 satellite image with high look angle and thirty five ground points, which include 10 GCPs(Ground Control Points) and 25 check points, measured by the GPS. In total thirty five points, the geometry of satellite image calculated by given satellite information(such as satellite position, velocity, attitude and look angles, etc) from SPOT 4 satellite image was distorted with a constant error. Through out the study, it was confirmed that the LOS vector adjustment model was able to be applied to SPOT4 satellite image. Using this model, RMSEs (Root Mean Square Errors) of twenty five check points taken by increasing the number of GCPs from two to ten were less than one pixel. As a result, LOS vector adjustment model could efficiently correct the geometry of SPOT4 images with only two GCPs. This method also is expected to get good results for the different satellite images that are similar to the geometry of SPOT images.

• Journal of the Earthquake Engineering Society of Korea
• /
• v.12 no.1
• /
• pp.11-20
• /
• 2008

In probabilistic seismic analysis of nonlinear structural system, dynamic analysis is performed to obtain the distribution of the response estimate using input ground motion time histories which correspond to a given seismic hazard level. This study investigates the differences in the distribution of the responses and the failure probability according to input ground motion models. Two types of input ground motion models are considered: real earthquake records scaled to specified intensity level and artificial input ground motion fitted to design response spectrum. Simulation results fir a nonlinear SDOF system demonstrate that the spectrum matched input ground motion produces larger failure probability than those of scaled input ground motion due to biased responses. Such tendency is more remarkable in the site of soft soil conditions. Analysis results show that such difference of failure probability is due to the conservative estimation of design response spectrum in the range of long period of ground motion.

• Transactions on Semiconductor Engineering
• /
• v.1 no.1
• /
• pp.23-30
• /
• 2023

With the recent development of Generative AI technology by IT giants, the size of the transformer model is increasing exponentially over trillion won. In order to continuously enable these AI services, it is essential to reduce the weight of the model. In this paper, we find a hardware-friendly structured pruning pattern and propose a lightweight method of the transformer model. Since compression proceeds by utilizing the characteristics of the model algorithm, the size of the model can be reduced and performance can be maintained as much as possible. Experiments show that the structured pruning proposed when pruning GPT-2 and BERT language models shows almost similar performance to fine-grained pruning even in highly sparse regions. This approach reduces model parameters by 80% and allows hardware acceleration in structured form with 0.003% accuracy loss compared to fine-tuned pruning.

• Nuclear industry
• /
• v.23 no.6 s.244
• /
• pp.48-56
• /
• 2003

본 연구의 목표는 원전의 안전성 확보에 기여할 수 있는 조직 및 인적 요인의 평가에 대한 시스템 다이나믹스(System Dynamics) 모델을 만드는데 있다. 기존의 연구는 크게 인간 공학 혹은 확률론적 안전성 평가와 같은 공학적 방법과 조직 사회학적 접근으로 구분할 수 있다. 양 방법은 조직 및 인적 요인이 무엇인지를 밝혀주고 인적 실수를 줄이기 위한 지침을 제공해 준다. 그러나 인자들간의 상호 독립성의 가정은 원전에서 일어나고 있는 요인들간의 상호 작용을 설명하는데 어려움을 지닌다. 이러한 제약 사항을 극복하기 위해서 조직 및 인적 요인 사이의 인과 관계를 보여줄 수 있는 시스템 다이나믹스 모델을 개발하였다. 개발된 모델을 통하여 리더십, 직원 수의 조정, 각 부서별 업무량의 조정 등을 조작하면서 모델의 사용자들은 조직 측면에서 원전의 안전성이 어떻게 변화하는가를 확인할 수 있다. 시뮬레이션을 통해서 사용자들은 관리적인 시사점을 얻을 수 있을 것이다.

• Proceedings of the Korea Inteligent Information System Society Conference
• /
• 2000.04a
• /
• pp.398-413
• /
• 2000

본 논문의 목적은 유사도와 강화 학습을 사용하여, 정보를 제공하는 에이전트와 정보를 요청하는 에이전트간의 연결을 매개하는 조정 에이전트(Coordination Agent, Middle Agent) 구현 방식을 제안하는데 있다.본 논문에서는 질의 에이전트의 질의와 가장 밀접한 정보를 제공하는 것으로 판단되는 정보 에이전트를 찾는 방안을 제안하고자 한다. 정보 에이저트와 질의 에이전트는 조정에이전트에 정보를 등록·요청할 때, 조정 에이전트에 이미 존재하는 기본 오톨로지(Base Ontology)에 자신이 제공·질의하는 정보의 상대적 가중치를 함께 등록한다. 조정 에이전트는 질의 에이전트와 정보 에이전트의 가중치를 고려하여 유사도를 구하고, 구해진 유사도를 이용하여 가장 근접한 정보를 제공하는 정보 에이전트를 찾아 연결한다. 가중치를 제공하지 않는 질의 에이전트의 경우에는 강화 학습으로 얻어진 특성 자료를 이용하여 조정 에이전튼가 임의로 가중치를 구하고, 얻어진 결과에 대하여 타당성을 검증한다.

• Proceedings of the Korean Operations and Management Science Society Conference
• /
• 2005.05a
• /
• pp.899-903
• /
• 2005

eSCM의 확산은 기업의 경쟁 환경을 급변시키고 있다. 과거의 생산성 및 효율성을 통한 원가 절감과 품질 개선 중심에서 벗어나 시장수요를 신속하게 충족시키는 응답성 중심으로 변하고 있다. 이는 고객이 요구하는 제품, 가격 및 조건에 관계없이 최소의 비용으로 신속하게 고객에게 가치를 제공하는 것이다. 이렇게 eSCM의 확산이 빠르게 진행되고 있지만 공급체인의 한 구성원인 제조부문과는 아직도 정보 흐름의 공유가 잘 이루어지지 않고 있는 실정이다. 불확실한 수요예측은 재고품절을 발생시키며 고객들의 주문취소나 많은 품절 비용을 초래하게 된다. 따라서 본 연구에서는 조정 에이전트 기반으로 고객과 제조자와 공급자 간의 조정을 통해 최소비용으로 주문량에 대해 분할 납품을 제시하고 그에 따른 비용을 산출하여 그 비용만큼 할인혜택을 부여함으로써 고객만족도와 비용측면을 비교 검증한 모델을 제시한다.