• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2002.05a
• /
• pp.163-167
• /
• 2002

문제 해결 상황에서의 전이 학습에 관한 연구는 실제 학습 장면에서 학생들이 문제를 좀 더 쉽게 이해하도록 하고, 이를 바탕으로 효율적인 학습이 일어나도록 한다는 점에서 중요하다. 본 연구의 목적은 컴퓨터 학습 환경에서 학습 자료의 난이도와 예제의 사용이 전이에 어떠한 영향을 미치는지에 대하여 알아보고자 수행되었다. 첫 번째 실험에서는 문제 구조가 비교적 잘 정의되어 있는 확률 문제를 대상으로 하여 학습 자료 유형과 난이도가 전이에 미치는 영향을 알아보기 위하여 실시되었다. 학습 자료 유형은 재인(recognition), 증명(verification), 유추(analogy) 세 가지 조건이었으며, 문제의 난이도는 피험자의 수행 평가를 기준으로 하여 세 가지 수준으로 조작되었다. 두 번째 실험에서는 학습 자료 유형과 예제(earlier example)가 전이 학습에 미치는 영향을 알아보기 위하여 실시되었다. 실험 결과 학습 자료 유형과 난이도 각각의 주효과가 통계적으로 유의하였으며, 예제의 제시유무는 전이 검사에서만 경향성을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.135-140
• /
• 2020

사전 학습된 Transformer 기반 언어 모델은 자연어처리 시스템에 적용되었을 시 광범위한 사례에서 큰 폭의 성능 향상을 보여준다. 여기서 사전 학습에 사용되는 언어 모델링 태스크는 비지도 학습에 속하는 기술이기 때문에 상대적으로 데이터의 확보가 쉬운 편이다. 하지만 몇 종의 주류 언어를 제외한 대부분 언어는 활용할 수 있는 언어 자원 자체가 희소하며, 따라서 이러한 사전 학습 기술의 혜택도 누리기 어렵다. 본 연구에서는 이와 같은 상황에서 발생할 수 있는 자원 희소성 문제를 극복하기 위해 이종 언어 간 전이 학습을 이용하는 방법을 제안한다. 본 방법은 언어 자원이 풍부한 언어에서 학습된 Transformer 기반 언어 모델에서 얻은 파라미터 중 재활용 가능한 부분을 이용하여 목표 언어의 모델을 초기화한 후 학습을 진행한다. 또한, 기존 언어와 목표 언어의 차이를 학습하는 역할을 하는 적응층들을 추가하여 이종 언어 간 전이 학습을 돕는다. 제안된 방법을 언어 자원이 희귀한 상황에 대하여 실험해본 결과, 전이 학습을 사용하지 않은 기준 모델 대비 perplexity와 단어 예측의 정확도가 큰 폭으로 향상됨을 확인하였다.

• Education of Primary School Mathematics
• /
• v.18 no.1
• /
• pp.31-44
• /
• 2015

This study aims to test effect of transfer learning program rather than students' transfer ability. For these purpose, firstly this study design transfer learning program to apply from 'rate concept' in learning math class to 'velocity concept' in science class. Subsequently, this study is to analyze whether this program affect on 'the rate concept understanding' and 'the mathematics learning attitude'. Followings are the findings from this study. First, transfer learning program affect on improving students' rate concept understanding. Moreover, 17 among 35 students' who stay in 'ratio level' move to 'internalized ratio level'. Second, besides transfer learning program is not only cause to change students' learning attitude, this program impact on changing their learning attitude positively. The study has an important implications in that it designed new learning program that students experience transfer and test its effect.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.437-440
• /
• 2020

최근 자연어 처리에서는 사전 학습과 전이 학습을 통하여 다양한 과제에 높은 성능 향상을 성취하고 있다. 사전 학습의 대표적 모델로 구글의 BERT가 있으며, 구글에서 제공한 다국어 모델을 포함해 한국의 여러 연구기관과 기업에서 한국어 데이터셋으로 학습한 BERT 모델을 제공하고 있다. 하지만 이런 BERT 모델들은 사전 학습에 사용한 말뭉치의 특성에 따라 이후 전이 학습에서의 성능 차이가 발생한다. 본 연구에서는 소셜미디어에서 나타나는 구어체와 신조어, 특수문자, 이모지 등 일반 사용자들의 문장에 보다 유연하게 대응할 수 있는 한국어 뉴스 댓글 데이터를 통해 학습한 KcBERT를 소개한다. 본 모델은 최소한의 데이터 정제 이후 BERT WordPiece 토크나이저를 학습하고, BERT Base 모델과 BERT Large 모델을 모두 학습하였다. 또한, 학습된 모델을 HuggingFace Model Hub에 공개하였다. KcBERT를 기반으로 전이 학습을 통해 한국어 데이터셋에 적용한 성능을 비교한 결과, 한국어 영화 리뷰 코퍼스(NSMC)에서 최고 성능의 스코어를 얻을 수 있었으며, 여타 데이터셋에서는 기존 한국어 BERT 모델과 비슷한 수준의 성능을 보였다.

• Journal of IKEEE
• /
• v.23 no.4
• /
• pp.1408-1414
• /
• 2019

Deep artificial neural network with transfer learning is applied to compressed sensing cardiovascular MRI. Transfer learning is a method that utilizes structure, filter kernels, and weights of the network used in prior learning for current learning or application. The transfer learning is useful in accelerating learning speed, and in generalization of the neural network when learning data is limited. From a cardiac MRI experiment, with 8 healthy volunteers, the neural network with transfer learning was able to reduce learning time by a factor of more than five compared to that with standalone learning. Using test data set, reconstructed images with transfer learning showed lower normalized mean square error and better image quality compared to those without transfer learning.

• The Journal of the Convergence on Culture Technology
• /
• v.10 no.3
• /
• pp.909-914
• /
• 2024

This study suggests a quantitative evaluation of transfer learning, which is widely used in various AI fields, including image recognition for robot vision. Quantitative and qualitative analyses of results applying transfer learning are presented, but transfer learning itself is not discussed. Therefore, this study proposes a quantitative evaluation of transfer learning itself based on MNIST, a handwritten digit database. For the reference network, the change in recognition accuracy according to the depth of the transfer learning frozen layer and the ratio of transfer learning data and pre-training data is tracked. It is observed that when freezing up to the first layer and the ratio of transfer learning data is more than 3%, the recognition accuracy of more than 90% can be stably maintained. The transfer learning quantitative evaluation method of this study can be used to implement transfer learning optimized according to the network structure and type of data in the future, and will expand the scope of the use of robot vision and image analysis AI in various environments.

• 한국경영정보학회:학술대회논문집
• /
• 2008.06a
• /
• pp.1078-1083
• /
• 2008

본 연구는 기존의 전통적인 교육훈련의 전이(transfer of training)모델을 e-Learning상황으로 재해석하여 기업이 e-Learning을 도입하고 운영함에 있어서 보다 실질적인 성과를 높일 수 있는 방향을 제시하며, 또한 오늘날 지식 정보화 사회에서 기업 경쟁력의 원천인 지식자본의 확대를 목적으로 하는 e-Learning이 되기 위해서 학습조직 요인의 중요성을 확인하고, 앞으로 기업이 학습조직의 향상 방향으로 e-Learning을 도입하고 운영할 수 있도록 시사점을 제시하고자 하는 것을 목적으로 한다. 이를 위해 먼저 기존의 전통적 교육훈련의 전이모델과 e-Learning의 성과에 관한 선행연구를 바탕으로 기업에서의 e-Learning의 학습효과 및 실무전이에 영향을 미치는 요인이 무엇인지 추출하는 연구모형을 통해 각 요인들 간의 상호관계와 실무전이에 대하여 학습효과를 매개로 하는 관계를 분석함으로써 e-Learning의 학습효과 및 실무전이에 관한 영향 관계를 보다 체계적이고 포괄적으로 밝히고자 하며, 다음으론 e-Learning이 기업 교육훈련의 학습효과와 실무전이에 영향을 미칠 때 학습조직이 상황적 요인으로 추가되면 e-Learning의 학습효과와 실무전이 성과를 Leverage할 수 있는지 각 요인별 조절효과를 검증하고자 하여 실증연구를 수행 중에 있다.

• KIPS Transactions on Computer and Communication Systems
• /
• v.11 no.4
• /
• pp.105-112
• /
• 2022

Recently, many studies using reinforcement learning-based autoscaling have been performed to make autoscaling policies that are adaptive to changes in the environment and meet specific purposes. However, training the reinforcement learning-based Horizontal Pod Autoscaler(HPA) policy in a real environment requires a lot of money and time. And it is not practical to retrain the reinforcement learning-based HPA policy from scratch every time in a real environment. In this paper, we implement a reinforcement learning-based HPA in Kubernetes, and propose a transfer leanring technique using a queuing model-based simulation to accelerate the training of a reinforcement learning-based HPA policy. Pre-training using simulation enabled training the policy through simulation experience without consuming time and resources in the real environment, and by using the transfer learning technique, the cost was reduced by about 42.6% compared to the case without transfer learning technique.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2018.01a
• /
• pp.99-100
• /
• 2018

컴퓨팅 사고력이 강조됨에 따라 우리 나라를 비롯한 세계 여러 나라에서는 프로그래밍 교육 등 컴퓨팅 관련 교육을 실시하고 있다. 일반적으로 프로그래밍 교육에서 초보 학습자에게는 블록 기반 프로그래밍 언어를 학습한 후 텍스트 기반 프로그래밍 언어를 학습하게 된다. 블록 기반 언어와 텍스트 기반 언어는 동일한 프로그래밍 논리를 함양하게 되지만, 다른 모든 언어들과 마찬가지로 언어 특성, 사용법, 형태 등 다소 차이가 있다. 따라서 본 논문에서는 블록 기반 프로그래밍 언어에서 텍스트 기반 프로그래밍 언어의 학습 전이의 효과에 대해 이론적 고찰을 실시하였으며, 그 결과 대부분의 연구에서 긍정적 전이 효과를 입증하였음을 확인하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.79-80
• /
• 2022

본 논문에서는 데이터 증강 기법 중 하나인 EDA를 적용하여 BERT 기반의 감성 분류 언어 모델을 만들고, 성능 개선 방법을 제안한다. EDA(Easy Data Augmentation) 기법은 테이터가 한정되어 있는 환경에서 SR(Synonym Replacement), RI(Random Insertion), RS(Random Swap), RD(Random Deletion) 총 4가지 세부 기법을 통해서 학습 데이터를 증강 시킬 수 있다. 이렇게 증강된 데이터를 학습 데이터로 이용해 구글의 BERT를 기본 모델로 한 전이학습을 진행하게 되면 감성 분류 모델을 생성해 낼 수 있다. 데이터 증강 기법 적용 후 전이 학습을 통해 생성한 감성 분류 모델의 성능을 증강 이전의 전이 학습 모델과 비교해 보면 정확도 측면에서 향상을 기대해 볼 수 있다.