• 대한임베디드공학회논문지
• /
• 제15권2호
• /
• pp.43-49
• /
• 2020

In this paper, we propose a stage-wise knowledge transfer method that uses block-wise retraining to transfer the useful knowledge of a pre-trained residual network (ResNet) in a teacher-student framework (TSF). First, multiple hint information transfer and block-wise supervised retraining of the information was alternatively performed between teacher and student ResNet models. Next, Softened output information-based knowledge transfer was additionally considered in the TSF. The results experimentally showed that the proposed method using multiple hint-based bottom-up knowledge transfer coupled with incremental block-wise retraining provided the improved student ResNet with higher accuracy than existing KD and hint-based knowledge transfer methods considered in this study.

• ETRI Journal
• /
• 제41권2호
• /
• pp.242-253
• /
• 2019

We devise a layer-wise hint training method to improve the existing hint-based knowledge distillation (KD) training approach, which is employed for knowledge transfer in a teacher-student framework using a residual network (ResNet). To achieve this objective, the proposed method first iteratively trains the student ResNet and incrementally employs hint-based information extracted from the pretrained teacher ResNet containing several hint and guided layers. Next, typical softening factor-based KD training is performed using the previously estimated hint-based information. We compare the recognition accuracy of the proposed approach with that of KD training without hints, hint-based KD training, and ResNet-based layer-wise pretraining using reliable datasets, including CIFAR-10, CIFAR-100, and MNIST. When using the selected multiple hint-based information items and their layer-wise transfer in the proposed method, the trained student ResNet more accurately reflects the pretrained teacher ResNet's rich information than the baseline training methods, for all the benchmark datasets we consider in this study.

• 한국멀티미디어학회논문지
• /
• 제24권12호
• /
• pp.1598-1605
• /
• 2021

Recently, convolutional neural networks (CNNs) have been widely used with excellent performance in various computer vision fields, including super-resolution (SR). However, CNN is computationally intensive and requires a lot of memory, making it difficult to apply to limited hardware resources such as mobile or Internet of Things devices. To solve these limitations, network lightening studies have been actively conducted to reduce the depth or size of pre-trained deep CNN models while maintaining their performance as much as possible. This paper aims to lighten the SR CNN model, SRGAN, using the knowledge distillation among network lightening technologies; thus, it proposes four techniques with different methods of transferring the knowledge of the teacher network to the student network and presents experiments to compare and analyze the performance of each technique. In our experimental results, it was confirmed through quantitative and qualitative evaluation indicators that student networks with knowledge transfer performed better than those without knowledge transfer, and among the four knowledge transfer techniques, the technique of conducting adversarial learning after transferring knowledge from the teacher generator to the student generator showed the best performance.

• 공학교육연구
• /
• 제10권2호
• /
• pp.87-105
• /
• 2007

본 연구에서는 열전달 및 수치해석을 주제로 통합적 영재 교육프로그램을 개발하고 영재아를 대상으로 한 교육에서 학생들의 반응과 통합적 영재 프로그램의 적용 가능성 및 효과에 대해서 연구하였다. 통합적 영재 프로그램은 크게 컴퓨터 프로그램 언어, 물리적 현상의 수학적 모델링, 수치해석방법의 3단계로 구성되어 있으며 대상은 청주교육대학교 영재센터 수학반 중3학생 4명이다. 수업은 4시간씩 15회 진행되었으며, 수업 종료 후 제출한 학생들의 보고서와 인터뷰를 통하여 프로그램의 적용 가능성 및 효과를 탐색하였다. 본 연구에서 개발한 통합적 영재프로그램의 투입 결과 4명 중 3명이 본 프로그램에서 목표로 하는 문제 해결을 수행하였다. 컴퓨터 프로그래밍 언어나 수치해석의 경우 비교적 잘 이해하는 편으로 생각됐으나 고등 수학이 필요한 물리적 현상의 수학적 모델링은 잘 이해하지 못하는 것으로 판단된다. 프로그램에 대한 만족도는 영재아의 특성에 따라 다르게 나타났다. 학생들은 통합적으로 구성된 본 프로그램은 과학교육프로그램의 하나로 생각하는 경향이 있어, 수학에만 흥미 있는 학생들의 만족도는 낮았다. 반대로 다양한 분야에 흥미를 가진 학생은 비교적 만족도가 높았으며 각자에게 자신감과 동기부여가 되는 결과를 얻었다.

• Journal of Mechanical Science and Technology
• /
• 제15권6호
• /
• pp.752-763
• /
• 2001

Although there are many different solution schemes proposed for multidimensional radiative transfer, reference solutions to benchmark these methods are very rare in the literature. In this paper we produced some accurate solutions for purely absorbing gray and nongray gases including H$_2$O and CO$_2$by using the discrete transfer method with sufficiently accurate T(sub)95 quadrature set. The spectral transmittances of the mixtures of H$_2$O and CO$_2$are estimated by using the narrow band model. The gray gas solutions are obtained for different absorption coefficients, and the nongray real gas solutions are obtained for different mixture fractions of H$_2$O and CO$_2$. The numerical solutions presented in this paper are proved to be sufficiently accurate as compared to the available exact solutions and they may be used as reference solutions in evaluating various solution schemes.

• ETRI Journal
• /
• 제46권1호
• /
• pp.59-70
• /
• 2024

We introduce a high-performance named entity recognition (NER) model for written and spoken language. To overcome challenges related to labeled data scarcity and domain shifts, we use transfer learning to leverage our previously developed KorBERT as the base model. We also adopt a meta-pseudo-label method using a teacher/student framework with labeled and unlabeled data. Our model presents two modifications. First, the student model is updated with an average loss from both human- and pseudo-labeled data. Second, the influence of noisy pseudo-labeled data is mitigated by considering feedback scores and updating the teacher model only when below a threshold (0.0005). We achieve the target NER performance in the spoken language domain and improve that in the written language domain by proposing a straightforward rollback method that reverts to the best model based on scarce human-labeled data. Further improvement is achieved by adjusting the label vector weights in the named entity dictionary.

• Journal of Yeungnam Medical Science
• /
• 제34권1호
• /
• pp.62-68
• /
• 2017

Background: This study was conducted to examine the academic achievements of first year medical students in one medical school based on their characteristics and student selection factors of admission. Methods: The admission scores of student selection factors (Medical Education Eligibility Test [MEET], grade point average [GPA], English test score and interview) and demographic information were obtained from 61 students who had interviewed (multiple mini interview [MMI]) for admission (38 graduate medical school students in 2014, 23 medical college-transfer students in 2015). T-tests and ANOVA were used to examine the differences in academic achievement according to the student characteristics. Correlations between admission criteria scores and academic achievements were examined. Results: MEET score was higher among graduate medical students than medical college transfer students among student selection factors for admission. There were no significant differences in academic achievement of first grade medical school between age, gender, region of high school, years after graduation and school system. The lowest interview score group showed significantly lower achievement in problem-based learning (PBL) (p=0.034). Undergraduate GPA score was positively correlated with first grade total score (r=0.446, p=0.001) among admission scores of student selection factors. Conclusion: Students with higher GPA scores tend to do better academically in their first year of medical school. In case of interview, academic achievement did not lead to differences except for PBL.

• 한국융합학회논문지
• /
• 제12권11호
• /
• pp.35-43
• /
• 2021

최근 다언어모델(Cross-lingual language model)을 활용하여 한 번도 보지 못한 특정 언어의 하위 태스크를 수행하는 제로샷 교차언어 전이(Zero-shot cross-lingual transfer)에 대한 관심이 증가하고 있다. 본 논문은 기계번역 품질 예측(Quality Estimation, QE)을 학습하기 위한 데이터 구축적 측면에서의 한계점을 지적하고, 데이터를 구축하기 어려운 상황에서도 QE를 수행할 수 있도록 제로샷 교차언어 전이를 수행한다. QE에서 제로샷을 다룬 연구는 드물며, 본 논문에서는 교차언어모델을 활용하여 영어-독일어 QE 데이터에 대해 미세조정을 실시한 후 다른 언어쌍으로의 제로샷 전이를 진행했고 이 과정에서 다양한 다언어모델을 활용하여 비교 연구를 수행했다. 또한 다양한 자원 크기로 구성된 언어쌍에 대해 제로샷 실험을 진행하고 실험 결과에 대해 언어별 언어학적 특성 관점으로의 분석을 수행하였다. 실험결과 multilingual BART와 multillingual BERT에서 가장 높은 성능을 보였으며, 특정 언어쌍에 대해 QE 학습을 전혀 진행하지 않은 상황에서도 QE를 수행할 수 있도록 유도하였다.

• 한국콘텐츠학회논문지
• /
• 제17권11호
• /
• pp.123-134
• /
• 2017

본 연구에서는 한국교육개발원의 한국교육종단조사 2005 데이터를 사용하여 편입생들의 편입 이전의 대학생활이 일반학생과 어떻게 다른지를 탐색적으로 분석하였다. 본 연구의 대조집단은 편입하지 않는 학생 전체를 대상으로 하는 대조집단 1과 관찰집단 유사한 특성을 가지는 학생을 1:1 매칭하여 표집한 대조집단 2로 나누었다. 대조집단 1의 7차년도 및 8차년도 대학생활과 비교하고, 대조집단 2의 7차년도 및 8차년도 대학생활과 비교하여 각 변수별로 총 4 종류의 비교를 실시하였다. 분석 결과에 따르면 편입학생들은 이전의 대학에서 일반학생에 비해 성적이 우수하고, 수업에도 적극적으로 참여하며, 수업 외의 항목에서 교수와도 활발히 교류하는 것으로 나타났다. 반면에 편입학생들은 이전 대학에서 상대적으로 학교생활 만족도가 낮고, 학교에 대한 소속감이 낮았다. 또한 학생회, 축제와 같은 기타 교내 활동 참여도나 친구 및 선후배와의 교류도 적은 경향이 있는 것으로 나타났다. 즉, 편입생들은 편입 이전의 학교에서 학점과 교수와의 교류 등 학교의 공식적인 활동에서는 일반학생들에 비해 뛰어났으나 학생들 간의 교류나 대학생으로서의 다양한 활동 등 학교생활의 정서적인 측면에서는 활동을 잘 하지 않는 것으로 나타났다. 본 연구의 결과를 활용하여 향후 편입생들의 학교 적응을 효율적으로 돕기 위한 프로그램 개발 방안을 마련할 필요가 있다.

• Journal of the Korean Data and Information Science Society
• /
• 제14권1호
• /
• pp.11-21
• /
• 2003

In 1997 a new educational system that allows student to transfer between and within universities was first introduced. As a result, most colleges of basic arts and sciences face a serious problem since quite a few students there have transferred or seems to want to transfer. In this paper we study a problem of building a forecasting neural network for students who can possibly transfer.