• 제목/요약/키워드: teacher-student framework

검색결과 56건 처리시간 0.025초

Layer-wise hint-based training for knowledge transfer in a teacher-student framework

  • Bae, Ji-Hoon;Yim, Junho;Kim, Nae-Soo;Pyo, Cheol-Sig;Kim, Junmo
    • ETRI Journal
    • /
    • 제41권2호
    • /
    • pp.242-253
    • /
    • 2019
  • We devise a layer-wise hint training method to improve the existing hint-based knowledge distillation (KD) training approach, which is employed for knowledge transfer in a teacher-student framework using a residual network (ResNet). To achieve this objective, the proposed method first iteratively trains the student ResNet and incrementally employs hint-based information extracted from the pretrained teacher ResNet containing several hint and guided layers. Next, typical softening factor-based KD training is performed using the previously estimated hint-based information. We compare the recognition accuracy of the proposed approach with that of KD training without hints, hint-based KD training, and ResNet-based layer-wise pretraining using reliable datasets, including CIFAR-10, CIFAR-100, and MNIST. When using the selected multiple hint-based information items and their layer-wise transfer in the proposed method, the trained student ResNet more accurately reflects the pretrained teacher ResNet's rich information than the baseline training methods, for all the benchmark datasets we consider in this study.

비지도학습 기반의 뎁스 추정을 위한 지식 증류 기법 (Knowledge Distillation for Unsupervised Depth Estimation)

  • 송지민;이상준
    • 대한임베디드공학회논문지
    • /
    • 제17권4호
    • /
    • pp.209-215
    • /
    • 2022
  • This paper proposes a novel approach for training an unsupervised depth estimation algorithm. The objective of unsupervised depth estimation is to estimate pixel-wise distances from camera without external supervision. While most previous works focus on model architectures, loss functions, and masking methods for considering dynamic objects, this paper focuses on the training framework to effectively use depth cue. The main loss function of unsupervised depth estimation algorithms is known as the photometric error. In this paper, we claim that direct depth cue is more effective than the photometric error. To obtain the direct depth cue, we adopt the technique of knowledge distillation which is a teacher-student learning framework. We train a teacher network based on a previous unsupervised method, and its depth predictions are utilized as pseudo labels. The pseudo labels are employed to train a student network. In experiments, our proposed algorithm shows a comparable performance with the state-of-the-art algorithm, and we demonstrate that our teacher-student framework is effective in the problem of unsupervised depth estimation.

초등 과학 수업에서 '반응적 교수'의 실현 가능성 탐색 (An Exploration of the Possibility of Implementing 'Responsive Teaching' (RT) in Elementary Science Classrooms)

  • 오지언;오필석
    • 한국초등과학교육학회지:초등과학교육
    • /
    • 제36권3호
    • /
    • pp.227-245
    • /
    • 2017
  • The purpose of this study was to explore the possibility of implementing 'responsive teaching (RT)' in elementary school science classrooms. A review of relevant literature yielded a tentative framework of RT which consisted of three characteristics of RT and example practices for each characteristic. The RT framework was used to analyze elementary science lessons on the topic of the transpiration in plant leaves. The data sources were audio recordings of three $5^{th}$ grade classrooms which included both the whole-class instruction and student group activities. The data were examined through collaboration between the teacher who had taught the lessons and a university-based science education researcher. It was revealed that the implementation of RT was limited when the teacher's intervention was focused on completing tasks; when it was out of the contexts of student activities; when the teacher provided earlier what students were supposed to find out by themselves; and when the teacher's comments were evaluation-centered. By contrast, the implementation of RT was made highly possible when the teacher's intervention induced an intellectual debate among students; when the teacher negotiated meanings with students; when the teacher connected what students shared to scientific knowledge; and when the teacher prompted students to solve a new problem. Implications about implementing and studying RT were discussed.

Reconsidering the Category Framework for Describing Mathematics Teachers' Values

  • Wang, Chih Yeuan
    • 한국수학교육학회지시리즈D:수학교육연구
    • /
    • 제15권1호
    • /
    • pp.59-68
    • /
    • 2011
  • This paper proposes a modified category framework derived from VAMP and VIMT projects for describing teachers' mathematical and pedagogical values, and examines the dialectical relations between values awareness/willingness and teaching, based on case studies of student teachers of secondary mathematics from a follow-up project of VIMT. The preliminary results show that student teachers would teach certain values depending on the awareness of values priority, willingness to teach, their teaching capabilities and classroom conditions. So, mathematics teacher educators should provide relevant courses to facilitate student teachers to be aware of their implicit values and be willing to enact these values, and to empower student teachers with the knowledge and experiences to teach the values.

Conceptualizing Teacher Candidates' Figured Worlds in Learning to Enact Core Practices

  • Pak, Byungeun;Lee, Ji-Eun
    • 한국수학교육학회지시리즈D:수학교육연구
    • /
    • 제22권2호
    • /
    • pp.135-152
    • /
    • 2019
  • This conceptual paper proposes a conceptualization regarding teacher candidates' experiences as learners during instructional activities implemented by teacher educators in practice-based teacher education programs. We argue that the current learning cycle framework for teacher candidates to engage in core teaching practices does not fully address teacher candidates' own learning experiences as learners. To provide a rationale for our proposal, we examine the current conceptualization of learning to enact core practices and suggest the need for integrating teacher candidates' experiences into the current conceptualization. We also draw on research on figured worlds as an effort to conceptualize teacher candidates' experiences coming from multiple figured world. We present some examples from our own mathematics methods courses to illustrate how this newly proposed framework can be used in practice and share remaining questions for future research.

An Exploratory Analysis of Constructivist Teaching Practices and Science Teaching Interactions in Earth Science Classes

  • Shin, Myeong-Kyeong
    • 한국지구과학회지
    • /
    • 제31권5호
    • /
    • pp.521-530
    • /
    • 2010
  • This study aimed to explore how to characterize the earth science inquiry in schools in terms of science teaching interaction and constructivist teaching practice. The constructivist teaching practices were analyzed with Reformed Teaching Observation Protocol (RTOP) in three aspects including (1) student oriented class implementation, (2) subject knowledge and representation, and (3) classroom communication. Fourteen earth science classes were observed and scored with RTOP. The class was evaluated to be transitional stage in terms of constructivist teaching, e.g., moving toward student-centered teaching practice. Especially, Korean teachers tend to lean their classes more on propositional knowledge than procedural knowledge. To interpret science teaching interactions, an earth science teacher with a RTOP top rank was selected. Her class was then videotaped for detailed analysis. I adopted the analytical framework of communicative approaches and discourse patterns among the five aspects of interactions presented by Mortimer and Scott (2003). It was found that this earth science teacher used more authoritative patterns than the dialogic. In addition, she used IRE discourse pattern more frequently. Interestingly, teachers interacted with their students more frequently in the form of repeated (or IRE chain pattern), that is IRFRF (teacher initiation-student response-teacher feedback-student response-teacher feedback) in the context of dialogic communicative approaches, while simple IRE occurred in an authoritative approach. In earth science classrooms, typical interaction may well be constructed in the form of IRFRF chains to allow students free conjectures and abduction.

딥 residual network를 이용한 선생-학생 프레임워크에서 힌트-KD 학습 성능 분석 (Performance Analysis of Hint-KD Training Approach for the Teacher-Student Framework Using Deep Residual Networks)

  • 배지훈;임준호;유재학;김귀훈;김준모
    • 전자공학회논문지
    • /
    • 제54권5호
    • /
    • pp.35-41
    • /
    • 2017
  • 본 논문에서는 지식추출(knowledge distillation) 및 지식전달(knowledge transfer)을 위하여 최근에 소개된 선생-학생 프레임워크 기반의 힌트(Hint)-knowledge distillation(KD) 학습기법에 대한 성능을 분석한다. 본 논문에서 고려하는 선생-학생 프레임워크는 현재 최신 딥러닝 모델로 각광받고 있는 딥 residual 네트워크를 이용한다. 따라서, 전 세계적으로 널리 사용되고 있는 오픈 딥러닝 프레임워크인 Caffe를 이용하여 학생모델의 인식 정확도 관점에서 힌트-KD 학습 시 선생모델의 완화상수기반의 KD 정보 비중에 대한 영향을 살펴본다. 본 논문의 연구결과에 따르면 KD 정보 비중을 단조감소하는 경우보다 초기에 설정된 고정된 값으로 유지하는 것이 학생모델의 인식 정확도가 더 향상된다는 것을 알 수 있었다.

교사 학생 심층신경망을 활용한 다채널 원거리 화자 인증 (Multi channel far field speaker verification using teacher student deep neural networks)

  • 정지원;허희수;심혜진;유하진
    • 한국음향학회지
    • /
    • 제37권6호
    • /
    • pp.483-488
    • /
    • 2018
  • 원거리 발성은 화자 인증 시스템의 성능을 하락시키는 주요 요인으로 알려져 있다. 본 논문에서는 교사 학생 학습을 이용하여 원거리 발성에 의한 화자 인증 시스템의 성능 하락을 보상하는 기법을 제안한다. 교사 학생 학습은 미리 학습된 교사 심층신경망의 출력과 학생 신경망의 출력이 같아지도록 학생 신경망을 학습하는 기법이다. 여기서 교사 신경망에는 근거리 발성을, 학생 신경망에는 원거리 발성을 입력한 뒤, 두 신경망의 출력을 동일하게 만드는 과정을 통해 원거리 발성을 보상할 수 있을 것이라고 기대하였다. 하지만 원거리 발성을 보상하는 과정에서, 근거리 발성에 대한 인식률이 저하되는 현상을 실험적으로 발견하였다. 위와 같은 현상을 예방하기 위해 본 논문에서는 교사 심층신경망을 학생 심층신경망의 초깃값으로 사용하는 기법과 학생 심층신경망을 근거리 발성에 대해서도 학습하는 기법을 제안하였다. 모든 실험은 원 음성을 입력 받는 심층신경망을 활용해 수행하였다. 동일한 발성을 각각 4 채널로 근거리와 원거리에서 자체적으로 수집한 문장 종속 데이터셋을 활용하였다. 동일 오류율을 기준으로 근거리 / 원거리 발성에 대한 화자 인증 성능을 평가한 결과 교사 학생 학습을 사용하지 않을 경우 2.55 % / 2.8 %, 기존의 교사 학생 학습을 사용할 경우 9.75 % / 1.8 %, 제안한 기법들을 적용한 경우 2.5 % / 2.7 %의 오류율을 확인하였다.

CoRe를 활용한 교육실습이 예비 교사들의 PCK 개발에 미치는 영향 (The Influence of Practice Teaching Utilizing Content Representation on the Development of Student Teachers’ Pedagogical Content Knowledge)

  • 정유정;이경희;최병순
    • 대한화학회지
    • /
    • 제59권6호
    • /
    • pp.520-532
    • /
    • 2015
  • 이 연구의 목적은 CoRe를 활용한 교육실습 수업지도 과정에서 어떠한 내용의 지도가 이루어지며, 이 과정에서 CoRe의 역할과 그것이 예비교사들의 전문성 개발에 미치는 영향은 무엇인지를 알아보는 것이었다. 이 연구는 질적 사례연구로, 1명의 실습 지도교사와 2명의 예비교사의 CoRe 논의과정, 예비교사가 진행하는 수업의 관찰, 면담 등의 자료를 수집하여 귀납적으로 분석하였다. CoRe를 바탕으로 한 논의과정에서 예비교사들은 자신의 오개념을 확인하고 개념을 명료화하였으며, 서로의 아이디어를 공유하고, 부족한 지식을 보완하며, 새로운 전략을 구성해나갔다. 지도교사는 자신의 구성주의적 교수 지향을 기반으로 자신의 교수 경험을 전달하였다. 이 과정에서 CoRe는 예비교사들에게 지도교사의 지도 과정을 안내하는 역할, 지도교사의 PCK를 드러내도록 도와주는 역할, 논의과정에서 그들의 대화를 도와주는 도구로서의 역할을 하여 교육실습에서 지도교사의 수업지도를 도와주는 유용한 틀임을 확인하였다. 예비교사들은 CoRe 작성과정을 통해 수업 준비를 위한 유용한 틀을 제공받았고, 수업계획 단계에서 지도교사와 함께 CoRe를 개발하면서 교과 내용 지식과 교육과정 지식, 학생의 이해에 대한 지식을 포함하는 PCK 신장에 긍정적 영향을 받았다. 또한, PCK의 구성요소를 이해하고 학생과 교수활동, 과학 교사로서의 자신에 대한 긍정적인 인식 변화를 경험하였다.

TPCK 프레임워크를 기반으로 한 교과교사와 사서교사 간의 교수-학습 협력에 관한 연구 (A Study of the Teaching-Learning Collaboration Between Subject Teacher and Teacher Librarian Based on TPCK Framework)

  • 이혜원
    • 한국도서관정보학회지
    • /
    • 제39권2호
    • /
    • pp.449-467
    • /
    • 2008
  • 본 연구에서는 정보활용능력을 향상시키기 위해 학교도서관의 사서교사와 일반 교과의 교사들 간의 협력 방안을 제시하고자 하였다. 또한 교육의 또 다른 주체인 학생을 중심으로 한 부분을 확대함으로써 좀 더 효율적인 교수-학습이 이루어질 수 있도록 하였다. 무엇보다 교사와 학생들의 커뮤니케이션에서 직접적인 교환이 이루어지는 지식을 중심으로 주제, 교육학적인 배경, 정보기술의 활용 등을 고려한 모형을 제안하였다.

  • PDF