Journal of Gifted/Talented Education (영재교육연구)

The Korean Society for the Gifted (한국영재학회)
권호 표지
DOI QR코드

DOI QR Code

An Application of Multivariate Generalizability Theory to Teacher Recommendation Letters and Self-introduction Letters Used in Selection of Mathematically Gifted Students by Observation and Nomination

관찰·추천제에 의한 수학영재 선발 시 사용되는 교사추천서와 자기소개서 평가에 대한 다변량 일반화가능도 이론의 활용

  • Received : 2013.10.09
  • Accepted : 2013.10.25
  • Published : 2013.10.31
Download PDF
⟨ Previous Next ⟩

Abstract

This study provides an illustrative example of using the multivariate generalizability theory. Specifically, it investigates relative effects of each error source, and finds optimal measurement conditions for the number of items within each content domain that maximizes the reliability-like coefficients, such as a generalizability coefficient and an index of dependability. The method is based on teacher recommendation letters and self-introduction letters, using an analytic scoring method in the context of selection of mathematically gifted students by observation and nomination. This study analyzed data from the 2011 academic year in the science education institute for the gifted, which is attached to the university located in the Seoul metropolitan area. It should be noted that the optimal scoring structures of this study are not generalizable to other selection instruments. However, the methodology applied in this study can be utilized to find optimal measurement conditions for the number of raters, the number of content domains, and the number of items in other selection instruments self-developed by many institutions including: the education institutes for the gifted at provincial offices of education, gifted classes, and the science education institutes for the gifted attached to universities in general. In addition, the methodology will provide bases for making informed decisions in selection instruments of the gifted based on measurement traits.

이 연구는 관찰 추천제에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서를 활용하여 측정상황에서 발생하는 오차요인들의 상대적인 영향력을 살펴보고, 이를 바탕으로 채점 영역 내의 문항 수의 조건을 변화시킴으로써 일반화가능도계수를 최대화할 수 있는 효율적인 측정 조건을 탐색하는 방법을 제시하였다. 이를 위해 2011학년도 수도권에 소재하고 있는 대학부설 과학영재교육원 수학분야에 지원한 90명의 자기소개서와 교사추천서를 2명의 교사가 분석적 방법으로 채점한 자료에 대해 다변량 일반화가능도 분석을 적용하였다. 이 연구 결과 산출된 최적의 측정 조건은 특정 영재교육원에서 제작한 루브릭을 바탕으로 수학영재를 선발하기 위해 사용된 선발도구에만 국한되지만, 이 연구에서 적용한 방법론적 틀은 시 도 교육청 영재교육원, 영재학급 그리고 대학의 영재교육원 등 각 영재교육 현장에서 직접 제작한 선발도구에 측정학적 특성을 바탕으로 최적의 측정 조건을 탐색하는 데 적용 가능하다.

Keywords

References

  1. 교육부 (2010). 올해부터 시험 없이 과학영재 발굴. 교육과학기술부.
  2. 교육부 (2013). "영재교육 최적화를 통한 창조적 인재육성"을 위한 제 3차 영재교육진흥종합계획. 교육부(창의인재정책관).
  3. 김미숙 (2007). 한국의 영재 선발 현황과 개선 방향. 영재선발의 세계적인 동향과 개선 방향을 위한 국제 심포지엄. 연구자료 RM 2007-45. 교육인적자원부.
  4. 김미숙, 이정규, 이희권, 김언주, 맹희주, 이상천, 정경아, 최호진, 한수연 (2007). 제1차 영재교육진흥종합계획 평가 및 중장기 전망에 관한 연구. 한국교육개발원.
  5. 김성숙, 김양분 (2001). 일반화가능도이론. 파주: 교육과학사.
  6. 김성숙, 송미영, 박인용 (2012). 다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건탐색, 교육평가연구, 25(4), 679-700.
  7. 김성찬, 김성연, 한기순 (2012). 관찰, 추천에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서 평가에 대한 일반화가능도 이론의 활용. 수학교육논문집, 26(3), 251-271.
  8. 김숙영 (2012). 관찰 . 추천제를 통한 수학 영재의 선발 과정에 관한 연구. 석사학위논문. 숙명여자대학교.
  9. 남윤모 (2012). GED 기반 수학영재 관찰 . 추천 선발 방식의 타당성 분석. 석사학위논문. 대구교육대학교.
  10. 류지영, 정현철 (2010). 영재학급 대상자 선발을 위한 관찰․추천 영재판별모형 개발 연구, 영재교육연구, 20(1), 257-287.
  11. 미래창조과학부 (2013). 창조경제를 견인할 창의인재 육성 방안. 미래창조과학부.
  12. 박혜정 (2010). 관찰․추천 영재 선발 시 사용되는 자기소개서와 교사추천서의 평가자간 신뢰도분석. 석사학위논문. 인천대학교.
  13. 성태제 (2010). 현대교육평가(3판). 서울: 학지사.
  14. 신윤주 (2011). 관찰 추천에서 나타난 과학영재행동특성의 경향: 교사추천서와 학생 자기 소개서 분석을 중심으로. 박사학위논문. 서울대학교.
  15. 우미란, 김선자, 박종욱 (2012). 관찰 . 추천 전형으로 선발된 학생들의 교사추천서와 프로그램 수행의 관련성 분석. 영재교육연구, 22(1), 173-196. https://doi.org/10.9722/JGTE.2012.22.1.173
  16. 유미현, 강윤희, 예흥진 (2011). 과학영재교육원 관찰 . 추천 방식의 영재선발 분석. 과학영재교육, 3(2), 27-38.
  17. 윤은정, 박윤배 (2012). 관찰 . 추천제에 의한 영재교육대상자 선발에서 심사결과의 신뢰도 및 타당도 분석. 영재교육연구, 22(4), 929-942.
  18. 이영식, 신상근 (2004). 다변량 일반화가능도 이론에 의한 말하기 시험의 타당도와 신뢰도에 관한 연구. Foreign Language Education, 11(2), 249-265.
  19. 이인호, 한기순 (2009). 영재교육 대상자 선발에서 교사 추천서의 효용성 분석. 영재교육연구, 19(2), 381-404.
  20. 이현숙 (2012). 혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석, 교육평가연구, 25(1), 95-116.
  21. 최은주 (2012). 과학영재 관찰, 추천 선발에 사용되는 교사추천서와 자기소개서 분석 및 실제 교육 결과의 관계. 석사학위논문. 아주대학교.
  22. Baum, S. M. (1994). Meeting the need of gifted/learning disables students. The Journal of Secondary Gifted Education, 3(5), 6-16.
  23. Brennan, R. L. (2001a). Generalizability Theory. New York: Springer.
  24. Brennan, R. L. (2001b). Manual for mGENOVA Version 2.1. Iowa City, IA: Center for Advanced Studies in Measurement and Assessment, The University of Iowa.
  25. Crick, J. E., & Brennan, R. L. (1983). Manual for GENOVA: A GENeralized Analysis Of Variance System. ACT Technical Bulletin, 43, The American College Testing Program.
  26. Cronbach, L. J., Gleser, G. C., Nanda, H., & Rajaratnam, N. (1972). The dependability of behavioral measurements: Theory of generalizability for scores and profiles. New York: Wiley.
  27. Dunbar, S. B., Koretz, D. M., & Hoover, H. D. (1992). Quality control in the development and use of performance assessment. Applied Measurement in Education, 4, 289-303.
  28. Gronlund, N. E., & Waugh, C. K. (2009). Assessment of student achievement, 9th ed. Upper Saddle River, NJ: Pearson.
  29. Jiang, Y. H., Smith, P., & Nichols, P. (1997). Error sources influencing performance assessment reliability or generalizability: A meta-analysis. Paper presented at the annual meeting of the American Educational Research Association, Chicago.
  30. Keeves, J. P. (1988). Educational research, methodology, and measurement: An international handbook. Oxford: Pergamon.
  31. Pfeiffer, S., & Blei, S. (2008). Gifted identification beyond the IQ test. In Pfeiffer, S. (Ed.), Handbook of giftedness in children (pp. 177-196). NY: Springer Science and Business Media, LLC.
  32. Pfeiffer, S., & Jarosewich, T. (2003). Gifted rating scales. TX: Psych Corp.
  33. Renzulli, J. S., & Reis, S. M. (1986). The enrichment triad/revolving door model: A school wide paln for the development of creative productivity. In Renzulli, J. S. (Ed.), Systems and models for developing programs for the gifted and talented. TX: Prufrock press.
  34. Shavelson, R. J., Baxter, G. P., & Gao, X. (1993). Sampling variability of performance assessments. Journal of Educational Measurement, 30, 215-235. https://doi.org/10.1111/j.1745-3984.1993.tb00424.x
  35. VanTassel-Baska, J., Johnson, D., & Avery, L. D. (2002). Using performance tasks in the identification of economically disadvantaged and minority gifted learners: Finding from project STAR. Gifted Child Quarterly, 46(2), 110-123. https://doi.org/10.1177/001698620204600204
  36. Webb, N. M., Shavelson, R. J., & Maddahian, E. (1983). Multivariate generalizability theory. In L. J. Pyans, Jr. (Ed.), Generalizability theory: Inferences and practical applications (pp. 49-66). San Francisco, CA: Jossey-Bass.