• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.165-186
• /
• 2024

학교 현장과 대규모 평가에서 서술형 문항 도입을 지원하기 위한 방안 중 하나로 인공지능 기반의 자동 채점 기술이 주목받고 있음에도 불구하고, 수학 교과에서는 타 교과에 비해 이에 대한 기초 연구가 부족한 상황이다. 이에 본 연구는 중학교 1학년 수학 서술형 문항 두 개를 대상으로 랜덤 포레스트 알고리즘을 활용하여 자동 채점 모델을 개발하고 그 성능을 평가하였다. 연구 결과, 두 문항에 대한 최종 모델의 평가요소별 정확도는 각각 0.95-1.00, 0.73-0.89의 범위로 나타났으며, 이는 타 교과에 비해 상대적으로 높은 수준이다. 데이터의 양을 고려한 평가 범주 설정의 중요성을 확인하였으며, 수학 교육전문가에 의한 텍스트 전처리와 데이터 특성에 맞는 벡터화 방법의 선택이 모델의 성능 및 해석 가능성을 향상시키는 데 기여하였다. 또한, 현실적 한계로 인해 균형적인 데이터 수집이 어려운 상황에서 오버샘플링이 성능을 보완하는 유용한 방법임을 확인하였다. 교육적 활용도를 높이기 위해, 랜덤 포레스트 기반 모델에서 도출된 특성 중요도를 활용하여 피드백과 같이 교수-학습에 유용한 정보를 생성하는 추가 연구가 필요하다. 본 연구는 수학 서술형 자동 채점에 관한 기초 연구로서 의미가 있으며, 인공지능 전문가와 수학교육 전문가 간의 긴밀한 협력을 통해 다양한 후속 연구가 진행될 필요가 있다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제63권2호
• /
• pp.187-207
• /
• 2024

본 연구에서는 GPT-4 기반의 ChatGPT를 활용한 서술형 평가 문항의 자동 채점 가능성을 탐색하기 위해 교사와 GPT-4 기반의 ChatGPT의 채점 결과를 비교, 분석하였다. 이를 위해 학생평가지원포털에 있는 고등학교 1학년 순열과 조합 단원에서 3개의 서술형 문항을 선정하였다. 문항 1, 2는 문제 해결 전략이 1가지인 문항이고, 문항 3은 문제 해결 전략이 2가지 이상인 문항이었다. 8년 이상의 교육 경력이 있는 교사 2명이 학생 204명의 답안을 채점하고, GPT-4 기반의 ChatGPT의 채점 결과와 비교하였다. 문항별로 Few-Shot-CoT, SC, 구조화, 반복 프롬프트 기법 등을 활용하여 채점을 위한 프롬프트를 구성하였고, 이를 GPT-4 기반의 ChatGPT에 입력하여 채점하였다. 채점 결과, 문항 1, 2는 교사의 채점 결과와 GPT-4의 채점 결과 사이에 강한 상관관계를 충족하였다. 문제 해결 전략이 2가지인 문항 3은 먼저 채점 전 학생 답안을 문제 해결전략별로 분류하는 프롬프트를 GPT-4 기반의 ChatGPT에 입력하여 답안을 분류하였다. 이후 유형별로 채점 프롬프트를 적용하여 GPT-4 기반의 ChatGPT에 입력하여 채점하였고, 채점 결과 역시 교사의 채점 결과와 강한 상관관계가 나타났다. 이를 통해 프롬프트 엔지니어링을 활용한 GPT-4 모델이 교사의 채점을 보조할 수 있는 가능성을 확인하였으며 본 연구의 한계점 및 향후 연구 방향을 제시하였다.

• 과학교육연구지
• /
• 제46권1호
• /
• pp.121-149
• /
• 2022

서술형 평가는 수학과 교육과정에서 강조하는 문제해결 능력 신장, 추론 능력, 의사소통 능력과 관련하여 의미있는 평가 방법이라 할 수 있다. 우리나라에서는 제7차 수학과 교육과정 이후로 수행평가가 강조되면서 중등학교에서 수행평가의 한 방법으로 서술형 평가가 이루어지고 있다. 그렇지만, 대학수학능력시험에서는 여러 가지 이유로 서술형 평가가 도입되지 못하고 있다. 수학교실에서 서술형 평가가 강조되고 교육적으로 충분히 가치가 있다는 것을 감안하면, 대학수학능력시험에서 서술형 평가의 실시에 대한 진지한 논의가 필요할 것이다. 본 연구에서는 우리나라의 대학수학능력시험에 해당하는 러시아의 국가통합시험의 수학 교과에서 실시 중인 서술형 평가를 분석하였다. 문헌 연구를 통해, 국가통합시험에서 수학 시험 문제들이 어떻게 구성되었는지, 시험에서 요구되는 수학적 능력은 무엇인지 고찰하였다. 특히, 국가통합시험의 수학 2021년 출제 문제를 중심으로 문제들의 외적 구조를 분석하였고, 서술형 문제들의 채점 방법을 분석하였다. 본 연구의 결과는 우리나라의 대학수학능력시험에서 서술형 문제의 도입 가능성에 대한 다양한 정보를 제공할 수 있을 것으로 기대된다.

• 대한수학교육학회지:학교수학
• /
• 제3권2호
• /
• pp.325-354
• /
• 2001

The study aims to develop balanced performance assessment tasks for primary school mathematics which can be implemented in the primary school easily. In order to these purposes, I suggest the types of performance assessment tasks and the framework of assessment standards for the balanced performance assessment with describing the procedures of developing tasks and rubrics. The types of task are journal writing, problem posing, constructed task, and descriptive task. In the framework of assessment standards, I suggest holistic scoring which are classified as four levels according to the degree of excellence which students perform totally concerning about the criterion of implication, reasoning, accuracy, and communication. Also I analyse the responses of children to the task “make a beautiful pattern” and suggest its assessment rubric and anchor papers for each level for illustrating the process of developing a rubric in holistic scoring. In order to reflect the viewpoints of children and their Parents concerning about the tasks, the responses in self assessment and parent assessment are analysed. Finally, methods of implementing the assessment tasks and considerations are discussed.

• 한국초등수학교육학회지
• /
• 제18권2호
• /
• pp.297-318
• /
• 2014

이 연구는 서술형 평가문항을 스스로 선발하거나 개발해야하는 초등학교 교사들에게 평가 문항에 대한 안목과 평가문항 제작 시 유의점을 제공하기 위해 시도되었다. 이를 위해 서술형 평가시행에 대해 적극적인 노력을 기울여 왔던 경기도 교육청이 2011년과 2012년에 개발한 초등학교 서술형 평가 문항 30개와 그 문항으로 시험을 치룬 2개 초등학교 3, 4, 5, 6학년 학생들의 채점된 답안지를 분석하였다. 이 연구에서는 학생들의 채점된 답안지에서 발견된 채점 및 답안 기술의 오류가 교사나 학생의 문제가 아니라 평가 문항의 결함에서 비롯된 것이라 여겨지는 것들만 선별하여 사례로 정리하고, 그에 대응하는 개선방안을 제시하였다. 이 연구에서 도출한 초등학교 수학과 서술형 평가 문항의 문제점은 크게 세 가지이다. 첫째, 고등사고력을 평가한다는 서술형 평가의 기본취지를 살리지 못하는 경우, 둘째, 채점의 공정성 문제를 불러일으키는 경우, 셋째, 문제에 포함된 내용이 학생에게 그릇된 단서로 작용하는 경우 등이 그것이다.

• Child Health Nursing Research
• /
• 제20권4호
• /
• pp.294-303
• /
• 2014

목적 본 연구의 목적은 간호대학생의 비판적 사고성향과 문제해결과정 정도 및 시뮬레이션 기반 임상수행능력 평가 점수와의 상관관계를 파악하는 데에 있다. 방법 본 연구의 대상자는 일 간호대학 3학년 학생 214명으로 대상자의 비판적 사고성향과 문제해결과정 정도 및 시뮬레이션 기반 임상수행능력 평가 점수와의 관계를 파악하였다. 비판적 사고성향은 Yoon (2008)이 개발한 5점 척도의 도구를 사용하여 측정하였고, 문제해결과정 정도는 Lee 등(2008)가 개발한 5점 척도의 문제해결과정 측정도구, 시뮬레이션 기반 임상수행능력 평가는 연구자가 개발한 체크리스트를 사용하였다. 수집된 자료는 SPSS WIN 18.0 프로그램을 이용하여 기술통계, Pearson's correlation coefficients를 이용하여 분석하였다. 결과 간호대학생의 비판적 사고성향 정도는 $3.76{\pm}0.46$ (점수범위 1-5점), 문제해결과정 정도는 $3.67{\pm}0.47$ (점수범위 1-5점)으로 중간 이상의 점수를 보였다. 시뮬레이션 기반 임상수행능력 평가 점수는 비판적 사고 성향이 평균점수(3.67점) 이상으로 높은 간호대학생에게서 유의하게 높게 나타난 반면, 문제해결과정 정도와의 유의한 상관관계는 없는 것으로 조사되었다. 비판적 사고성향은 시뮬레이션 기반 임상수행능력 평가의 하부 영역 중 간호사정 영역에서 유의한 상관관계가 있는 것으로 나타났다. 결론 본 연구는 시뮬레이션 기반 학습은 간호학생들의 비판적 사고성향이 기반이 되어야 하며 비판적 사고 성향정도는 복합적인 상황에서 대상자의 상태를 파악하는 간호사정에서 긍정적 영향을 미친다는 근거를 제시하였다. 그러므로 간호대학생의 비판적 사고함양을 위한 지속적인 교육이 필요하다. 또한 시뮬레이션 기반 학습은 학습자의 이러한 강점과 약점을 고려하여 시뮬레이션 평가 전 단계에서 충분한 학습의 기회를 제공함으로써 질적으로 우수한 간호사에 대한 요구가 증대되는 현 시점에 효과적인 대응책이 될 수 있을 것이다.

• 디지털융복합연구
• /
• 제17권9호
• /
• pp.213-220
• /
• 2019

본 연구는 간호대학생의 SBAR(상황-배경-사정-제안) 사용능력, SBAR 이용인식 및 비판적 사고성향 간의 관계를 파악하기 위해 시도되었다. 간호대학 3학년에 재학 중인 101명을 대상으로 설문지를 이용하여 2018년 8월 31일부터 2018년 10월 26일까지 자료를 수집하였다. SPSS WIN 23으로 빈도, t-test, ANOVA, Pearson's correlation로 분석하였다. 연구결과 간호대학생의 SBAR 사용능력은 5점 만점에 3.26점, SBAR 이용 인식은 3.31점, 비판적 사고성향은 3.50점으로 나타났다. SBAR 사용능력(r=.46, p<.001)과 SBAR 이용인식(r=.23, p=.023)은 비판적 사고성향과 정의 상관관계가 있는 것으로 나타났으며, SBAR 사용능력은 SBAR 이용 인식(r=.16, p=.113)과 관계가 없는 것으로 나타났다. 따라서 간호대학생의 비판적 사고성향을 향상시키기 위해서는 SBAR 사용능력과 SBAR 이용인식을 향상 시킬 수 있는 프로그램의 개발 및 적용이 필요하다.

• 농촌의학ㆍ지역보건
• /
• 제42권1호
• /
• pp.24-35
• /
• 2017

이 연구의 목적은 한국형 일차의료 평가 도구(KPCAT)를 이용하여 한 농촌 지역 보건소의 일차의료의 질을 평가하는 것이다. 또 이 연구에서는 KPCAT 적용 및 결과 해석과 관계된 몇 가지 방법론적 이슈를 검토하였다. 농촌 보건소 진료 의사에게 4회 이상 진료받은 환자 79명이 KPCAT 설문에 응답하였다. 응답자의 특성을 빈도와 백분율, 중앙값과 사분위 범위, 평균과 표준 편차로 제시하였다. 일차의료의 질은 KPCAT 총점과 영역별 점수의 중앙값과 사분위 범위로 제시하였고 최댓값과 최솟값, 기대 점수와 함께 방사형 도표로 제시하였다. KPCAT 문항별 점수와 중앙값과 사분위 범위, 기대 점수 이상 응답자 비율, 잘 모름 응답자 비율을 제시하였다. 연구 대상 농촌 지역 보건소 일차의료 질의 중앙값과 사분위 범위는 각각 45점, 16점이었다. KPCAT 영역별 점수 중앙값이 기대 점수에 이른 영역은 최초 접촉 하나였다. KPCAT 문항별 점수가 기대 점수 이상인 응답자 비율이 50% 미만인 문항은 포괄성 4문항 중 2개, 조정 기능 3문항 전부, 전인적 의료 5문항 중 2개, 가족 및 지역 사회 지향성 4문항 전부였다. 잘 모름 응답의 처리 방침 개선, 잘 모름 응답률이 높은 문항의 타당성 검토, 응답 척도의 내용과 점수의 일치 등이 방법론적 개선 과제였다. 농촌 지역 보건소 일차의료의 질은 개선할 여지가 많았다. 특히 조정 기능과 가족 및 지역 사회 지향성 영역의 개선 필요성이 두드러졌다. KPCAT의 방법론적 개선을 통하여 타당하고 신뢰성 있는 일차의료 평가가 이루어지기를 기대한다.