• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
• /
• pp.69-72
• /
• 2012

본 논문은 한국어 서답형(단어, 구 수준) 문항 유형을 분석하고 실제 채점자가 채점 기준표를 보고 채점하는 방법을 컴퓨터가 인식할 수 있도록 정답 템플릿을 설계 및 개념 정의를 하여 한국어 서답형에 특화된 자동채점 시스템 방법을 제시한다. 본 시스템을 사용하여 1000개의 학생 답안지에 대한 유형 가지수 500개 이하의 2011년도 학업성취도 평가 과학 6개 문항에 대하여 채점 기준표 내용을 정답 템플릿으로 작성한 뒤 250개 학생 답안을 학습데이터로, 정답 템플릿을 업데이트로 사용, 750개 학생 답안에 대하여 자동채점한 결과, 평균 카파계수 0.84라는 수치로서 실제 사람 채점 결과와 거의 완벽히 일치라는 결과를 얻었다.

• 한국지구과학회지
• /
• 제41권3호
• /
• pp.291-306
• /
• 2020

이 연구에서는 다층 서답형 문항을 이용하여 태양계 구조에 대한 학습 발달과정을 개발하고 그 타당성을 검증하고자 하였다. 이를 위해 Wilson(2005)이 제안한 구인 모델링 방식을 적용하여 '태양계 구성원', '태양계 행성의 크기와 거리의 경향성', '태양계 모델링'을 발달 변인(progress variables)으로 설정하고 각각에 대한 다층 서답형 문항을 개발하여 검사지로 구성하였다. 개발된 문항을 초등학교 5학년 150명을 대상으로 '태양계와 별' 단원 수업의 사전 및 사후에 적용하였다. 평가 결과를 기술하기 위해 각각의 평가 문항에 대한 학생 응답을 범주화 하는 과정을 거쳤으며, 이범주들을 구인별로 5개 수준으로 분류하였다. Rasch 모델의 부분점수 모형을 적용하여 작성된 Wright map을 분석함으로써 학생들의 응답 결과를 기반으로 작성된 학습 발달과정의 수준이 적절한지 검토하였다. 또한, 수업 전후 학생들의 수준 변화를 추적함으로써 학습 발달과정에서 설정한 가설적인 경로의 타당성을 검증하였다. 연구 결과는 다음과 같다: 다층 서답형 문항을 이용한 상향식 연구방법으로 초등학교에 적용할 수 있는 태양계 구조에 대한 경험적 학습 발달과정을 정교하게 설정할 수 있었다. 그리고 학습 발달과정의 구인 타당도가 높게 나타나며 학생들의 발달이 학습 발달과정을 따라 변화하는 것으로 나타났다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권11호
• /
• pp.527-534
• /
• 2016

최근 정보화 사회에서는 단순 암기보다는 문제 해결 능력과 종합적인 사고력을 바탕으로 창의적인 생각을 할 수 있는 인재를 요구한다. 이에 따라 교육과정도 학생들의 종합적인 사고력을 판단할 수 있는 서답형 문항을 늘리는 방향으로 변하고 있다. 그러나 서답형 문항의 경우 채점자의 주관에 의존하여 채점이 진행되기 때문에, 채점 결과의 일관성을 확보하기 어렵다는 단점이 있다. 이런 점을 해결하기 위해 해외에서는 기계학습을 이용한 자동채점 시스템을 채점 도구로 사용하고 있다. 한국어는 영어와 언어학적으로 다른 분류에 속하므로 영어권에서 사용하는 자동채점 시스템을 한국어에 그대로 적용할 수 없다. 따라서 한국어 체계에 맞는 자동채점 시스템의 개발이 필요하다. 본 논문에서는 기계학습 분류기의 예측확률과 만장일치 방법을 사용한 한국어 서답형 문항 자동채점 시스템을 소개하고, 자동채점 시스템을 이용한 채점 결과와 교과 전문가의 채점 결과를 비교하여 자동채점 시스템의 실용성을 검증한다. 본 논문의 실험을 위해 2014년 국가수준 학업성취도 평가의 국어, 사회, 과학 교과의 서답형 문항을 사용했다. 평가 척도로 피어슨 상관계수와 카파계수를 사용했다. 채점자가 개입했을 때와 개입하지 않았을 때의 상관계수 모두 0.7 이상으로 강한 양의 상관관계를 보였다. 이는 자동채점 시스템이 교과 전문가가 채점한 결과와 유사한 방향으로 답안에 점수를 부여한 것이므로 자동채점 시스템을 채점 보조도구로서 충분히 사용할 수 있을 것이다.

• 과학교육연구지
• /
• 제38권3호
• /
• pp.670-690
• /
• 2014

이 연구는 고등학교 생명 과학 I의 지필평가 실태를 조사하기 위하여 일반계 고등학교 10개교를 임의로 선정하여 2013학년도 생명 과학 I의 문제지 33부(선택형 문항 690개, 서답형 문항 162개)를 분석하였다. 문항에 대해서는 Bloom의 신 교육목표 분류체계의 틀과 국가수준 학업성취도 평가의 과학과 평가틀에 근거하여 분류하였다. 선택형 문항의 경우 실제 정답률과 이원목적분류표에 제시된 난이도를 비교하였고, 서답형 문항의 경우 문항유형에 따른 문항 수와 배점을 비교하였다. 서답형 문항 중 서술형 문항에 대해서는 반응의 허용 정도, 자료 제시 여부, 출제 형식에 따라 구분하였다. 지필평가 문항 분석 결과, 서답형 문항의 비율이 19.0%로 선택형 문항의 비율(81.0%)보다 낮았다. Bloom의 신 교육목표 분류체계에 의한 분석 결과, 지식 차원에서 '개념적 지식'에 해당되는 문항이, 인지과정 차원에서 '이해하다'에 해당되는 문항이 많았다. 국가수준 학업성취도 평가의 과학과 평가틀에 의한 분석에서 '지식' 영역에 해당되는 문항이 '탐구' 영역에 해당되는 문항보다 약 9배 많았다. 선택형 문항에서 이원목적분류표에 제시된 난이도와 실제 정답률을 비교한 결과, 일치하는 비율은 41.5%였다. 서답형 문항의 유형에 따른 문항 수의 비율을 비교한 결과, 단답형 문항의 비율이 34.0%였고, 그리기 문항은 '세포와 생명의 연속성' 단원에서 주로 출제가 되었다. 서술형 문항에서 반응의 허용 정도에 따라 분류한 결과, 모두 '응답 제한형'에 해당되었고, 그 중 '내용범위 제한형'(67.3%)에 해당되는 문항이 가장 많았다. 그리고 자료 제시여부에 따라 분류한 결과 '자료 제시형'(65.4%)에 해당되는 문항이, 출제 형식에 따라 분류한 결과 '지식 서술형'(80.4%)에 해당되는 문항이 가장 많았다. 이 연구 결과를 통하여 학교 현장에서 '탐구' 영역에 해당되는 문항을 더 많이 출제할 필요가 있으며, 서술형 문항의 실제적 비중을 높이면서, 다양한 유형으로 출제할 필요가 있다고 생각된다.

• 인지과학
• /
• 제26권2호
• /
• pp.147-165
• /
• 2015

서답형 문항은 학생들의 종합적인 사고력을 평가할 수 있다는 장점이 있으나, 채점 비용이 많이 들고 채점자의 주관이 개입될 수 있다는 단점이 있다. 이런 단점을 개선하기 위해 영어권에서는 자동채점 시스템을 개발하여 사용하고 있으나, 한국어의 경우에는 아직 여전히 연구 단계에 있다. 본 논문에서는 준지도학습 방법을 이용한 한국어 서답형 문항의 채점 시스템을 제안한다. 제안된 시스템은 모범답안을 초기 모델로 학생답안의 일부를 채점하고 그 결과를 이용해서 점진적으로 학생답안의 채점을 늘려가는 준지도학습 방법을 이용한다. 제안된 시스템을 평가하기 위해서 2013학년도 학업성취도 평가의 국어 및 사회 과목의 서답형 문항을 사용했다. 채점 시간과 일관성에 관해서 매우 좋은 결과를 얻었다. 그 결과 채점 시간을 크게 단출할 수 있었으며 다양한 채점 방법을 적용하여 객관성을 확보한다면 현장에서 바로 적용할 수 있을 것으로 기대된다.

• 한국지구과학회지
• /
• 제39권1호
• /
• pp.103-116
• /
• 2018

이 연구의 목적은 초등학교 6학년 학생들의 달의 위상 변화에 대한 학습 발달과정을 천문학적 시스템 사고를 기반으로 탐색하는 것이다. 선행 연구 결과 분석을 통해 서답형 문항을 개발하고 가설적 학습 발달과정을 설정하였으며, 이를 토대로 문항 분석틀을 개발하였다. 달의 위상 변화에 대한 수업을 실시하기 전과 후에 서답형 문항을 이용한 검사 자료를 수집하였으며, 평가 결과를 이용하여 가설적 학습 발달과정의 타당성을 검증하였다. 이를 통하여, 상향식으로 지구-달 계에 대한 학습 발달과정을 탐색할 수 있었다. 연구 결과, 초등학생들은 지구 기반 관점과 우주 기반 관점 사이의 사고 전환에 어려움을 겪는 것으로 보인다. 또한, 달의 위상 변화에 대한 초등학생들의 학습 발달과정을 근거로 할 때, 달의 위상 변화의 개념은 교육과정 상에서 초등학교의 학습 내용으로 다소 높은 수준인 것으로 판단된다.

• 대한지리학회지
• /
• 제49권4호
• /
• pp.615-632
• /
• 2014

본 연구는 서답형 문항의 채점에서 평가의 객관성, 타당성, 신뢰성을 보장하기 위해 가장 중요한 주제의 하나인 블러핑 문제를 탐구한 것이다. 먼저 연구자는 블러핑의 개념과 주요 유형을 선행 연구를 바탕으로 이론적 수준에서 정리하였다. 다음으로, 한국지리 교과의 주요 용어를 사례로 학습자의 블러핑 전략과 유형을 실증적으로 분석해 보았다. 기존의 연구 보고와 비교할 때, 본 연구에서 밝혀진 전체 학생들의 평균적 블러핑율은 상당히 낮은 것으로 나타났다. 그러나, 남녀 학생의 블러핑율이 유사하다는 점, 최고 성적 집단의 블러핑율이 가장 낮았다는 점은 기존의 연구 보고와 유사하였다. 블러핑의 실제 유형은 크게 '발문의 반복 서술형', '기존 지식 편중형', '추상적 개념 활용형', '채점자 공감 유도형'의 네 가지로 구분되었다. 분석 결과를 토대로 보다 타당성과 신뢰성이 있는 서답형 문항 채점을 위해 몇 가지 시사점 및 과제를 다음과 같이 제안하였다. 첫째, 블러핑과 학생들의 성별 및 학령, 학습 성적 및 지적 수준, 학습자의 학습 스타일 등과의 관계에 대해 지속적인 연구가 필요하다. 둘째, 블러핑 유형과 사례 분석 내용이 포함된 서답형 문항 채점 매뉴얼 개발 보급 및 채점 관련 연수가 확대되어야 한다. 셋째, 일반적인 블러핑 유형 외에 지리 영역의 특수한 블러핑 유형을 탐구하는 실증적인 후속 연구가 요구된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.384-390
• /
• 2021

본 논문은 영어 에세이 자동 평가를 위한 딥러닝 기반의 새로운 평가 방법론을 제안한다. 어휘, 형태소, 구문, 의미 단계로 이루어진 평가 과정을 통해 자동화된 에세이 평가가 가능하다. 제안하는 방법의 객관성과 신뢰성을 검증하기 위하여 사람이 평가한 점수와 각 단계별 점수 사이의 상관관계 분석을 진행하였으며, 그 결과 제안하는 평가 방법이 유의미함을 알 수 있었다.

• 한국지구과학회지
• /
• 제41권6호
• /
• pp.684-694
• /
• 2020

이 연구에서는 이슬점에 대한 중학생들의 개념 이해를 평가하기 위한 루브릭을 개발하였다. 이를 위해 국가 수준 학업성취도 평가의 다층 서답형 문항에 대한 중학생의 응답을 분석하였다. 학생들의 응답 특성에 따라 유형을 분류하고, 성취도 점수 평균에 따른 응답 유형의 분포를 분석하였다. 이를 토대로 이슬점 개념 이해를 평가하기 위한 루브릭을 작성하였다. 연구 결과 다음과 같다: 첫째, 포화수증기량 곡선에서 이슬점 찾기에 대한 학생 응답을 분석한 결과, 다수의 학생들이 이슬점에 대한 개념이 없거나 부족한 것으로 나타났다. 둘째, 이슬점에서 수증기 응결과정에 대한 학생 응답을 분석한 결과, 과학적 개념 유형의 비율은 매우 낮았으며, 오개념 유형의 비율이 상대적으로 높았으며 유형 또한 다양하였다. 셋째, 성취도 점수 평균에 따른 학생 응답 유형 분포 분석을 토대로 4수준의 평가 루브릭을 작성하였다. 이러한 연구 결과를 토대로 지구과학 분야에서 개념 이해 평가를 위한 루브릭 개발과 활용 측면에서 제언을 하였다.

• 한국수학교육학회지시리즈E:수학교육논문집
• /
• 제26권1호
• /
• pp.29-50
• /
• 2012

이 연구의 목적은 우수학력 학생들과 기초학력 미달 학생들의 수학과 학업성취도를 비교하는 데 있다. 이러한 연구 목적을 수행하기 위해 이 연구에서는 학교급별로 우수학력과 기초학력 미달 학생들의 비율, 우수학력과 기초학력 미달 학생들의 전체, 내용 영역별, 행동 영역별 수학 학업성취도를 비교하였다. 이를 통해 우수학력과 기초학력 미달 학생들의 변화 추이를 파악할 수 있을 뿐만 아니라 내용 영역별, 행동 영역별, 문항 유형별(서답형 문항)로 우수학력과 기초학력 미달 학생들의 특성을 파악할 수 있었다.