• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2007년도 추계학술발표대회
• /
• pp.609-612
• /
• 2007

정보사회와 컴퓨딩환경의 발전으로 언어, 학력, 인지도 등의 평가도구로서 컴퓨터기반의 평가환경이 보편화되었다. 특히 컴퓨터기반의 학력평가 환경을 위해서는 문항의 난이도와 변별도 등 문항의 특성을 정확히 분석하는 것이 필수적이다. 문항분석은 컴퓨터기반의 평가를 위한 양질의 문제은행 구성 및 문항과 수험자 능력의 정확한 추정과 체계적이고 과학적인 평가를 위한 전제조건이라 할 수 있다. 본 논문에서는 고전평가이론의 문제분석을 적용한 문제은행 시스템을 구현하였으며 수험결과를 분석하여 각 문제의 곤란도나 변별도, 문항분포도를 통하여 문제를 분석할 수 있도록 하였다. 또한 수험자가 각 문제를 푸는데 걸린 시간을 기록하여, 수험자의 문제에 이해도를 정확히 분석하고 수험자의 추측, 랜덤 선택 등으로 인한 정답을 맞힐 가능성과 한 문제를 읽고 이해하는 시간이 너무 오래걸린 이유에 대해서도 추정하였다. 문제분석 및 수험결과의 평가 및 분석으로 교사들은 문항의 양호도를 높일 수 있고 문제은행에 저장되어 있는 문항들을 수정하고 보완하여 양질의 문항을 출제할 수 있도록 하였다.

• 한국수학교육학회지시리즈A:수학교육
• /
• 제61권4호
• /
• pp.597-612
• /
• 2022

최근 국내외 대규모 평가를 중심으로, 수학 평가가 전통적인 지필 평가에서 컴퓨터 기반 평가로 전환되고 있다. 본 연구는 평가 문항의 유형, 문항에 반영된 기술공학적 기능, 학생의 컴퓨터 사용 특성 및 컴퓨터 평가 환경에 따라 평가 매체 전환에 따른 학생의 성취도 차이가 어떻게 변화하는지 탐색하였다. 이를 위해 지필 환경과 컴퓨터 환경에서 실행된 2020 고등학교 수학의 국가수준 학업성취도 평가 결과를 분석하였다. 연구결과, 첫째, 단순 매체만 전환된 경우 모드 효과는 대체로 미미하였지만, 서술형 문항의 경우 단답형이나 선택형 문항에 비해 모드 효과가 더 크게 나타났다. 둘째, 매체 전환과 기술공학적 기능의 반영이 함께 이루어진 경우, 문항에 반영된 기술공학적 기능에 따라 모드 효과에 차이가 있었다. 셋째, 컴퓨터 기반 평가 시행환경, 학생의 컴퓨터 활용 빈도와는 달리, 학생의 컴퓨터 활용 효능감에 따라 컴퓨터 기반 평가에서 통계적으로 유의한 점수 차이가 나타났다. 이와 같은 연구 결과는 향후 평가 내용과 역량에 맞춘 적절한 기술공학적 기능의 도입이 필요하며, 학생의 수학 학습 능력 외의 부수적인 능력이나 상황이 평가 결과에 영향을 미치지 않도록 세밀한 평가 설계와 환경 구비가 필요함을 시사한다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 추계학술발표대회
• /
• pp.185-188
• /
• 2010

온톨로지 간 이질성 문제를 해결하고 상호운용성을 향상시키기 위한 연구가 진행되어 왔으며, 최근 XMDR에 기반한 온톨로지 구축 방법이 제안되었으나 기존 연구와의 비교 평가가 부족하여 장점을 정확하게 보이지 못하였다. 따라서 이 논문에서는 XMDR 기반 온톨로지 구축 방법의 장점을 보다 명확하게 보이기 위해 정량적인 평가를 수행한다. 이를 위해 실제 온톨로지를 구축하고, 구축된 온톨로지는 온톨로지 참조 기반 온톨로지 구축 방법, 사전 참조 기반 온톨로지 구축 방법, 기존 방법론을 이용한 온톨로지 구축 방법을 평가 대상으로 하여 5가지 평가 지표로 분석된다. 평가 지표로는 구축된 온톨로지의 어휘 및 구조의 일관성 비교를 위하여 어휘 및 구조의 빈도수 평균과 엔트로피를 사용하고 구축 비용의 평가를 위하여 각 온톨로지의 구축 시간을 사용한다. 이러한 실험 및 평가의 결과로써, 온톨로지 참조 기반의 온톨로지 구축 방법은 다른 온톨로지 구축 방법들에 비해 온톨로지 어휘 및 구조가 일관적이고 효율적임을 보인다.

• 대한화학회지
• /
• 제65권1호
• /
• pp.48-57
• /
• 2021

본 연구는 국제 학업성취도 평가인 TIMSS 2019 사전검사에서 지필 평가와 컴퓨터 기반 평가로 시행된 과학 평가 문항을 분석하여 검사 매체에 따라 문항 정답률에 영향을 미치는지를 문항 및 학년별로 살펴보았다. 그 결과, 4학년과 8학년 모두 검사 매체에 따른 과학과 문항 정답률 차이가 크지 않았다. 학년별로 살펴보면, 8학년보다는 4학년의 경우 정답률 차이가 상대적으로 크게 나타났다. 문항별로 살펴보면, 선다형 문항보다는 서답형 문항의 경우 정답률 차이가 상대적으로 크게 나타났다. 검사 매체 영향에 대한 과학과 평가 문항 내용을 분석한 결과로는 선다형 문항은 지필 평가와 컴퓨터 기반 평가 문항간의 차이가 거의 없었으나, 서답형 문항은 지필 평가에 비해 서답형 문항의 정답률이 낮아지는 경향을 보였다. 또한, 학년별로는 4학년 학생들이 8학년 학생들보다 서답형 문항에서 정답률이 낮아지는 것으로 나타났다. 본 연구를 토대로, 우리나라 컴퓨터 기반 평가의 개발과 현장 도입과 관련된 시사점을 제공하고 컴퓨터 기반 평가가 학교 평가로 잘 정착하기 위한 교육적 함의를 고찰하고자 한다.

• 융합정보논문지
• /
• 제11권11호
• /
• pp.335-344
• /
• 2021

본 논문의 목적은 교과기반 학습성취평가 시스템 구현을 위한 교과 데이터 모델 및 학습 성취도 산출 알고리즘 개발이다. 현재 대학 교육의 방향인 역량기반 교육을 위해서는 교과기반 학습성취 평가가 필수적이지만 기존 연구들은 교육학적 관점으로서 컴퓨터 시스템 관점의 해결책이 매우 부족하다. 본 논문에서는 코스맵 데이터 구조 분석을 통해 계층 구조의 학습성과 모델, 학습모듈 및 학습활동 모델, 학습성과와 학습활동 연계 매트릭스 모델 및 자동화된 성취도 산출 및 성취수준 평가를 위한 성취도 계산 알고리즘을 제안한다. 이를 통해 교과기반 학습성취 평가 시스템을 개발할 수 있으며 시스템 활용을 통해 학습자의 역량 성취를 효과적으로 평가할 수 있다. 제안된 모델과 알고리즘의 평가를 위해 실제 운영중인 자바프로그래밍 교과목에 적용하였으며 이를 통해 교과기반 학습성과 성취평가 시스템 구현의 핵심요소로 활용할 수 있음을 확인하였다. 향후 연구는 학습성과 성취도 산출을 기반으로 적응형 학습 피드백과 개인화된 학습 추천 알고리즘 개발 및 시스템 구현이다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2010년도 추계학술발표대회
• /
• pp.1418-1421
• /
• 2010

이동형 서비스 로봇의 위치인식 기능은 성능평가시 중요한 평가척도의 하나로써 이용된다. 서비스 로봇이 다양한 작업을 수행하기 위해 여러 장소를 이동하게 되므로, 얼마나 정확하고 빠르게 위치인식을 하는 것이 로봇의 종합적인 성능에 큰 영향을 미치기 때문이다. 이를 위해 로봇은 영상이나 다양한 거리 센서를 활용하여 위치인식의 성능향상을 도모하고 있다. 그럼에도 불구하고 현재 영상기반의 위치인식 성능평가 방법과 관련한 표준이 없으며, 개별적인 성능평가만 시행되고 있다. 이에 우리는 이 논문을 통하여 전(前)방향 영상기반의 위치인식 알고리즘 성능평가 방법과 평가척도를 제안한다. 제안된 위치인식 알고리즘 성능평가 방법은 현재 지능형로봇 표준포럼의 표준으로 채택되었으며, 이를 통해 앞으로 영상기반 위치인식 알고리즘을 평가하고 개발하는데 기준 역할을 할 수 있을것으로 기대된다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
• /
• pp.213-214
• /
• 2021

최근 4차 산업혁명으로 인해 사용자와 단말과의 연결이 증가하면서 악성코드에 의한 침해사고가 증가하였고, 이에 따라, 파일의 상세한 정보인 메타 데이터를 추출하여 악성코드를 탐지하는 파일 스캐닝 도구의 필요성이 요구된다. 본 논문에서는 대표적인 오픈소스 기반의 파일 스캐닝 도구인 Strelka, File Scanning Framework (FSF), Laika BOSS를 대상으로 파일 스캐닝 기술에서 주요한 성능 지표인 스캐닝 속도를 비교함으로써 각 도구의 성능을 평가하였다. 다양한 파일 종류를 선정한 테스트 셋을 기반으로 파일의 개수에 따른 속도를 비교하였으며, Laika BOSS, FSF, Strelka 순으로 성능이 높은 것으로 평가되었다. 결과적으로, 악의적인 파일을 빠르게 탐지하기 위한 파일 스캐닝 도구로 Laika BOSS가 가장 적합한 것으로 평가되었다.

• 컴퓨터교육학회논문지
• /
• 제3권1호
• /
• pp.43-50
• /
• 2000

전통적인 형성 평가 방법을 이용하여 웹 기반 학습 프로그램을 평가하는 것은 시간과 비용적인 면에서 비효율적일 뿐만 아니라 웹에서 활용 가능한 자료 수집 방법들도 이용하고 있지 못하다는 문제가 제기되고 있다. 웹 기반 학습 프로그램에 적용 가능한 형성 평가 방법을 개발하기 위해서는 웹 기반 학습 프로그램 개발 모형에 기초하여 각 세부 단계별로 형성 평가 방법을 달리 적용해야 한다. 따라서 본 연구에서는 분석, 설계, 개발, 평가의 각 단계마다 참여 대상, 자료 수집 도구, 수집 내용별로 형성평가 방법을 달리하여 분류하였다. 이 형성 평가 방법을 통해 프로그램의 효과성을 높이고 질을 개선할 수 있을 것으로 기대된다.

• 한국컴퓨터정보학회논문지
• /
• 제14권4호
• /
• pp.119-129
• /
• 2009

최근 컴퓨터 보급의 대중화와 초고속 통신망 사용의 보편화는 전통적인 교육형식에 많은 변화를 주는 계기가 되었다. 그 중에서도 웹 기반의 다양한 멀티미디어 매체 기술, 컴퓨터 네트워크를 통한 정보의 상호작용 등은 시 공간을 초월한 가상교육 등장에 촉진제 역할을 하고 있다. 이러한 가상교육은 교수자와 학습자간의 상호작용이 가상공간에서 이루어져 학습지도, 학습평가, 피드백 등의 학습수행 측면에서 문제점이 제기되고 있다. 이에 본 논문에서는 가상강좌의 학습평가요수 중 하나인 출석평가에 대해 학습자 참여도를 기반으로 평가하는 모델을 제안한다. 학습자 참여도란 개설된 가상교육에 학습자의 자발적인 참여 정도를 말한다. 본 논문에서 제안한 학습자 참여도 기반 출석 평가모델은 교수자에게는 자동화된 출석평가 기능을 제공하며, 학습자에게는 가상강좌의 능동적인 참여 동기유발 효과를 기대한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.162-167
• /
• 2023

본 논문은 거대언어모델에 대한 한국어 상식추론 기반의 새로운 평가 방식을 제안한다. 제안하는 평가 방식은 한국어의 일반 상식을 기초로 삼으며, 이는 거대언어모델이 주어진 정보를 얼마나 잘 이해하고, 그에 부합하는 결과물을 생성할 수 있는지를 판단하기 위함이다. 기존의 한국어 상식추론 능력 평가로 사용하던 Korean-CommonGEN에서 언어 모델은 이미 높은 수준의 성능을 보이며, GPT-3와 같은 거대언어모델은 사람의 상한선을 넘어선 성능을 기록한다. 따라서, 기존의 평가 방식으로는 거대언어모델의 발전된 상식추론 능력을 정교하게 평가하기 어렵다. 더 나아가, 상식 추론 능력을 평가하는 과정에서 사회적 편견이나 환각 현상을 충분히 고려하지 못하고 있다. 본 연구의 평가 방법은 거대언어모델이 야기하는 문제점을 반영하여, 다가오는 거대언어모델 시대에 한국어 자연어 처리 연구가 지속적으로 발전할 수 있도록 하는 상식추론 벤치마크 구성 방식을 새롭게 제시한다.