• Title/Summary/Keyword: 학습 능력 평가

Search Result 1,024, Processing Time 0.03 seconds

Evaluating Korean Machine Reading Comprehension Generalization Performance using Cross and Blind Dataset Assessment (기계독해 데이터셋의 교차 평가 및 블라인드 평가를 통한 한국어 기계독해의 일반화 성능 평가)

  • Lim, Joon-Ho;Kim, Hyunki
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.213-218
    • /
    • 2019
  • 기계독해는 자연어로 표현된 질문과 단락이 주어졌을 때, 해당 단락 내에 표현된 정답을 찾는 태스크이다. 최근 기계독해 태스크도 다른 자연어처리 태스크와 유사하게 BERT, XLNet, RoBERTa와 같이 사전에 학습한 언어모델을 이용하고 질문과 단락이 입력되었을 경우 정답의 경계를 추가 학습(fine-tuning)하는 방법이 우수한 성능을 보이고 있으며, 특히 KorQuAD v1.0 데이터셋에서 학습 및 평가하였을 경우 94% F1 이상의 높은 성능을 보이고 있다. 본 논문에서는 현재 최고 수준의 기계독해 기술이 학습셋과 유사한 평가셋이 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 첫번째로 한국어에 대해서 공개된 KorQuAD v1.0 데이터셋과 NIA v2017 데이터셋, 그리고 엑소브레인 과제에서 구축한 엑소브레인 v2018 데이터셋을 이용하여 데이터셋 간의 교차 평가를 수행하였다. 교차 평가결과, 각 데이터셋의 정답의 길이, 질문과 단락 사이의 오버랩 비율과 같은 데이터셋 통계와 일반화 성능이 서로 관련이 있음을 확인하였다. 다음으로 KorBERT 사전 학습 언어모델과 학습 가능한 기계독해 데이터 셋 21만 건 전체를 이용하여 학습한 기계독해 모델에 대해 블라인드 평가셋 평가를 수행하였다. 블라인드 평가로 일반분야에서 학습한 기계독해 모델의 법률분야 평가셋에서의 일반화 성능을 평가하고, 정답 단락을 읽고 질문을 생성하지 않고 질문을 먼저 생성한 후 정답 단락을 검색한 평가셋에서의 기계독해 성능을 평가하였다. 블라인드 평가 결과, 사전 학습 언어 모델을 사용하지 않은 기계독해 모델 대비 사전 학습 언어 모델을 사용하는 모델이 큰 폭의 일반화 성능을 보였으나, 정답의 길이가 길고 질문과 단락 사이 어휘 오버랩 비율이 낮은 평가셋에서는 아직 80%이하의 성능을 보임을 확인하였다. 본 논문의 실험 결과 기계 독해 태스크는 특성 상 질문과 정답 사이의 어휘 오버랩 및 정답의 길이에 따라 난이도 및 일반화 성능 차이가 발생함을 확인하였고, 일반적인 질문과 단락을 대상으로 하는 기계독해 모델 개발을 위해서는 다양한 유형의 평가셋에서 일반화 평가가 필요함을 확인하였다.

  • PDF

Learning User Profile with Reinforcement Learning (강화학습 기반 사용자 프로파일 학습)

  • 김영란;한현구
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.325-327
    • /
    • 2002
  • 정보검색 태스크에서 사용자 모델링의 목적은 관련정보 검색을 용이하게 해주기 위하여 사용자의 관심도 또는 필요정보의 모델을 학습하는 것으로 시간적인 속성(temporal characteristics)을 가지며 관심 이동을 적절하게 반영하여야 한다. 강화학습은 정답이 주어지지 않고 사용자의 평가만이 수치적으로 주어지는 환경에서 평가를 최대화 한다는 목표를 가지므로 사용자 프로파일 학습에 적용할 수 있다. 본 논문에서는 사용자가 문서에 대해 행하는 일련의 행위를 평가값으로 하여 사용자가 선호하는 용어를 추출한 후, 사용자 프로파일을 강화학습 알고리즘으로 학습하는 방법을 제안한다. 사용자의 선호도에 적응하는 능력을 유지하기 위하여 지역 최대값들을 피할 수 있고, 가장 좋은 장기간 최적정책에 수렴하는 R-Learning을 적용한다. R-learning은 할인된 보상값의 최적화보다 평균 보상값을 최적화하기 때문에 장기적인 사용자 모델링에 적합하다는 것을 제시한다.

  • PDF

A Study on the Evaluation of Information Literacy Program and the Development Ofits Design Principle (정보활용능력 교수효과 평가 및 교과설계에 대한 연구)

  • Kim, Sung-Won
    • Journal of Information Management
    • /
    • v.41 no.4
    • /
    • pp.23-40
    • /
    • 2010
  • The needs for independent 'lifelong learning' is on the rise for the individuals living in today's fast-paced society. As a result, the significance of 'information literacy' as the core requirement for lifelong learning has become widely recognized. Some countries have even established standards for information literacy at the national level, and introduced programs to improve the overall level of information literacy in the school curriculum. In Korea, various studies have been done to identify the importance of information literacy, and also there are increasing offerings of information literacy programs in regular curriculum. Based on the result of self-efficiency assessment by the students who attended the information literacy courses, this study tries to examine the effects of those programs. It consequently confirms that these curriculums resulted in improvement of the information literacy of the students, and also provide some suggestions and guidelines for the design of the curriculum for information based on the findings.

The Development of Subject-matter Knowledge and Pedagogical Content Knowledge in Function Instruction (함수개념의 교수.학습과정에서 나타난 subject-matter knowledge와 pedagogical content knowledge 능력의 발전에 관한 연구)

  • Yoon, Suk-Im
    • Communications of Mathematical Education
    • /
    • v.21 no.4
    • /
    • pp.575-596
    • /
    • 2007
  • This study investigates preservice teachers' development of subject-matter knowledge and pedagogical content knowledge in teaching function concept. This development takes place in the pedagogical mathematics courses in which the theory of constructivism and cooperative learning theory are aligned. Pre and post courses test were administered to examine the development and the follow-up interviews were conducted to gain more details. Analysis of the written questionnaire results and interview transcripts reveal that their limited concept image can be extended and developed in depth through pedagogical mathematics courses that apply reformed teaching methods.

  • PDF

Design of an Intelligent Tutoring System based on Web Learning Assessment (웹 학습 평가에 기반한 지능형 교수 시스템의 설계)

  • 최숙영
    • Journal of Korea Society of Industrial Information Systems
    • /
    • v.6 no.3
    • /
    • pp.71-78
    • /
    • 2001
  • Since web-based tutoring systems are generally composed with passive and static hypertext, they could not provide adaptive learning environments according to learning ability of each student. In this study, we suggest an intelligent tutoring system, which grasps the learning state of student and provides each student with dynamic learning materials suitable to individual feature based on learning result. It is an agent based system, in which, courseware knowledge for learning is effectively constructed, the proper feedback according to learning assessment is inferred, and it is given to each student.

  • PDF

Effects of Computer Pointing Game on Visual Perception Ability of Children with Intellectual Disability (컴퓨터 포인팅 게임이 지적장애아동의 시지각 능력에 미치는 효과)

  • Kim, Kyoung-Joo;Kim, Sung-Wan
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2010.07a
    • /
    • pp.449-452
    • /
    • 2010
  • 이 연구는 컴퓨터 포인팅 게임이 중도(重度) 지적장애아동의 시지각 능력에 미치는 효과를 알아보는데 목적이 있다. 이를 위해, 시지각 능력에 효과적인 컴퓨터 포인팅 게임을 난이도 수준에 따라 3단계로 설계 및 개발하였다. 효과를 최대로 이끌기 위해, 1, 2주와 3주에 적용할 교수 학습 모형을 다르게 설계하였다. 그 효과를 알아보기 위해, 성남의 지적장애 H학교 초등부 재학생 중, 중도 지적장애아동이면서 낮은 시지각 능력을 보이지만, 교정시력과 손가락 사용에 어려움이 없는 4명의 아동을 대상으로 3주간 1회에 15분씩, 15회 실험을 실시하였다. 양적인 평가를 위해, 표준화 검사 도구인 한국판 시지각 발달검사(K-DTVP-2)를 4차에 걸쳐 진행하였고, 질적 평가를 위해, 관찰평가일지를 매주 실험이 끝난 후 작성하였다. 연구결과, 컴퓨터 포인팅 게임은 지적장애아동의 시지각 능력을 양적 질적 측면에서 향상시키는 것으로 나타났다.

  • PDF

KFREB: Korean Fictional Retrieval-based Evaluation Benchmark for Generative Large Language Models (KFREB: 생성형 한국어 대규모 언어 모델의 검색 기반 생성 평가 데이터셋)

  • Jungseob Lee;Junyoung Son;Taemin Lee;Chanjun Park;Myunghoon Kang;Jeongbae Park;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.9-13
    • /
    • 2023
  • 본 논문에서는 대규모 언어모델의 검색 기반 답변 생성능력을 평가하는 새로운 한국어 벤치마크, KFREB(Korean Fictional Retrieval Evaluation Benchmark)를 제안한다. KFREB는 모델이 사전학습 되지 않은 허구의 정보를 바탕으로 검색 기반 답변 생성 능력을 평가함으로써, 기존의 대규모 언어모델이 사전학습에서 보았던 사실을 반영하여 생성하는 답변이 실제 검색 기반 답변 시스템에서의 능력을 제대로 평가할 수 없다는 문제를 해결하고자 한다. 제안된 KFREB는 검색기반 대규모 언어모델의 실제 서비스 케이스를 고려하여 장문 문서, 두 개의 정답을 포함한 골드 문서, 한 개의 골드 문서와 유사 방해 문서 키워드 유무, 그리고 문서 간 상호 참조를 요구하는 상호참조 멀티홉 리즈닝 경우 등에 대한 평가 케이스를 제공하며, 이를 통해 대규모 언어모델의 적절한 선택과 실제 서비스 활용에 대한 인사이트를 제공할 수 있을 것이다.

  • PDF

GAN using Frequency Domain (주파수 영역을 활용한 GAN)

  • Chae-Eun Lee;Sung Hoon Jung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.05a
    • /
    • pp.567-569
    • /
    • 2023
  • GAN은 이미지 생성모델로서 이미지 공간에서 좋은 결과를 보여왔다. 우리는 이러한 GAN의 능력을 더욱 향상하기 위하여 본 연구에서 주파수 영역에서 이미지를 학습하고 생성하는 새로운 방법을 제안한다. 이를 위하여 먼저 학습데이터를 2D FFT로 주파수 영역으로 변환한 후 변환된 학습데이터를 GAN이 학습하게 한다. 학습 후에 GAN은 새로운 이미지를 생성하며 생성된 이미지를 2D IFFT하여 이미지 공간으로 변환한다. 이렇게 주파수 영역에서 이미지를 생성하는 방법은 이미지 공간에서 생성하는 방법보다 다양한 장점이 있다. 생성된 이미지의 품질을 평가하기 위하여 4개 데이터 셋에 4개의 평가지표를 사용하여 평가한 결과 주파수 영역에서 생성한 이미지가 IS, P&R, D&C 측면에서 더 좋은 것으로 평가되었다.

The Effect of Project Method on the Girl Student's Task Performance Ability in the Unit of 'Energy and Transportation Technology' of Technology.Home Economics Subject in High Schools (고등학교 기술.가정과 '에너지와 수송기술' 단원에서 프로젝트법이 여학생의 과제 수행 능력에 미치는 효과)

  • Kim, Young-Ryu;Lee, Sang-Hyuk;Lee, Yong-Jin
    • 대한공업교육학회지
    • /
    • v.35 no.2
    • /
    • pp.159-181
    • /
    • 2010
  • This study aims to verity effects of project method on the girl students' task performance ability in the unit of 'Energy and Transportation Technology' of Technology' Home Economics Subject in High schools. The task performance ability are composed of collecting information, performing achievement, planning of solving the task, and performance evaluation. The results of this research conducted for girl students of two classes of H high school located in Gyeong-gi Province are as follows: First, the group with the project method was more effective, in general, in learning ability of performing the tasks of 'Energy and Transportation Technology' than the group with traditional teaching. Second, the group with the project method was more effective than the group with traditional teaching in ability of task performance of subordinate elements of performing tasks in the unit of 'Energy and Transportation Technology', such as collecting information and performing achievement. However, in the fields of another subordinate elements of planning of solving the task and performing evaluation, the degree of effectiveness was unknown. After examining the results of all the cases, it was found that project method was more effective than the traditional teaching method in increasing the performing task abilities of the students in the lesson of 'Energy and Transportation Technology' in high schools.

  • PDF

The Development of Music Education Model based on e-learning (e-learning을 활용한 음악과 수업모형 개발)

  • Yun, Deok-Un;Kim, Soon-Gohn
    • 한국정보교육학회:학술대회논문집
    • /
    • 2005.08a
    • /
    • pp.13-20
    • /
    • 2005
  • 본 논문에서는 on-line을 통한 교육방법의 하나인 e-learning(Web Based Instruction)을 활용한 음악과 수업모형을 개발하여 교육적 활용 효과를 검증하였다. 웹 기반 교수학습 자료를 구축하고 각종 학습 자료를 탑재하여 수업에 활용하였으며, 교육 효과를 보다 정확히 알아보기 위해 수준별(상,중,하) 3개 그룹으로 나누어 e-learning 기법을 적용 사전평가 및 사후평가를 통하여 얻어진 결과를 통계 처리하여 검증하였다. 본 논문에서는 학습자의 능력과 필요에 따라 능동적인 학습이 이루어지도록 하였다. 개별학습, 반복학습 및 자기주도적 학습을 진행할 수 있도록 구성하였으며, 그 결과 구체적이고 실질적인 학습 효과를 얻을 수 있었다. e-learning 활용수업을 실시한 실험 집단 전체에서 off-line 수업을 실시한 통제집단보다 학습 성취도에 있어서 효과적인 것을 확인할 수 있었다. 상위, 중위 그룹의 학생들에게는 웹 기반 교수학습 활용수업이 학습효과에 있어서 큰 차이가 없었지만 하위 그룹의 학생들에게는 크게 효과적인 것으로 나타났다.

  • PDF