• Title/Summary/Keyword: 언어평가

Search Result 1,675, Processing Time 0.034 seconds

A Study on the Evaluation Method of Korean Comprehension Abilities of Large Language Model (대규모 언어모델의 한국어 이해 능력 평가 방법에 관한 연구)

  • Ki Jun Son;Seung Hyun Kim
    • Annual Conference of KIPS
    • /
    • 2024.05a
    • /
    • pp.733-736
    • /
    • 2024
  • 최근 GTP4, LLama와 같은 초거대 언어모델을 활용한 서비스가 공개되어 많은 사람의 주목을 받고 있다. 해당 모델들은 사용자들의 다양한 질문에 대하여 유창한 결과를 생성하고 있지만 한국어 데이터에 대한 학습량이 부족하여 한국어 이해 및 한국 문화 등에 대한 잘못된 정보를 제공하는 문제를 야기할 수 있다. 이에 본 논문에서는 한국어 데이터를 학습한 주요 공개 모델 6개를 선정하고 5개 분야(한국어 이해 및 문화 영역으로 구성)에 대한 평가 데이터셋을 구성하여 한국어 이해 능력에 대한 평가를 진행하였다. 그 결과 한국어 구사 능력은 Bookworm 모델이, 한국어 이해 및 문화와 관련한 부문은 LDCC-SOLAR 모델이 우수한 것으로 확인할 수 있었다.

Improvement of Evaluation of Programming Practice in Secondary Informatics· Computer Teacher Appointment Test (정보· 컴퓨터 중등교사 임용시험에서 프로그래밍 실기 평가의 개선 방안)

  • Kang, Oh-Han
    • The Journal of Korean Association of Computer Education
    • /
    • v.22 no.6
    • /
    • pp.1-10
    • /
    • 2019
  • As the 2015 revised curriculum is implemented and the software education is emphasized, the education field demands more informatics teachers with computational thinking and programming skills. In this thesis, we have studied ways to improve the practical evaluation of informatics·computer teacher-appointment test so that a preliminary teacher can be selected through the evaluation of programming skills. We analyzed existing informatics·computer appointment tests and conducted questionnaires for professors and teachers to suggest improvement and expansion of practical skill evaluation. According to the results from the questionnaire, 88% of the respondents answered that expanding the evaluation of programming practice is necessary. In the questionnaires regarding the programming language, the number of questions, and the test time, the highest response rate was C language(51%), 5 questions(66%) and 2 hours(56%).

Quality Prediction of Knowledge Search Documents Using Text-Confidence Features (신뢰도 자질을 이용한 지식검색 문서의 품질 평가)

  • Lee, Jung-Tae;Song, Young-In;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.62-67
    • /
    • 2007
  • 불특정 사용자의 참여에 의해 정보가 생성되는 지식검색 서비스에서는 문서의 품질이 검색 만족도에 중요한 요소 중 하나이다. 지식검색 문서의 품질 평가에 관한 기존 연구는 조회 수나 추천 수 등의 비텍스트 정보를 이용하여 문서의 품질을 평가하고, 이를 검색 모형에 반영하여 검색 성능을 높이는데 집중하였다. 이러한 비텍스트 정보는 그 유용성이 실험을 통해 증명되었지만, 새로 작성된 문서와 같은 경우 심각한 자료 부족 문제가 발생할 수 있다는 단점이 있다. 본 논문에서는 이러한 비텍스트 정보의 자료 부족 문제를 완화할 수 있는 새로운 문서 품질 평가 자질로서 문서 내용의 신뢰성을 반영하는 신뢰도 자질을 제안한다. 제안하는 자질은 문서의 내용으로부터 직접 추출되며, 따라서 추천 수나 조회 수 등 서비스 사용자의 참여나 이용을 필요로 하는 비텍스트 자질보다 자료 부족 문제에 견고하다는 장점이 있다. 또한 제안하는 신뢰도 자질은 문서 품질 평가에 유용하다고 알려진 비텍스트 자질과 유사하거나 향상된 성능을 실험에서 보였으며, 추후 자질 추출 방법을 개선한다면 효과적인 품질 평가 자질로서 기능을 할 수 있을 것으로 기대된다.

  • PDF

A Study on the Indicators of Language Development Ability in Infants 18-24 Months (영아(18-24개월)의 언어발달능력 지표에 관한 조사 연구)

  • Kyung-sook Hwang;Wha-Soo Kim;Ji-Woo Lee
    • The Journal of the Convergence on Culture Technology
    • /
    • v.9 no.6
    • /
    • pp.843-848
    • /
    • 2023
  • The purpose of this study is to understand in detail the development of infants in the 18-24-month period when language develops the most, and to prepare new standards for developmental evaluation that can promote appropriate intervention design at an early time. We divided sub-items such as screening tests and standardized test tools to know the language development ability indicators of infants aged 18-24 months were divided into syntax/phonology, meaning, and speech, and each question was classified and a checklist was made on a five-point scale to conduct a survey on parents with infants aged 18-24 months. Low sensitivity to screening of infants with language delays in nationally implemented infant health checkups, and domestic test tools are standardized for at least six to as many as 10 years, which is always possible in questionnaires related to acceptance and expression, with many reports from parents or teachers.The proportion of "wow" and "started to do" was more than 50-60%. Based on the results of this study, it is hoped that new standards for developmental evaluation will be developed to promote the design of appropriate interventions in detail at a short time.

Implementation of a Class Analysis Tool Based On Linguistic Interaction Analysis Method (언어 상호 작용을 기반으로 한 수업 분석 도구의 구현)

  • Kwon, Oh-Sung
    • Journal of The Korean Association of Information Education
    • /
    • v.16 no.4
    • /
    • pp.475-482
    • /
    • 2012
  • A class is a complex and interactive process between a teacher and students. This paper describes a software design and implementation of the tool easily to analyze and quantize teaching ability. Our proposed software is implemented based on Flanders linguistic method. The software can easily represent the linguistic analysis results by abstracted graphic drawings. We carry out the performance test of our implemented software targeting incumbent teachers. In the experimental, we could demonstrate the effectiveness and practicality of our implemented software.

  • PDF

Korean-Japanese Cross Lingual Information Retrieval Based on Bi-gram Indexing (바이그램 색인에 기반한 한-일 교차언어검색)

  • Lee Gyu-Chan;Kang In-Su;Na Seung-Hoon;Lee Jong-Hyeok
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.07b
    • /
    • pp.448-450
    • /
    • 2005
  • 교차언어검색 시스템은 다양한 언어자원을 필요로 한다. 여기서는 한-일 대역어 사전과 일본어 문서의 바이그램 색인만을 이용해서 교차언어검색을 수행하는 방법을 제시한다. 한국어로 된 자연어 질의에서 형태소분석기 등의 도움 없이 간단하게 일본어 대역어 리스트를 생성할 수 있는 방법과, 검색의 성능을 올릴 수 있도록 대역어에 가중치를 부여하는 방법을 제안한다. 그리고 실험을 통해 제시한 방법을 평가하고 분석한다.

  • PDF

The Preliminary Clinical Application of the Tentative Korean Aphasia Test Battery Form(I) (한국어판 실어증 감별진단검사법 시안(I)의 임상적용에 대한 예비연구)

  • 박혜숙;사사누마스미꼬;선우일남;나은우;신정순
    • Proceedings of the KSLP Conference
    • /
    • 1993.12a
    • /
    • pp.13-13
    • /
    • 1993
  • 실어증 감별진단검사법은 실어증환자들의 진단, 치료계획의 설정, 치료 효과 및 예후의 판정 등을 위하여 사용된다. 그러나 아직 우리나라에는 우리에게 알맞은 실어증 감별진단 검사법이 개발되지 않았으므로 본 연구에서는 정신문화 및 언어구조면에서 우리나라와 유사성이 가장 높다고 생각되는 일본에서 널리 사용되고 있는 실어증 감별진단검사법(노인총합 연구소판)을 우리나라의 정신문화 및 언어상의 특성을 고려하여 번역 보완환 다음 한국어판 실어증 감별진단검사법을 시안(I)을 실어증 환자군과 정상 대조군에 적용하여 그 가치를 평가하고자 하였다. (중략)

  • PDF

A Comparative Analysis of the Text/Visual Programming Education Using LabVIEW (LabVIEW를 사용한 텍스트/시각 프로그래밍 교육의 유용성 비교 분석)

  • Lho, Young-Uhg;Jung, Min-Po;Cho, Hyuk-Gyu;Jung, Deok-Gil
    • Proceedings of the Korean Institute of Information and Commucation Sciences Conference
    • /
    • 2012.10a
    • /
    • pp.347-350
    • /
    • 2012
  • 컴퓨터 프로그래밍 교육은 컴퓨터과학 분야의 관련 전공과목을 공부하기 위하여 매우 중요할 뿐만 아니라, 학생들의 취업을 위한 기술 교육에서도 매우 중요하다. 이 논문에서는 학생들의 교육 및 취업에 적합한 교육용 및 상용 프로그래밍 언어, 도구에 대한 타당성을 분석하여 프로그래밍 교육에 적합한 프로그래밍 언어/도구를 선택하고, 이에 대한 교육 과정을 개발하여 프로그래밍 현장 교육에 적용하고 분석한다. 특히, 최근의 기술 추세와 산업계에 필요한 임베디드/모바일/웹/3D 프로그래밍 분야에 널리 사용되고 있는 프로그래밍 분야에서 텍스트 기반 언어(예: JAVA)와 시각 프로그래밍 언어/환경(예: LabVIEW)에 대한 유용성을 비교하여 분석한다.

  • PDF

Characteristics of Spoken Discourse Markers and their Application to Speech Synthesis Systems (담화표지의 음성언어적 특성과 음성합성 시스템에서의 활용)

  • Lee, Ho-Joon;Park, Jong C.
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.254-260
    • /
    • 2007
  • 음성은 컴퓨터로 대변되는 기계와 사람 그리고 기계를 매개로 한 사람과 사람의 상호작용에서 가장 쉽고 직관적인 인터페이스로 널리 활용되고 있다. 인간에게 음성정보를 제공하는 음성합성 분야에서는 합성결과의 자연스러움과 인식성이 시스템의 주요 평가요소로 활용되고 있는데 이러한 자연스러움과 인식성은 합성결과의 정확성뿐만 아니라 발화환경이나 발화자의 발화특징 혹은 감정상태 등에 의해 많은 영향을 받게 된다. 담화표지는 문장의 명제 내용에는 직접 관여하지 않으면서 화자의 발화 의도나 심리적 태도를 전달하는 구성 요소를 말하는데 본 논문에서는 담화표지가 포함된 대화 음성 데이터를 수집하여 담화표지의 음성언어적인 특징을 분석하고 분석된 결과를 음성합성 시스템에 활용하는 표현방식에 대해 논의한다.

  • PDF

Example-based Dialog Modeling for English Conversation Tutoring (영어 회화 교육을 위한 예제 기반 대화 시스템)

  • Lee, Sungjin;Lee, Cheongjae;Lee, Gary Geunbae
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.1-6
    • /
    • 2007
  • 본 논문에서는 영어 회화 교육을 위한 예제 기반 대화 시스템에 대해 논한다. 기존의 획일적인 멀티미디어 영어 학습에서 벗어나 자연어 처리 및 대화 기술을 이용하여 지능적인 일대일 영어 회화 교육 제공을 목적으로 한다. 본 시스템은 미숙한 학습자 발화를 이해할 수 있으므로 불완전한 언어 구사 능력으로도 대화를 참여할 수 있는 체험형 학습을 제공한다. 이를 통해 학습자에게 영어를 배우려는 흥미로운 동기를 부여한다. 또한 학습자의 표현력 향상을 위한 교육적인 도움 기능을 갖추고 있다. 이를 위해 우리는 학습자의 미숙한 표현을 이해하는 통계 기반의 언어 이해 모듈, 도메인 확장성이 뛰어난 예제 기반 대화 관리 모듈, 교육 및 평가 기능을 개발하였다.

  • PDF