• Title/Summary/Keyword: 언어평가

Search Result 1,675, Processing Time 0.031 seconds

A Linguistic Evaluation of English-to-Korean Translation - Centered on Machine Translation - (영한 번역의 언어학적 평가 모델 연구 - 기계번역을 중심으로 -)

  • 김덕봉;조병은;김명철;권용현
    • Korean Journal of Cognitive Science
    • /
    • v.12 no.4
    • /
    • pp.11-27
    • /
    • 2001
  • Machine translation (MT) quality assessment is an outstanding problem. In the present situation in which the quality of machine-translated products are far from the user\\`s satisfaction objective evaluation of MT system is a prerequisite to building mutual trust between the users and the vendors stimulating constructive competition among the developers and finally leading to improve the quality of MT systems. Especially there emerges a need for an intensive study on how to evaluate the quality of MT systems from both linguistic and data processing aspects and to secure a steady improvement of the translation quality. With due regard to such points we in this paper present a linguistic evaluation of English-to-Korean machine translation based on a test suite composed of 3.373 sentences that were classified into their linguistic phenomena and complexity levels and report the experimental results made from several commercial MT systems.

  • PDF

A Concurrent Incremental Evaluation Using Multithreading (멀티쓰레딩을 활용한 병행 점진 평가)

  • Han, Junglan
    • Annual Conference of KIPS
    • /
    • 2009.11a
    • /
    • pp.915-916
    • /
    • 2009
  • 프로그램 개발 단계에서 프로그램을 수정할 경우, 전체 프로그램을 다시 평가하는 대신 수정한 부분과 그 부분에 영향 받는 부분만을 다시 평가하는 것이 점진 평가 방법이다. 본 논문에서는 의미 구조에 직접적으로 영향을 주는 변수의 값을 나타내는 속성을 중심으로 종속성을 표시하고, 여러 프로세서에서 병렬로 처리하는 대신 멀티쓰레딩 기능을 활용하여 객체 지향언어인 자바 언어에서 점진 평가를 동시에 효율적으로 수행할 수 있는 병행 점진 평가 방법을 제시하고 모의실험을 통해 병행 점진 평가 방법의 효율성을 분석한다.

Development of an Indexing Model for Korean Textual Databases (국내 문자정보 데이터베이스의 색인에 관한 연구)

  • 정영미
    • Journal of the Korean Society for information Management
    • /
    • v.13 no.1
    • /
    • pp.19-43
    • /
    • 1996
  • The indexing languages and techniques were ~ u ~ e y e d for Korean textual databases, and retrieval effectivenesses of two indexing languages were evaluated in an online searching experiment. It was found that most of the Korean textual databases surveyed employ natural language indexing by either an automatic or a manual method, and that natural language indexing may outperform controlled language indexing if appropriate search strategies are employed.

  • PDF

Korean ELECTRA for Natural Language Processing Downstream Tasks (한국어 ELECTRA 모델을 이용한 자연어처리 다운스트림 태스크)

  • Whang, Taesun;Kim, Jungwook;Lee, Saebyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.257-260
    • /
    • 2020
  • 사전 학습을 기반으로 하는 BERT계열의 모델들이 다양한 언어 및 자연어 처리 태스크들에서 뛰어난 성능을 보이고 있지만, masked language model의 경우 입력 문장의 15%만 마스킹을 함으로써 학습 효율이 떨어지고 미세 조정 시 마스킹 토큰이 등장하지 않는 불일치 문제도 존재한다. 이러한 문제를 효과적으로 해결한 ELECTRA는 영어 벤치마크에서 기존의 언어모델들 보다 뛰어난 성능을 보여주었지만 한국어에 대한 관련 연구는 부족한 실정이다. 본 연구에서는 ELECTRA를 한국어 코퍼스에 대해 학습시키고, 다양한 한국어 자연어 이해 태스크들에 대해 실험을 진행한다. 실험을 통해 ELECTRA의 모델 크기별 성능 평가를 진행하였고, 여러 한국어 태스크들에 대해서 평가함으로써 ELECTRA 모델이 기존의 언어 모델들보다 좋은 성능을 보인다는 것을 입증하였다.

  • PDF

Evaluating Table QA with Generative Language Models (생성형 언어모델을 이용한 테이블 질의응답 평가)

  • Kyungkoo Min;Jooyoung Choi;Myoseop Sim;Haemin Jung;Minjun Park;Jungkyu Choi
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.75-79
    • /
    • 2023
  • 문서에서 테이블은 중요한 정보들을 축약하여 모아 놓은 정보 집합체라고 할 수 있다. 이러한 테이블을 대상으로 질의응답하는 테이블 질의응답 기술이 연구되고 있으며, 이 중 언어모델을 이용한 연구가 좋은 결과를 보이고 있다. 본 연구에서는 최근 주목받고 있는 생성형 언어모델 기술을 테이블 질의응답에 적용하여 언어모델과 프롬프트의 변경에 따른 결과를 살펴보고, 단답형 정답과 생성형 결과의 특성에 적합한 평가방법으로 측정해 보았다. 자체 개발한 EXAONE 1.7B 모델의 경우 KorWiki 데이터셋에 대해 적용하여 EM 92.49, F1 94.81의 결과를 얻었으며, 이를 통해 작은 크기의 모델을 파인튜닝하여 GPT-4와 같은 초거대 모델보다 좋은 성능을 보일 수 있음을 확인하였다.

  • PDF

Algorithmic approach for handling linguistic values (언어 값을 다루기 위한 알고리즘적인 접근법)

  • Choi Dae Young
    • The KIPS Transactions:PartB
    • /
    • v.12B no.2 s.98
    • /
    • pp.203-208
    • /
    • 2005
  • We propose an algorithmic approach for handling linguistic values defined in the same linguistic variable. Using the proposed approach, we can explicitly capture the differences of individuals' subjectivity with respect to linguistic values defined in the same linguistic variable. The proposed approach can be employed as a useful tool for discovering hidden relationship among linguistic values defined in the same linguistic variable. Consequently, it provides a basis for improving the precision of knowledge acquisition in the development of fuzzy systems including fuzzy expert systems, fuzzy decision tree, fuzzy cognitive map, ok. In this paper, we apply the proposed approach to a collective linguistic assessment among multiple experts.

Cross-Language Clone Detection based on Common Token (공통 토큰에 기반한 서로 다른 언어의 유사성 검사)

  • Hong, Sung-Moon;Kim, Hyunha;Lee, Jaehyung;Park, Sungwoo;Mo, Ji-Hwan;Doh, Kyung-Goo
    • Journal of Software Assessment and Valuation
    • /
    • v.14 no.2
    • /
    • pp.35-44
    • /
    • 2018
  • Tools for detecting cross-language clones usually compare abstract-syntax-tree representations of source code, which lacks scalability. In order to compare large source code to a practical level, we need a similarity checking technique that works on a token level basis. In this paper, we define common tokens that represent all tokens commonly used in programming languages of different paradigms. Each source code of different language is then transformed into the list of common tokens that are compared. Experimental results using exEyes show that our proposed method using common tokens is effective in detecting cross-language clones.

Enhancement of English-to-Korean Translation Quality by Korean Style Generation Patterns (한국어 스타일 생성 패턴에 의한 영한 번역 품질 개선)

  • Choi, Sung-Kwon;Hong, Mun-Pyo;Park, Sang-Kyu
    • Annual Conference on Human and Language Technology
    • /
    • 2003.10d
    • /
    • pp.235-240
    • /
    • 2003
  • 본 논문에서는 영한 자동번역 시스템에 한국어 스타일 생성 패턴을 적용함으로써 영한 번역 품질을 향상하고자 하는 것이 목표이다. 이러한 목표는 기존의 원문에 대한 번역문의 정보 전달 정확성을 측정하는 1차원적인 번역률 평가 방법에서 벗어나 번역문의 정보 정확성뿐만 아니라 자연스러움도 평가할 수 있는 2차원적인 번역률 평가방법으로써 정확성과 스타일을 동시에 평가하는 방법을 제안한다. 2차원적인 번역률 평가 방법에 따라 스타일 생성 패턴이 적용되기 전과 적용된 후의 평가 결과는 100문자의 샘플문을 대상으로 하였을 때, 스타일 생성 패턴에 의해서만 0.5%의 번역률이 향상되는 것을 관찰하였다. 본 논문에서의 스타일 생성 패턴은 단순히 언어간 스타일 차이만 적용한 것이며 향후에는 신문, 일기예보, 기술 매뉴얼과 같은 특정 그룹을 위한 스타일 생성 패턴을 적용할 계획이다.

  • PDF

Development on an Assignment Evaluation System for "Saesark," a Korean Programming Language (한글 프로그래밍 언어 "새싹"을 위한 과제 평가 시스템 개발)

  • Kim, Yeoneo;Liu, Xiao;Woo, Gyun
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2016.05a
    • /
    • pp.43-44
    • /
    • 2016
  • 최근 국내외에서 프로그래밍 교육이 주목받고 있다. 그중 초보자를 위한 한글 프로그래밍 언어인 새싹은 소프트웨어 프로그래밍 교육에 적합한 언어이다. 하지만 새싹을 위한 과제 평가 시스템은 아직 개발되어 있지 않다. 이 논문에서는 새싹을 위한 과제 평가 시스템을 개발하고자 한다. 이를 위해 기존 과제 평가 시스템인 neoESPA를 수정하여 새싹을 지원하도록 한다. 그리고 새싹을 위한 과제 간의 표절 여부를 판단하는 도구를 개발하고 이를 neoESPA에 탑재하여 정당한 평가를 도와주는 과제 평가 시스템을 제안한다.

  • PDF