• Title/Summary/Keyword: 문장 오류

Search Result 240, Processing Time 0.026 seconds

A Unified Probablistic Model for Correcting Spacing Errors and Improving Accuracy of Morphological Analysis of Korean Sentences (한국어 문장의띄어 쓰기 오류 교정과 최적 형태소 분석을위한 통합 확률 모델)

  • Lee, Dong-Joo;Yeon, Jong-Heum;Lee, Sang-Goo
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2011.06a
    • /
    • pp.237-240
    • /
    • 2011
  • 띄어쓰기 오류는 한국어로 작성된 글에서 나타나는 가장 흔한 오류 중 하나로 문장의 의미적 모호성과 중의성을 가져온다. 규칙 기반 혹은 통계적접근 방법으로 띄어쓰기 오류를 교정하는다양한 방법이 제시되었으나, 기존의 방법들은 띄어쓰기를 형태소 분석의 전단계로 여기거나 띄어쓰기를 교정하기 위해서 형태소 분석을이용하는 등 각각을 독립된 과정으로 다루어, 한 과정에서 발생하는 오류가 다른 과정으로 전파되도록 하는 문제를 안고 있다. 본 논문에서는 띄어 쓰기와 최적 형태소 분석을 하나의 통합된 문제로 다루어각과정에서 발생할 수 있는 오류가 다른 과정에 영향을 주지 않도록 하고 상호 오류를 보완하여 좀더 정확한 띄어쓰기 오류 교정 및 형태소 분석을 가능하게 하는 확률적 접근 방법을 제시한다.

The Modelling of Prosodic Phrasing and Segmental Duration using CART (CART를 이용한 운율구 추출 및 음소 지속 시간 모델링)

  • 이상호
    • Proceedings of the Acoustical Society of Korea Conference
    • /
    • 1998.06c
    • /
    • pp.135-138
    • /
    • 1998
  • 본 논문에서는 트리 기반 모델링 기법 중 하나인 CART(Classification And Regression Trees) 방법을 이용하여, 운율구 추출, 운율구 사이의 휴지 기간, 음소 지속 시간을 모델링 하고자 한다. 총 400문장(약 33분)의 코퍼스를 수집한 후, 그 중 240문장(약 20분)을 이용하여 결정 트리와 회귀 트리를 학습시키고 160문장(약 13분)에 대해 실험하였다. 운율구 경계를 결정하는 결정 트리의 오류율은 14.6%이었고, 운율구 사이의 휴지 기간과 음소 지속 시간을 예측하는 회귀 트리들의 평균 제곱 오류근(RMSE)이 각각 132.61msec, 21.97msec이었다.

Syntactic and Semantic Integration Processes during Korean Sentence Comprehension: using ERPs as an neurophysiological index (ERP로 확인된 한국어 문장 이해과정에서의 통사 및 의미 처리특성 연구)

  • Kim, Choong-Myung;Lee, Kyoung-Min
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.259-263
    • /
    • 2004
  • 본 연구는 머리어-후행언어(head-final language)로 분류되는 한국어의 통사 및 의미 처리 과정의 언어간(cross linguistic) 일반성과 언어내(intra-language) 특이성을 ERP(event- related potentials) 실험결과를 통해 알아보고자 하였다. 한국어 문장처리 과정에서의 통사 및 의미 처리특성은, 우선 이들을 지표하는 각각의 오류문을 통해 P600과 N400 이라는 언어일반의 처리과정을 보이면서도 각 성분의 영역분포는 오류가 출현된 위치에 따라 분기하고 있음을 관찰할 수 있었다. 곧, 문미위치의 술어오류에서 중심-두정 부위의 활성화 우세로 각 오류간 영역분화를 보이는 패턴을 새롭게 확인하였다. 이로써 오류의 유형별 재분류과정으로 드러난 오류출현 위치가 오류의 유형 내에 영향을 끼치는 한 변수가 될 수 있으며. 이는 이들 보어 및 술어를 구성하는 고유의 범주 특성으로 해석할 수 있는 근거가 될 수 있음도 아울러 확인하였다.

  • PDF

Error Word Detection in Korean Corpus (한국어 대용량 코퍼스의 오류 어휘 탐지 방안)

  • Choi, Min-Joo;Park, Ji-Hoon;Son, Sung-Hwan;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.500-502
    • /
    • 2019
  • 대용량의 언어 코퍼스를 이용할 때, 오류 어휘가 코퍼스에 포함되어 있는 경우 해당 코퍼스를 이용한 실험의 성능이 저하될 수 있다. 이 때문에 정확한 문장들로 이루어진 코퍼스를 구축하기 위해 다량의 문장 중에서 정확하게 오류 어휘를 탐지할 필요가 있다. 본 논문에서는 대용량 데이터에서 빈도수가 낮은 음절을 이용해 오류 어휘를 탐지하는 방법을 제안하고, 제안 방법을 이용하여 오류 어휘 탐지 시 고려하여야 할 점에 대해 서술한다.

  • PDF

Advanced detection of sentence boundaries based on hybrid method (하이브리드 방법을 이용한 개선된 문장경계인식)

  • Lee, Chung-Hee;Jang, Myung-Gil;Seo, Young-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.61-66
    • /
    • 2009
  • 본 논문은 다양한 형태의 웹 문서에 적용하기 위해서, 언어의 통계정보 및 후처리 규칙에 기반 하여 개선된 문장경계 인식 기술을 제안한다. 제안한 방법은 구두점 생략 및 띄어쓰기 오류가 빈번한 웹 문서에 적용하기 위해서 문장경계로 사용될 수 있는 모든 음절을 대상으로 학습하여 문장경계 인식을 수행하였고, 문장경계인식 성능을 최대화 하기 위해서 다양한 실험을 통해 최적의 자질 및 학습데이터를 선정하였고, 다양한 기계학습 기반 분류 모델을 비교하여 최적의 분류모델을 선택하였으며, 학습데이터에 의존적인 통계모델의 오류를 규칙에 기반 해서 보정하였다. 성능 실험은 다양한 형태의 문서별 성능 측정을 위해서 문어체와 구어체가 복합적으로 사용된 신문기사와 블로그 문서(평가셋1), 문어체 위주로 구성된 세종말뭉치와 백과사전 본문(평가셋2), 구두점 생략 및 띄어쓰기 오류가 빈번한 웹 사이트의 게시판 글(평가셋3)을 대상으로 성능 측정을 하였다. 성능척도로는 F-measure를 사용하였으며, 구두점만을 대상으로 문장경계 인식 성능을 평가한 결과, 평가셋1에서는 96.5%, 평가셋2에서는 99.4%를 보였는데, 구어체의 문장경계인식이 더 어려움을 알 수 있었다. 평가셋1의 경우에도 규칙으로 후처리한 경우 정확률이 92.1%에서 99.4%로 올라갔으며, 이를 통해 후처리 규칙의 필요성을 알 수 있었다. 최종 성능평가로는 구두점만을 대상으로 학습된 기본 엔진과 모든 문장경계후보를 인식하도록 개선된 엔진을 평가셋3을 사용하여 비교 평가하였고, 기본 엔진(61.1%)에 비해서 개선된 엔진이 32.0% 성능 향상이 있음을 확인함으로써 제안한 방법이 웹 문서에 효과적임을 입증하였다.

  • PDF

A Simultaneous Recognition Technology of Named Entities and Objects for a Dialogue Based Private Secretary Software (대화형 개인 비서 시스템을 위한 하이브리드 방식의 개체명 및 문장목적 동시 인식기술)

  • Lee, ChangSu;Ko, YoungJoong
    • Annual Conference on Human and Language Technology
    • /
    • 2013.10a
    • /
    • pp.18-23
    • /
    • 2013
  • 기존 대화시스템과 달리 대화형 개인 비서 시스템은 사용자에게 정보를 제공하기 위해 앱(APP)을 구동하는 방법을 사용한다. 사용자가 앱을 통해 정보를 얻고자 할 때, 사용자가 필요로 하는 정보를 제공해주기 위해서는 사용자의 목적을 정확하게 인식하는 작업이 필요하다. 그 작업 중 중요한 두 요소는 개체명 인식과 문장목적 인식이다. 문장목적 인식이란, 사용자의 문장을 분석해 하나의 앱에 존재하는 여러 정보 중 사용자가 원하는 정보(문장의 목적)가 무엇인지 찾아주는 인식작업이다. 이러한 인식시스템을 구축하는 방법 중 대표적인 방법은 사전규칙방법과 기계학습방법이다. 사전규칙은 사전정보와 규칙을 적용하는 방법으로, 시간이 지남에 따라 새로운 규칙을 추가해야하는 문제가 있으며, 규칙이 일반화되지 않을 경우 오류가 증가하는 문제가 있다. 또 두 인식작업을 파이프라인 방식으로 적용 할 경우, 개체명 인식단계에서의 오류를 가지고 문장목적 인식단계로 넘어가기 때문에 두 단계에 걸친 성능저하와 속도저하를 초래할 수 있다. 이러한 문제점을 해결하기 위해 우리는 통계기반의 기계학습방법인 Conditional Random Fields(CRF)를 사용한다. 또한 사전정보를 CRF와 결합함으로써, 단독으로 수행하는 CRF방식의 성능을 개선시킨다. 개체명과 문장목적인식의 구조를 분석한 결과, 비슷한 자질을 사용할 수 있다고 판단하여, 두 작업을 동시에 수행하는 방법을 제안한다. 실험결과, 사전규칙방법보다 제안한 방법이 문장단위 2.67% 성능개선을 보였다.

  • PDF

Critical Error Span Detection Model of Korean Machine Translation (한국어 기계 번역에서의 품질 검증을 위한 치명적인 오류 범위 탐지 모델)

  • Dahyun Jung;Seungyoon Lee;Sugyeong Eo;Chanjun Park;Jaewook Lee;Kinam Park;Heuiseok Lim
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.80-85
    • /
    • 2023
  • 기계 번역에서 품질 검증은 정답 문장 없이 기계 번역 시스템에서 생성된 번역의 품질을 자동으로 추정하는 것을 목표로 한다. 일반적으로 이 작업은 상용화된 기계 번역 시스템에서 후처리 모듈 역할을 하여 사용자에게 잠재적인 번역 오류를 경고한다. 품질 검증의 하위 작업인 치명적인 오류 탐지는 번역의 오류 중에서도 정치, 경제, 사회적으로 문제를 일으킬 수 있을 만큼 심각한 오류를 찾는 것을 목표로 한다. 본 논문은 치명적인 오류의 유무를 분류하는 것을 넘어 문장에서 치명적인 오류가 존재하는 부분을 제시하기 위한 새로운 데이터셋과 모델을 제안한다. 이 데이터셋은 거대 언어 모델을 활용하는 구축 방식을 채택하여 오류의 구체적인 범위를 표시한다. 또한, 우리는 우리의 데이터를 효과적으로 활용할 수 있는 다중 작업 학습 모델을 제시하여 오류 범위 탐지에서 뛰어난 성능을 입증한다. 추가적으로 언어 모델을 활용하여 번역 오류를 삽입하는 데이터 증강 방법을 통해 보다 향상된 성능을 제시한다. 우리의 연구는 기계 번역의 품질을 향상시키고 치명적인 오류를 줄이는 실질적인 해결책을 제공할 것이다.

  • PDF

The Effect of Overseas Language Training on the Development of Foreign Language Accuracy (해외어학연수의 외국어 정확성 향상에 대한 효과)

  • Cha, Mi-Yang
    • Journal of Industrial Convergence
    • /
    • v.18 no.4
    • /
    • pp.93-99
    • /
    • 2020
  • The Journal of Industrial Management Society in Republic of Korea. In order to explore the effect of overseas language training on the development of foreign language accuracy, this study investigates the errors in English compositions produced by 27 Korean university students who received overseas language training for 15 weeks. For data collection, students were made to take two tests, a pretest and a posttest, a semester apart. The differences in composition elements and errors between the two tests were examined and statistical analyses were performed. Results showed that while the average length of the compositions and sentences increased, the number of sentences decreased in the posttest. Also, more errors were found in the posttest where the students tried to construct more complex sentence structures. The students' ability to generate sentences were found to have improved, while their competence in using grammatical elements accurately within sentences did not see great improvement. This implies that overseas language training was not effective for aiding the development of one's grammatical accuracy of a foreign language over a 15-week period for the students.

Design of Hybrid Debugging System for Java Programs (자바 프로그램을 위한 복합 디버깅 시스템의 설계)

  • Kouh, Hoon-Joon
    • The Journal of the Korea Contents Association
    • /
    • v.9 no.1
    • /
    • pp.81-88
    • /
    • 2009
  • In the previous work, we presented HDTS for locating logical errors in Java programs. The HDTS locates an erroneous method at an execution tree using an algorithmic program debugging technique and locates a statement with errors in the erroneous method using a step-wise program debugging. The technique can remove the unnecessary statements and nodes in debugging using a program slicing technique at the execution tree. So HDTS reduces the number of program debugging. In this paper, we design HDTS system for debugging java programs. We define small subset of Java language and design the translator that translates java source codes and the virtual machine that runs java programs. We design GUI(Graphical User Interface) for debugging.

A Korean Grammar Checker based on the Trees Resulted from a Full Parser (전체 문장 분석에 기반한 한국어 문법 검사기)

  • 이공주;황선영;김지은
    • Journal of KIISE:Software and Applications
    • /
    • v.30 no.10
    • /
    • pp.992-999
    • /
    • 2003
  • The purpose of a grammar checker is to find a grammatical erroneous expression in a sentence, and to provide appropriate suggestions for them. To find those errors, grammar checker should parse the whole input sentence, which is a highly time-consuming job. B7or this reason, most Korean grammar checkers adopt a partial parser that can analyze a fragment of a sentence without an ambiguity. This paper presents a Korean grammar checker using a full parser in order to find grammatical errors. This approach allows the grammar checker to critique the errors between the two words in a long distance relationship within a sentence. As a result, this approach improves the accuracy in correcting errors, but it nay come at the expense of decrease in its performance. The Korean grammar checker described in this paper is implemented with 65 rules for checking and correcting the grammatical errors. The grammar checker shows 96.49% in checking accuracy against the test corpus including 7 million words.