• Journal of the Korean Institute of Telematics and Electronics C
• /
• v.35C no.10
• /
• pp.38-47
• /
• 1998

The syntactic analysis for the practical machine translation should be able to analyze a long sentence, but the long sentence analysis is a critical problem because of its high analysis complexity. In this paper a sentence segmentation method is proposed for an efficient analysis of a long sentence and the method of determining optimal sentence segmentation positions using statistical information and genetic learning is introduced. It consists of two modules: (1) decomposable position determination which uses lexical contextual constraints acquired from a training data tagged with segmentation positions. (2) segmentation position selection by the selection function of which the weights of parameters are determined through genetic learning, which selects safe segmentation positions with enhancing the analysis efficiency as much as possible. The safe segmentation by the proposed sentence segmentation method and the efficiency enhancement of the analysis are presented through experiments.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.353-359
• /
• 1997

주로 영어, 불어 등의 형상적 언어(configurational languages)의 구문 분석을 위해 개발된 범주 문법은 문장 구성 성분의 문장 내의 위치가 대체적으로 고정적이며 통사 기능이 그 위치로서 할당 되는 형상적 언어의 통사적인 특성에 따라 방향성의 개념을 도입하였다. 그러나 이 방향성 개념은 문장 구성 성분의 문장 내의 위치가 비교적 자유로운 한국어 등의 비형상적 언어(non-configurational languages)에 그대로 적용하기에는 많은 무리가 따른다. 심지어 형상적 언어에 적용하는 경우에도 도치나 외치된 문장 또 격리된 구조(unbounded dependency constructions)가 있는 문장들도 적절히 분석해 내지 못한다. 이런 이유로 본고에서는 범주 문법에 도입되어 있는 방향성을 재고하고 아울러 한국어 구문 분석과 문장 생성을 위한 범주 문법 적용상의 다섯 원칙을 제안한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2010.06c
• /
• pp.266-270
• /
• 2010

본 논문에서는 구두점이나 띄어쓰기가 없는 비형식적인 문서에서도 문장의 경계를 잘 인식할 수 있는 문장 경계 인식기를 제안한다. 기존의 문장인식기는 문장경계의 후보를 구두점 출현 위치만으로 하였는데 이는 잡음이 많은 웹문서를 처리하는데 한계가 있다. 반면에 제안한 방법은 문장 경계의 후보를 구두점의 출연 위치로 제한하지 않고 문장 경계 인식을 위한 자질로 구두점에 비 의존적인 음절 n-gram을 사용함으로써, 구두점이 잘 표현된 문서뿐만 아니라 구두점의 생략이 빈번한 웹문서의 문장 경계 인식까지 효과적으로 수행할 수 있다. 통계기반의 기계학습 기법으로 CRFs를 이용하여 하였고, 학습과 실험에 세종계획 말뭉치를 사용하였다. 제안한 문장 경계 인식기는 세종계획 말뭉치에서 99.99%의 정확률과 100.00%의 재현율을 보였고, 세종계획 말뭉치에서 문장 경계의 구두점을 제거한 경우에도 96.20%의 정확률과 87.51%의 재현율을 보여 구두점이 없는 경우에도 문장 경계 인식이 잘이루어짐을 확인할 수 있었다.

• Journal of KIISE:Software and Applications
• /
• v.32 no.5
• /
• pp.385-395
• /
• 2005

Long sentence analysis has been a critical problem in machine translation because of high complexity. The methods of intra-sentence segmentation have been proposed to reduce parsing complexity. This paper presents the intra-sentence segmentation method based on maximum entropy probability model to increase the coverage and accuracy of the segmentation. We construct the rules for choosing candidate segmentation positions by a teaming method using the lexical context of the words tagged as segmentation position. We also generate the model that gives probability value to each candidate segmentation positions. The lexical contexts are extracted from the corpus tagged with segmentation positions and are incorporated into the probability model. We construct training data using the sentences from Wall Street Journal and experiment the intra-sentence segmentation on the sentences from four different domains. The experiments show about $88\%$ accuracy and about $98\%$ coverage of the segmentation. Also, the proposed method results in parsing efficiency improvement by 4.8 times in speed and 3.6 times in space.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2017.01a
• /
• pp.151-154
• /
• 2017

소프트웨어의 개발과정 중 결함을 제거하는 작업인 디버깅을 위해서는 가장 먼저 그 결함의 정확한 위치를 찾아야한다. 이 작업은 많은 시간이 소요되며, 이 시간을 단축시키기 위한 결함 위치 식별 기법들이 소개되었다. 많은 기법들 중 프로그램 커버리지 정보를 학습하여 규칙을 분석하는 인공신경망 기반 선행 연구가 있다. 이를 기반으로 본 논문에서는 문장들 간의 관계를 추가적으로 파악하여 학습 데이터로 사용하는 기법을 제안한다. 특정 문장이 항상 지나는 테스트케이스들 중 나머지 다른 문장들이 지나는 테스트케이스의 비율을 통해 문장들 간의 관계를 나타낸다. 해당 비율을 계산하기 위해 조건부 확률인 베이지안 확률을 사용한다. 베이지안 확률을 통해 얻은 문장들의 관계에 따라 인공신경망 내에서 의심도를 결정하는 웨이트(weight)가 기존 기법과는 다르게 학습된다. 이 차이는 문장들의 의심도를 조정하며, 결과적으로 다중 결함 위치 식별의 정확도를 향상시킨다. 본 논문에서 제안한 기법을 이용하여 실험한 결과, Tarantula 대비 평균 39.8%, 기존 역전파 인공신경망(BPNN) 기반 기법 대비 평균 60.5%의 정확도 향상이 있었음을 확인할 수 있다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.203-208
• /
• 2021

본 논문에서는 맥락에 따라 개체명의 범주가 달라지는 어휘를 중심으로 교차 태깅된 개체명의 성능을 레이블과 스팬 정답률, 문장 성분과 문장 위치에 따른 정답률로 나누어 살펴 보았다. 레이블의 정확도는 KoGPT2, mBERT, KLUE-RoBERTa 순으로 정답률이 높아지는 양상을 보였다. 스팬 정답률에서는 mBERT가 KLUE-RoBERTa보다 근소하게 성능이 높았고 KoGPT2는 매우 낮은 정확도를 보였다. 다만, KoGPT2는 개체명이 문장의 끝에 위치할 때는 다른 모델과 비슷한 정도로 성능이 개선되는 결과를 보였다. 문장 종결 위치에서 인식기의 성능이 좋은 것은 실험에 사용된 말뭉치의 문장 성분이 서술어일 때 명사의 중첩이 적고 구문이 패턴화되어 있다는 특징과 KoGPT2가 decoder기반의 모델이기 때문으로 여겨지나 이에 대해서는 후속 연구가 필요하다.

• Annual Conference on Human and Language Technology
• /
• 1994.11a
• /
• pp.163-167
• /
• 1994

본 논문에서는 한국어 문장을 입력으로 받아 영어문장을 생성해 내는 한 영 기계번역 시스템에서 부사를 처리함으로써 더욱 자연스러운 역어생성을 꾀하였다 특히, 한국어보다 어순의 제약이 심한 영어를 처리함에 있어서 이들 부사의 위치 및 순서는 자연스러운 역어생성을 하기 위해서는 중요한 요소가 된다. 즉, 부사의 종류에 따라서 문장에서의 위치가 다르며, 한 문장내에서 2개 이상의 부사가 존재 할 때는 이를 부사의 순서를 정해 주어야 한다. 또한, 부사의 처리 없이는 이와 관련된 완료시제와 같은 관련 영역의 처리가 어렵다. 이러한 처리를 위해서, 한 영 기계번역 시스템의 목적에 알맞게 부사들의 특성을 조사하여 이들을 분류하였고, 이것을 기초로 하여 부사의 위치, 순서등의 처리를 하도록 하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.550-553
• /
• 2018

소프트웨어 시험 후 발견된 결함을 제거하기 위해서는 먼저 해당 결함의 위치를 정확히 찾아야 한다. 결함의 위치를 찾는 작업은 많은 양의 소스코드를 검토해야 하기 때문에 많은 노력을 요구한다. 해당 노력을 줄이기 위해 슬라이싱 기법, 스펙트텀 기법, 모델 기반 기법 등 많은 기법들이 연구되었다. 하지만 이들 연구들은 결함 위치로 추정한 탐색 영역의 범위가 넓어 결과의 효과가 떨어지는 단점이 있다. 그래서 결함 위치 추정의 정확도를 높이고 결함 위치 파악의 효과를 높이기 위해 본 논문은 프로그램 소스 코드 문장에 대한 시험 케이스의 커버리지 정보, 시험의 PAss/Fail 여부, Define-Use의 관계에 있는 문장 정보를 활용하여 각 문장의 결함 의심도를 산출하는 방법을 제안한다. 제안 방법을 실험을 통하여 확인한 결과, 낮은 지역화 비용으로 결함 위치 추정을 할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.199-202
• /
• 2021

의미역 결정은 입력된 문장 내 어절간의 의미 관계를 예측하기 위한 자연어처리 태스크이며, 핵심 서술어에 따라 상이한 의미역 집합들이 존재한다. 기존의 연구는 문장 내의 서술어의 개수만큼 입력 문장을 확장해 순차 태깅 문제로 접근한다. 본 연구에서는 확장된 입력 문장에 대해 구문 분석을 수행 후 추출된 문장 구조 정보를 의미역 결정 모델의 자질로 사용한다. 이를 위해 기존에 학습된 구문 분석 모델의 파라미터를 전이하여 논항의 위치를 예측한 후 파이프라인을 통해 의미역 결정 모델을 학습시킨다. ALBERT 사전학습 모델을 통해 입력 토큰의 표현을 얻은 후, 논항의 위치에 대응되는 표현을 따로 추상화하기 위한 계층형 트랜스포머 인코더 레이어 구조를 추가했다. 실험결과 Korean Propbank 데이터에 대해 F1 85.59의 성능을 보였다.

• Journal of the Korean Society for information Management
• /
• v.18 no.3
• /
• pp.159-178
• /
• 2001

This paper presents an automatic text summarization model which selects representative sentences from sentence clusters to create a summary. Summary generation experiments were performed on two sets of test documents after learning the optimum environment from a training set. Centroid clustering method turned out to be the most effective in clustering sentences, and sentence weight was found more effective than the similarity value between sentence and cluster centroid vectors in selecting a representative sentence from each cluster. The result of experiments also proves that inverse sentence weight as well as title word weight for terms and location weight for sentences are effective in improving the performance of summarization.