• Smart Media Journal
• /
• v.10 no.1
• /
• pp.39-46
• /
• 2021

This study is about a method of extracting a summary from a news article in consideration of the importance of each sentence constituting the article. We propose a method of calculating sentence importance by extracting the probabilities of topic sentence, similarity with article title and other sentences, and sentence position as characteristics that affect sentence importance. At this time, a hypothesis is established that the Topic Sentence will have a characteristic distinct from the general sentence, and a deep learning-based classification model is trained to obtain a topic sentence probability value for the input sentence. Also, using the pre-learned ELMo language model, the similarity between sentences is calculated based on the sentence vector value reflecting the context information and extracted as sentence characteristics. The topic sentence classification performance of the LSTM and BERT models was 93% accurate, 96.22% recall, and 89.5% precision, resulting in high analysis results. As a result of calculating the importance of each sentence by combining the extracted sentence characteristics, it was confirmed that the performance of extracting the topic sentence was improved by about 10% compared to the existing TextRank algorithm.

• Journal of KIISE:Software and Applications
• /
• v.34 no.6
• /
• pp.572-583
• /
• 2007

This paper investigates Centering-based metrics to evaluate ordering of utterances for text structuring. We point out a problem of MIN.NOCB metric which has been regarded as the simplest and best measure to evaluate coherence of ordering within Centering framework, and propose a new Centering-based metric, MAX.CPS as an alternative or supplementary one. This paper introduces a framework which pre-estimates the effectiveness of a metric on a given input ordering, and selects an applicable metric according to the pre-estimation result. Using this framework, we propose a new policy which can generate more optimal ordering within Centering framework. Moreover, we evaluate several kinds of Cf-ranking methods in terms of Centering-based metrics, and find that simply ranking entities by their linear order is generally the most suitable because of characteristics in Korean.

• Annual Conference on Human and Language Technology
• /
• 2005.10a
• /
• pp.89-96
• /
• 2005

본 연구에서는 영한 기계 번역에서 20단어 이상의 긴 문장을 보다 정확히 분석하기 위하여 문장을 복수개의 의미 있는 절로 분할하고자 한다. 긴 문장은 구문 분석을 시도할 때, 시간적으로 또는 공간적으로 급격히 증가하는 자원을 소모시킨다. 이러한 문제를 해결하기 위하여, 본 연구에서는 긴 문장에서 분할 가능한 지점을 인식하여 이러한 지점을 중심으로 여러 개의 절을 생성한 후, 이 절을 개별적으로 분석하고자 하였다. 문장을 분할하기 위해서 일단 문장 내부에 존재하고 있는 분할이 가능한 지점을 선택하고, 선택된 지점을 중심으로 문맥 정보를 표현하는 입력 벡터를 생성하였다. 그리고 Support Vector Machine (SVM)을 이용하여 이러한 후보 지점의 특성을 학습하여 향후 긴 문장이 입력되었을 때 보다 정확하게 분할점을 찾고자 하였다. 본 논문에서는 SVM의 보다 좋은 학습과 분류를 위하여 내부 커널로써 다항 커널 (polynomial kernel)을 사용하였다. 그리고 실험을 통하여 약 0.97의 f-measure 값을 얻을 수 있었다.

• Journal of KIISE:Software and Applications
• /
• v.32 no.10
• /
• pp.990-1002
• /
• 2005

To generate coherent texts, it is important to produce appropriate pronouns to refer to previously-mentioned things in a discourse. Specifically, we focus on pronominalization by zero pronouns which frequently occur in Korean. This paper investigates zero pronouns in Korean based on the cost-based centering theory, especially focusing on the center transitions of adjacent utterances. In previous centering works, only one type of nominal entity has been considered as the target of pronominalization, even though other entities are frequently pronominalized as zero pronouns. To resolve this problem, and explain the reference phenomena of real texts, four types of nominal entity (Npair, Ninter, Nintra, and Nnon) from centering theory are defined with the concept of inter-, intra-, and pairwise salience. For each entity type, a case study of zero phenomena is performed through analyzing corpus and building a pronominalization model. This study shows that the zero phenomena of entities which have been neglected in previous centering works are explained via the renter transition of the second previous utterance. We also show that in Ninter, Nintra, and Nnon, pronominalization accuracy achieved by complex combination of several types of features is completely or nearly achieved by using the second previous utterance's transition across genres.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.237-241
• /
• 1999

단문 분할은 한 문장에 중심어인 용언이 복수개인 경우 용언을 중심으로 문장을 나누는 방법이다. 기존의 방법은 정형화된 문장의 경우 효율적인 결과를 얻을 수 있으나 구문적으로 복잡한 문장인 경우는 한계를 보였다. 본 논문에서는 이러한 한계를 극복하기 위해 구문 정보의 단문 분할이 아닌 의미 정보를 활용하여 복잡한 문장을 효율적으로 단문으로 분할하는 방법을 제안한다. 정형화된 문장의 경우와 달리 일상적인 문장은 문장의 구조적 애매성이나 조사의 생략 등이 빈번하므로 의미 수준에서의 단문 분할이 필요하다. 본 논문에서는 의미 영역에서 단문 분할의 할 경우 기존의 방법들의 애매성을 해소할 수 있다는 점을 보인다. 이를 위해, 먼저 하위범주화 사전과 시소러스의 의미 정보를 이용하여 용언과 보어 성분간의 의존구조를 1차적으로 작성하고 이후 구문적인 정보와 기타 문법적인 지식을 사용하여 기타 성분을 의존구조에 점진적으로 포함시켜가는 이단계 단문 분할 알고리즘을 제안한다. 제안된 이단계 단문 분할 방법의 유용성을 보이기 위해 ETRI-KONAN의 말뭉치 중 20,000문장을 반 자동적인 방법으로 술어와 보어 성분간의 의존구조를 태깅한 후 본 논문에서 제안한 방법과 비교하는 실험을 수행한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.261-264
• /
• 2000

지금까지의 한영 번역 방식은 규칙 기반 방식이 주를 이루었지만 현재 패턴을 이용한 번역 방식이 활발히 연구되고 있다. 그러나 패턴 기반 방식은 그 적용성(Coverage)에 대한 치명적인 단점을 지닌다. 따라서 본 논문에서는 한국어 패턴을 어절 단위의 일반 문틀과 동사구를 중심으로 하는 용언중심의 문틀로 나누어 각 패턴들에 대한 적용성 및 실현성을 조사한다. 실험은 기존의 형태소 분석기를 이용하여 방송 자막 문장 351,806 문장을 대상으로 자동으로 문틀을 구축하여 4,995 문장의 테스트 데이터에 대한 적용성 검사를 실시하였다. 즉 본 논문에서는 방송 자막 문장을 대상으로 한영번역을 위한 일반 문틀 및 용언 중심의 문틀 방식의 적용성을 조사하여 문틀 기반 방식의 실현성을 평가하고 앞으로의 한영 번역 시스템 개발 방향을 제시한다.

• Journal of KIISE:Software and Applications
• /
• v.32 no.5
• /
• pp.396-405
• /
• 2005

Since sentences are the basic propositional units of text, their themes would be helpful for various tasks that require knowledge about the semantic content of text. Despite the importance of determining the theme of a sentence, however, few studies have investigated the problem of automatically assigning the theme to a sentence. Therefore, we propose a sentence theme allocation scheme based on the head-driven patterns of sentences in encyclopedia. In a serious of experiments using Dusan Dong-A encyclopedia, the proposed method outperformed the baseline of the theme allocation performance. The head-driven pattern 4, which is reconfigured based on the predicate, showed superior performance in the theme allocation with the average F-score of $98.96\%$ for the training data, and $88.57\%$ for the test data.

• Koreanishche Zeitschrift fur Deutsche Sprachwissenschaft
• /
• v.7
• /
• pp.43-60
• /
• 2003

오늘날 기계번역 Maschinelle Ubersetzung은 가속적인 발전선상에 놓여있다. 지난 10년 간 컴퓨터로 영어를 타국어로 번역하는 수준은 괄목할 만하다. 본 논문은 기계번역에 있어서 주제어 Topik 및 초점어 Fokus를 중심으로 발생하는 언어학적인 문제점, 특히 의미론적인 문제점을 다루었다 이를 위해 먼저 주제어와 초점어에 대한 언어학적인 개념을 다루어 보았다. 주제어란 한 문장에서 이미 알려진 사항, 즉 이미 주어진 단어이고, 초점어는 한 문장에서 새로운 사항, 즉 지금 전달하고자 하는 내용을 뜻한다 제 3장에서는 주제어와 초점어를 번역하기 위해 생성된 규칙들에 근거한 담화모델 Diskursmodell을 살펴보았다. 제 4장에서는 문장을 번역하는데 있어서 의미론상 발생하는 문제점들을 다루었다 그 문제점들은 다음과 같은 3가지로 요약될 수 있다: 첫째, 문장에서 부정형이 어디에 위치하느냐에 따라 문장의 의미가 달라진다. 둘째, 양화사 Quantor의 형태에 따라 문장의 의미가 달라진다. 셋째, 의문문과 화답문 Antwortsatz에 있어서 어느 내용을 강조하느냐에 따라 문장의 의미가 달라진다. 예를 들어 독일어는 단순히 단어의 위치만 변화시킬 수 있지만 다른 유럽어나 영어는 다른 방법들이 필요한 셈이다. 본 논문에서 제시되고 있는 기계번역의 규칙들은 주제어와 초점어에 관계되는 한 영어와 독일어에 한정되어 제시되었지만, 향후 한국어와 독일어의 기계번역을 위해 밑거름이 되리라 생각한다.

• Communications of Mathematical Education
• /
• v.8
• /
• pp.209-229
• /
• 1999

보통 문장제(거리 ${\cdot}$ 속도 문제, 시계 문제, 농도 문제, 개수 세기, 측도 영역)는 초등학교부터 반복하면서 대학수학능력 시험에서는 외적 문제해결력을 측정하는 문장으로 나타난다. 문장제를 해결하는데는 사고가 여러 단계로 이루어져야 한다. 따라서 일반적으로 문장제는 난해하므로 조직적이고 전문적인 학습지도가 이루어져야 한다. 하지만 입시위주의 교육 등 여러 여건상 잘 이루어지지 않고 있는 것이 현실이다. 수학을 잘하는 학생이라도 문장제를 해결하지 못하는 경우가 많다. 본 연구에서는 문장제의 해결의 저해 요인을 완화시킬 수 있는 지도 방안으로서 Polya의 문제해결 전략을 이용하며, 실험반과 비교반의 학습 효과를 비교 분석하여 이를 통하여 효율적인 문장제 지도방안을 연구한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.06c
• /
• pp.199-203
• /
• 2007

본 논문에서는 한영 통계기반 기계번역에서 한국어 문장 길이의 변화에 따른 번역 성능의 변화를 분석하고자 한다. 일반적으로 통계기반 기계번역은 정렬기법을 이용하는데 문장의 길이가 길수록 많은 변형(distortion)이 이루어진다. 특히 한국어와 영어처럼 어순이 매우 다를 경우, 문장 길이의 변화에 따라 그 변형이 더욱 심할 수 있다. 본 논문에서는 이러한 성질이 통계기반 기계번역에 어떠한 영향을 주는지를 실험적으로 살펴보고자 한다. 본 논문에서 비교적 잘 정렬된 203,310개의 문장을 학습데이터로 사용하였고, 세종 병렬 말뭉치로부터 89,309개의 문장을 추출하여 실험데이터로 사용하였다. 실험데이터는 한국어 문장의 길이에 따라 5구간($1{\sim}4,\;5{\sim}8,\;9{\sim}13,\;14{\sim}19,\;20{\sim}n$ 개)로 나뉘었다. 각 구간은 가능한 문장의 수가 비슷하도록 하였으며, 17,126, 18,507, 20,336, 17,884, 15,456개의 문장이 포함되었다. 데이터들은 모두 어절단위로 토큰을 나누었다. 본 논문에서는 한영 번역을 중심으로 평가되었다. 첫 번째 구간에서 가장 좋은 성능인 0.0621 BLEU를 보였으며, 마지막 구간에서 가장 좋지 않은 0.0251 BLEU를 보였다. 이는 문장의 길이가 길수록 변역 성능이 좋지 않음을 알 수 있었다. 문장이 길수록 구가 길어지고 구간의 수식이 복잡해지므로 번역의 성능은 점차 떨어진다. 이것을 볼 때, 구번역을 먼저 한 후, 다시 문장 번역을 한다면 좀 더 높은 기계번역의 성능을 기대할 수 있을 것이다.