• Annual Conference on Human and Language Technology
• /
• 2014.10a
• /
• pp.61-64
• /
• 2014

본 논문은 Stanford의 다 단계 시브(Multi-pass Sieve) 상호참조해결을 기반으로, 한국어에 적용한 한국어 상호참조해결(선행 연구)을 이용하여 한정 명사구에 대한 처리와 확장된 대명사 상호참조해결 방법을 제안한다. 지시 관형사와 명사가 결합하여 형성되는 한정 명사구는 일반 멘션(mention)의 특징과 대명사 속성을 한 번에 갖게 된다. 이렇게 되면, 한정 명사구는 모든 시브(sieve)에서 상호참조를 진행할 수 있게 된다. 따라서 이런 특징으로 한정 명사구를 어떤 관점(멘션 또는 대명사)에서 상호참조해결하는 것이 좋은지 보인다. 또한 이런 한정 명사구의 대명사 속성을 이용하기 위해 문법적 의미적 규칙을 적용할 것을 제안한다. 그 결과, 본 논문의 선행 연구인 한국어 상호참조해결에 비하여 CoNLL 값이 약 0.8%만큼 향상되어 61.45%를 측정하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.151-154
• /
• 2020

대명사 참조해결은 문서 내에 등장하는 대명사와 이에 대응되는 선행사를 찾는 자연어처리 태스크이다. 기계 독해는 문단과 질문을 입력 받아 질문에 해당하는 알맞은 정답을 문단 내에서 찾아내는 태스크이며, 최근에는 주로 BERT 기반의 모델이 가장 좋은 성능을 보이고 있다. 이러한 BERT 기반 모델의 성공에 따라, 최근 여러 연구에서 자연어처리 태스크를 기계 독해 문제로 변환하여 해결하는 연구들이 진행되고 있다. 본 논문에서는 최근 여러 자연어처리에서 뛰어난 성능을 보이고 있는 BERT 기반 기계 독해 모델을 이용하여 한국어 대명사 참조해결 연구를 진행하였다. 사전 학습 된 기계 독해 모델을 사용하여 한국어 대명사 참조해결 데이터로 fine-tuning하여 실험한 결과, 개발셋에서 EM 78.51%, F1 84.79%의 성능을 보였고, 평가셋에서 EM 70.78%, F1 80.19%의 성능을 보였다.

• Journal of KIISE
• /
• v.44 no.5
• /
• pp.496-502
• /
• 2017

Pointer Networks is a deep-learning model for the attention-mechanism outputting of a list of elements that corresponds to the input sequence and is based on a recurrent neural network (RNN). The coreference resolution for pronouns is the natural language processing (NLP) task that defines a single entity to find the antecedents that correspond to the pronouns in a document. In this paper, a pronoun coreference-resolution method that finds the relation between the antecedents and the pronouns using the Pointer Networks is proposed; furthermore, the input methods of the Pointer Networks-that is, the chaining order between the words in an entity-are proposed. From among the methods that are proposed in this paper, the chaining order Coref2 showed the best performance with an F1 of MUC 81.40 %. The method showed performances that are 31.00 % and 19.28 % better than the rule-based (50.40 %) and statistics-based (62.12 %) coreference resolution systems, respectively, for the Korean pronouns.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.67-70
• /
• 2019

상호참조해결은 자연언어 문서 내에서 같은 개체를 나타내는 언급들을 연결하는 문제다. 대명사, 지시 관형사, 축약어, 동음이의어와 같은 언급들의 상호참조를 해결함으로써, 다양한 자연언어 처리 문제의 성능 향상에 기여할 수 있다. 본 논문에서는 현재 영어권 상호참조해결에서 좋은 성능을 내고 있는 BERT 기반 상호참조해결 모델에 한국어 데이터 셋를 적용시키고 표층형을 이용한 규칙을 추가했다. 본 논문의 모델과 기존의 모델들을 실험하여 성능을 비교하였다. 기존의 연구들과는 다르게 적은 특질로 정밀도 73.59%, 재현율 71.1%, CoNLL F1-score 72.31%의 성능을 보였다. 모델들의 결과를 분석하여 BERT 기반의 모델이 다양한 특질을 사용한 기존 딥러닝 모델에 비해 문맥적 요소를 잘 파악하는 것을 확인했다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.320-323
• /
• 2022

상호참조해결은 문서에서 명사, 대명사, 명사구 등의 멘션 후보를 식별하고 동일한 개체를 의미하는 멘션들을 찾아 그룹화하는 태스크이다. 딥러닝 기반의 한국어 상호참조해결 연구들에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후 멘션 탐지와 상호참조해결을 동시에 수행하는 End-to-End 모델이 주로 연구가 되었으며, 최근에는 스팬 표현을 사용하지 않고 시작과 끝 표현식을 통해 상호참조해결을 빠르게 수행하는 Start-to-End 방식의 한국어 상호참조해결 모델이 연구되었다. 최근에 한국어 상호참조해결을 위해 구축된 ETRI 데이터셋은 WIKI, QA, CONVERSATION 등 다양한 도메인으로 이루어져 있으며, 신규 도메인의 데이터가 추가될 경우 신규 데이터가 추가된 전체 학습데이터로 모델을 다시 학습해야 하며, 이때 많은 시간이 걸리는 문제가 있다. 본 논문에서는 이러한 상호참조해결 모델의 도메인 적응에 Continual learning을 적용해 각기 다른 도메인의 데이터로 모델을 학습 시킬 때 이전에 학습했던 정보를 망각하는 Catastrophic forgetting 현상을 억제할 수 있음을 보인다. 또한, Continual learning의 성능 향상을 위해 2가지 Transfer Techniques을 함께 적용한 실험을 진행한다. 실험 결과, 본 논문에서 제안한 모델이 베이스라인 모델보다 개발 셋에서 3.6%p, 테스트 셋에서 2.1%p의 성능 향상을 보였다.

• Journal of KIISE
• /
• v.41 no.11
• /
• pp.992-1005
• /
• 2014

Coreference resolution finds all expressions that refer to the same entity in a document. Coreference resolution is important for information extraction, document classification, document summary, and question answering system. In this paper, we adapt Stanford's Multi-pass sieve system, the one of the best model of rule based coreference resolution to Korean. In this paper, all noun phrases are considered to mentions. Also, unlike Stanford's Multi-pass sieve system, the dependency parse tree is used for mention extraction, a Korean acronym list is built 'dynamically'. In addition, we propose a method that calculates weights by applying transitive properties of centers of the centering theory when refer Korean pronoun. The experiments show that our system obtains MUC 59.0%, $B_3$ 59.5%, Ceafe 63.5%, and CoNLL(Mean) 60.7%.

• Annual Conference on Human and Language Technology
• /
• 1990.11a
• /
• pp.112-119
• /
• 1990

본 연구에서는 글이해시의 참조관계 처리과정에서 맥락이 어떤 역할을 하며 다른 통사단서와는 어떤 관계를 갖는지를 대명사 해결을 중심으로 조사했다. 실험 1에서는 대용어 문장의 국소적 맥락에 의한 촉진효과가 관찰되었다. 그러나 맥락과 통사단서간의 상호작용으로 맥락 촉진효과는 통사적 명료조건에서보다는 애매조건에서 더 강하게 나타났다. 실험 2에서는 국소적 맥락정보가 없더라도 선행글의 전체주제적 맥락정보가 촉진제 역할을 하는 것으로 밝혀졌다. 또한 전체주의적 맥락이 주어지는 경우 글의 표면구조적 특성에 따른 위치효과가 나타나지 않았다. 즉 두 개의 실험을 통해 대명사 해결에 미치는 통사단서의 효과가 일부 지지되었으며, 특히 맥락효과는 국소적, 총체적 수준에서 모두 일관되게 입증되었다.

• Korean Journal of Cognitive Science
• /
• v.2 no.2
• /
• pp.279-307
• /
• 1990

The present research inverstigates the nature of contextual effects on pronoun reference resolution during text comprehesion.Through three experiments,this research examines how various contextuall informations influence on reference resolution and interact with syntactic variables.In experiment 1,the local context was controlled by biasing the pronoun-sentence context towards a certain preceding referent.The lexical decision time and the forced choice time for the correct referent were measured.The results showed that the local contexts have clear effect on reference resolution.The effects of syntactic ambiguity were also observed though the local context was biased towards a certain referent noun.In experiment 2,the global context effect was examined by introducing the text-thematic context in a preceding sentence while keeping the following pronoun-sentence context neutral.The results showed that the global thematic context bias towards a subject or object in a preceding sentence entails a faster response time than the thematically neutral context.In experiment 3,another aspects of context effects were inverstigated by manipulating the consistency of the preceding thematic context with the following pronoun-sentence context.The results showed that the lexical decision responses and forced referent choice responses were faster when the prethematic context and the post-anaphoric context match than when they mismatch.In sum,the overall results of three experiments of this research indicates that context has a clear effect on pronoun reference resolution during text comprehension.

• KIISE Transactions on Computing Practices
• /
• v.22 no.12
• /
• pp.625-631
• /
• 2016

Pointer Networks is a model which generates an output sequence with elements that correspond to an input sequence, based on the attention mechanism. A time complexity of the pointer networks is $O(N^2)$ resulting in longer decoding time of the model. This is because the model calculates attention for each input, if size of the input sequence is N. In this paper, we propose the pointer networks based on skip pointing model, which confirms the necessary input vector at decoding for reducing the decoding time of the pointer networks. Furthermore, experiments were conducted for the pronouns coreference resolution, which uses the method proposed in this paper. Our results show that the processing time per sentence was approximately 1.15 times faster, and the MUC F1 was 83.60%; this was approximately 2.17% improvement and a better performance than the original pointer networks.