• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.486-490
• /
• 2020

키워드 구문 추출(Keyphrase extraction)은 각 문서에서 내용과 주제를 포괄하는 핵심 단어 또는 구문을 추출하는 것을 말한다. 이는 뉴스나 논문에서 중요한 정보를 추출하는 데 매우 중요한 역할을 한다. 본 논문에서는 기존 catSeq 모델에 한국어로 학습한 RoBERTa 언어 모델을 적용하고 개체 연결 정보를 활용해 기존 키워드 생성 디코더와 개체 연결된 단어의 키워드 여부 분류 디코더, 즉 듀얼 디코더를 사용하는 모델을 제안하고 직접 구축한 한국어 키워드 추출 데이터에 대한 각 모델의 성능을 비교한다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.602-604
• /
• 2021

최근 자연어 처리 분야에서 사전 학습된 언어 모델은 다양한 응용 태스크에 적용되어 성능을 향상시켰다. 하지만 일반적인 말뭉치로 사전 학습된 언어 모델의 경우 중공업 분야처럼 전문적인 분야의 응용 태스크에서 좋은 성능을 나타내지 못한다. 때문에 본 논문에서는 이러한 문제점을 해결하기 위해 중공업 말뭉치를 이용한 RoBERTa 기반의 중공업 분야에 특화된 언어 모델 HeavyRoBERTa를 제안하고 이를 통해 중공업 말뭉치 상에서 Perplexity와 zero-shot 유의어 추출 태스크에서 성능을 개선시켰다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.1211-1212
• /
• 2023

현재 대부분의 국내 학술 데이터 베이스는 개별 학술지 논문의 주제를 파악하는 표준화된 정보를 거의 제공하지 않고 있다. 본 연구에서는 논문의 제목만을 활용하여 학술 논문의 분야를 자동으로 분류하는 방법을 제안한다. 이를 위해 한국어로 사전 훈련된 KLUE-RoBERTa 모델을 사용하며, Back Translation 과 Chat-GPT 를 활용한 데이터 증강을 통해 모델의 성능을 향상한다. 연구 결과, Back Translation 과 Chat-GPT 를 사용하여 증강한 모델이 원본 데이터를 학습한 모델보다 약 11%의 성능 향상을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.11a
• /
• pp.626-628
• /
• 2021

사건 관계 추출 태스크는 구조화되지 않은 텍스트 데이터에서 사건의 구조화된 표현을 얻는 것이다. 하나의 문장에서도 많은 정보를 얻을 수 있는 중요한 태스크임에도 불구하고, 다양한 사전 학습 모델을 적용한 연구는 아직 활발하게 연구되지 않고 있다. 따라서 본 연구에서 사전 학습된 모델의 임베딩 기법 중 BERT, RoBERTa, SpanBERT에 각각 base, large 아키텍처를 적용하여 실험하였다. 사건을 식별하기 위한 trigger와 해당 trigger의 세부 argument를 식별하기 위한 분류기를 상위레이어로 각각 설계하였고, 다양한 배치 크기를 적용하여 실험하였다. 성능평가는 trigger/argument 각각 F1 score를 적용하였고, 결과는 RoBERTa large 모델에서 좋은 성능을 보인 것을 확인하였다.

• Electronics and Telecommunications Trends
• /
• v.35 no.3
• /
• pp.9-19
• /
• 2020

Recently, a technique for applying a deep learning language model pretrained from a large corpus to fine-tuning for each application task has been widely used as a language processing technology. The pretrained language model shows higher performance and satisfactory generalization performance than existing methods. This paper introduces the major research trends related to deep learning pretrained language models in the field of language processing. We describe in detail the motivations, models, learning methods, and results of the BERT language model that had significant influence on subsequent studies. Subsequently, we introduce the results of language model studies after BERT, focusing on SpanBERT, RoBERTa, ALBERT, BART, and ELECTRA. Finally, we introduce the KorBERT pretrained language model, which shows satisfactory performance in Korean language. In addition, we introduce techniques on how to apply the pretrained language model to Korean (agglutinative) language, which consists of a combination of content and functional morphemes, unlike English (refractive) language whose endings change depending on the application.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.141-145
• /
• 2022

다중 문서 기반 대화 시스템에서 응답 시스템은 올바른 답변을 생성하기 위해서 여러 개의 문서 중 질문과 가장 관련 있는 문서를 검색하는 것부터 시작해야 한다. DialDoc 2022 Shared Task[1]를 비롯한 최근의 연구들은 대화 시스템의 문서 검색 과정을 위해 Dense Passage Retrieval(DPR)[2] 모델을 사용하고 있으며 검색기의 성능 개선을 위해 Re-ranking과 Hard negative sampling 같은 방법들이 연구되고 있다. 본 논문에서는 문서에 기반하는 대화 데이터의 양이 적거나 제한될 경우, 주어진 데이터를 효율적으로 활용해 보고자 검색기를 생성 모델을 이용하여 문서의 엔티티를 기반으로 질문을 생성하고 기존 데이터에 증강하는 방법을 제시했으며 실험의 결과로 MRR metric의 경우 0.96 ~ 1.56의 성능 향상을, R@1 metric의 경우 1.2 ~ 1.57의 성능 향상을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.203-208
• /
• 2021

본 논문에서는 맥락에 따라 개체명의 범주가 달라지는 어휘를 중심으로 교차 태깅된 개체명의 성능을 레이블과 스팬 정답률, 문장 성분과 문장 위치에 따른 정답률로 나누어 살펴 보았다. 레이블의 정확도는 KoGPT2, mBERT, KLUE-RoBERTa 순으로 정답률이 높아지는 양상을 보였다. 스팬 정답률에서는 mBERT가 KLUE-RoBERTa보다 근소하게 성능이 높았고 KoGPT2는 매우 낮은 정확도를 보였다. 다만, KoGPT2는 개체명이 문장의 끝에 위치할 때는 다른 모델과 비슷한 정도로 성능이 개선되는 결과를 보였다. 문장 종결 위치에서 인식기의 성능이 좋은 것은 실험에 사용된 말뭉치의 문장 성분이 서술어일 때 명사의 중첩이 적고 구문이 패턴화되어 있다는 특징과 KoGPT2가 decoder기반의 모델이기 때문으로 여겨지나 이에 대해서는 후속 연구가 필요하다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2023.11a
• /
• pp.23-26
• /
• 2023

본 논문에서는 서술형 수학 문제 풀이 모델의 숫자 대소관계 파악을 위한 명시적 자질추출방식 Explicit Feature Extraction(EFE) Reasoner 모델을 제안한다. 서술형 수학 문제는 자연현상이나 일상에서 벌어지는 사건을 수학적으로 기술한 문제이다. 서술형 수학 문제 풀이를 위해서는 인공지능 모델이 문장에 함축된 논리를 파악하여 수식 또는 답을 도출해야 한다. 때문에 서술형 수학 문제 데이터셋은 인공지능 모델의 언어 이해 및 추론 능력을 평가하는 지표로 활용되고 있다. 기존 연구에서는 문제를 이해할 때 숫자의 대소관계를 파악하지 않고 문제에 등장하는 변수의 논리적인 관계만을 사용하여 수식을 도출한다는 한계점이 존재했다. 본 논문에서는 자연어 이해계열 모델 중 SVAMP 데이터셋에서 가장 높은 성능을 내고 있는 Deductive-Reasoner 모델에 숫자의 대소관계를 파악할 수 있는 방법론인 EFE 를 적용했을 때 RoBERTa-base 에서 1.1%, RoBERTa-large 에서 2.8%의 성능 향상을 얻었다. 이 결과를 통해 자연어 이해 모델이 숫자의 대소관계를 이해하는 것이 정답률 향상에 기여할 수 있음을 확인한다.

• KIPS Transactions on Software and Data Engineering
• /
• v.12 no.8
• /
• pp.371-380
• /
• 2023

Relation extraction is to extract relationships between named entities from text. Traditionally, relation extraction methods only extract relations between predetermined subject and object entities. However, in end-to-end relation extraction, all possible relations must be extracted by considering the positions of the subject and object for each pair of entities, and so this method uses time and resources inefficiently. To alleviate this problem, this paper proposes a method that sets directions based on the positions of the subject and object, and extracts relations according to the directions. The proposed method utilizes existing relation extraction data to generate direction labels indicating the direction in which the subject points to the object in the sentence, adds entity position tokens and entity type to sentences to predict the directions using a pre-trained language model (KLUE-RoBERTa-base, RoBERTa-base), and generates representations of subject and object entities through probabilistic crossover operation. Then, we make use of these representations to extract relations. Experimental results show that the proposed model performs about 3 ~ 4%p better than a method for predicting integrated labels. In addition, when learning Korean and English data using the proposed model, the performance was 1.7%p higher in English than in Korean due to the number of data and language disorder and the values of the parameters that produce the best performance were different. By excluding the number of directional cases, the proposed model can reduce the waste of resources in end-to-end relation extraction.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.444-449
• /
• 2021

자연어처리에서 임베딩이란 사람의 언어를 컴퓨터가 이해할 수 있는 벡터로 변환한 것으로 자연어처리의 필수 요소 중 하나이다. 본 논문에서는 단어 기반 임베딩인 Word2Vec, GloVe, fastText와 문장 기반 임베딩 기법인 BERT와 M-USE, RoBERTa를 사용하여 한국어 문장 임베딩을 만들어 NSMC, KorNLI, KorSTS 세 가지 태스크에 대한 성능을 확인해보았다. 그 결과 태스크에 따라서 적합한 한국어 문장 임베딩 기법이 달라지며, 태스크에 따라서는 BERT의 평균 임베딩보다 GloVe의 평균 임베딩과 같은 단어 기반의 임베딩이 좋은 성능을 보일 수 있음을 확인할 수 있었다.