• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.379-384
• /
• 2022

관계 추출은 두 개체 간의 관계를 식별하는 작업이며, 비정형 텍스트를 구조화시키는 역할을 하는 작업 중 하나이다. 현재 관계 추출에서 다양한 모델에 대한 연구들이 진행되고 있지만, 한국어 관계 추출 모델에 대한 연구는 영어에 비해 부족하다. 따라서 본 논문에서는 NE(Named Entity)태그 정보가 반영된 TEM(Typed Entity Marker)과 의존 구문 그래프를 이용한 한국어 관계 추출 모델을 제안한다. 모델의 학습과 평가 말뭉치는 KLUE에서 제공하는 관계 추출 학습 말뭉치를 사용하였다. 실험 결과 제안 모델이 68.57%의 F1 점수로 실험 모델 중 가장 높은 성능을 보여 NE태그와 구문 정보가 관계 추출 성능을 향상시킬 수 있음을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.97-102
• /
• 2021

최근 급격한 정보기술의 발달로 가짜뉴스가 사회문제로 대두되고 있다. 한국어 가짜뉴스 문제를 딥러닝으로 해결하기 위해서 기존의 연구들은 본문 기반의 가짜뉴스 탐지를 진행하였으며 최근에는 기사 본문 외의 보조적 정보를 활용하는 방법으로 연구가 진행되고 있다. 그러나 기존의 방식과 개선된 방식들 모두 적절한 가짜뉴스 탐지 방법을 제시하지 못하여 모델이 산출한 가짜뉴스 표현 벡터의 품질을 보장할 수 없었다. 또한 한국어 가짜뉴스 문제를 해결함에 있어서 적절한 공개 데이터셋 또한 제공되지 않았다. 따라서 본 논문은 한국어 가짜뉴스 탐지 문제에서 독자 반응정보를 추가하여 효과적인 학습을 할 수 있는 '사용자 그래프 기반 한국어 가짜뉴스 판별 방법'과 해당 모델이 적절히 학습할 수 있는 간이 데이터셋 구축 방법을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.333-336
• /
• 2020

개체명 인식이란 문장에서 인명, 지명, 기관명 등과 같이 고유한 의미를 갖는 단어를 찾아 개체명을 분류하는 작업이다. 딥러닝을 활용한 연구가 수행되면서 개체명 인식에 RNN(Recurrent Neural Network)과 CRF(Condition Random Fields)를 결합한 연구가 좋은 성능을 보이고 있다. 그러나 CRF는 시간 복잡도가 분류해야 하는 클래스(Class) 개수의 제곱에 비례하고, 최근 RNN과 Softmax 모델보다 낮은 성능을 보이는 연구도 있었다. 본 논문에서는 CRF의 단점을 보완한 LAN(Label Attention Network)와 사전 학습 언어 모델인 음절 단위 ELECTRA를 활용하는 개체명 인식 모델을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.284-288
• /
• 2022

최근 다양한 언어모델의 구축 및 발전으로 개체명 인식 시스템의 성능은 최고 수준에 도달했다. 하지만 이와 관련된 대부분의 연구는 데이터가 충분한 언어에 대해서만 다루기 때문에, 양질의 지도학습 데이터의 존재를 가정한다. 대부분의 언어에서는 개체 유형에 대한 언어의 잠재적 특성을 충분히 학습할 수 있는 지도학습 데이터가 부족하기 때문에, 종종 자원 부족의 어려움에 직면한다. 본 논문에서는 Masked language modeling 기반 언어 간 전이학습을 이용한 개체명 인식 방법론에 대한 분석을 수행한다. 이를 위해 전이를 수행하는 소스 언어는 고자원 언어로 가정하며, 전이를 받는 타겟 언어는 저자원 언어로 가정한다. 본 논문에서는 언어모델의 토큰 사전에 언어 독립적인 가상의 자질인 개체 유형에 대한 프롬프트 토큰을 추가하고 이를 소스 언어로 학습한 뒤, 타겟 언어로 전이하는 상황에서 제안하는 방법론에 대한 평가를 수행한다. 실험 결과, 제안하는 방법론은 일반적인 미세조정 방법론보다 높은 성능을 보였으며, 한국어에서 가장 큰 영향을 받은 타겟 언어는 네덜란드어, 한국어로 전이할 때 가장 큰 영향을 준 소스 언어는 중국어인 결과를 보였다.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.369-373
• /
• 2022

기존의 관계 추출 태스크에서의 많은 연구들은 사전학습 언어모델을 파인튜닝하여 뛰어난 성능을 달성해왔다. 하지만, 파인튜닝은 사전학습 시의 학습 기법과의 간극으로 인해 일반화 능력을 저해한다. 본 연구는 다운스트림 태스크를 사전학습의 Masked Language Modeling (MLM) 기법을 통해 해결하는 프롬프트 기반의 학습 기법을 활용하여, 특정 한국어 도메인에서의 관계 추출을 위한 프롬프트 기반 파인튜닝 방법론을 제안한다. 실험의 경우, 도메인의 특성이 뚜렷한 전통문화유산 말뭉치를 대상으로 실험을 진행하여 본 방법론의 도메인 적응력을 보이며, 메타 정보 즉, 개체 유형 및 관계 유형의 의미론적 정보를 일종의 지식 정보로 활용하여 프롬프트 기반 지식 주입의 효과성을 검증한다. 프롬프트에의 메타 정보의 주입과 함께 프롬프트 기반으로 파인튜닝된 모델은 오직 MLM 기법만을 이용하여 태스크를 수행하여 기존 파인튜닝 방법론 대비 파라미터 수가 적음에도, 성능 면에서 대부분 소폭 상승하는 경향을 보여줌으로써 그 효과성 및 효율성을 보인다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.274-279
• /
• 2020

대화 시스템은 사용자의 입력 발화에 대해 적절하고 의미 있는 응답을 생성하는 시스템으로 seq2seq 구조를 갖는 대화 모델이 주로 연구되고 있다. 그러나 seq2seq 기반 대화 모델은 입력 발화와 관련성이 떨어지는 응답을 생성하거나 모든 입력 발화와 어울리지만 무미건조한 응답을 생성하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 입력 발화에서 고려해야 하는 키워드를 찾고 그 키워드를 반영하는 응답을 생성하는 모델을 제안한다. 제안 모델은 주어진 입력 발화에서 self-attention을 사용해 각 토큰에 대한 키워드 점수를 구한다. 키워드 점수가 가장 높은 토큰을 대화의 주제 또는 핵심 내용을 포함하는 키워드로 정의하고 응답 생성 과정에서 키워드와 관련된 응답을 생성하도록 한다. 본 논문에서 제안한 대화 모델의 실험 결과 문법과 입력 발화와 생성한 응답의 관련성 측면에서 성능이 향상되었음을 알 수 있었다. 특히 관련성 점수는 본 논문에서 제안한 모델이 비교 모델보다 약 0.25점 상승했다. 실험 결과를 통해 본 논문이 제안한 모델의 우수성을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.9-15
• /
• 2021

기계번역 품질 예측 (Quality Estimation, QE)은 정답 문장에 대한 참조없이 소스 문장과 기계번역 결과를 통해 기계번역 결과에 대한 품질을 수준별 주석으로 나타내주는 태스크이며, 다양한 활용도가 있다는 점에서 꾸준히 연구가 수행되고 있다. 그러나 QE 모델 학습을 위한 데이터 구성 시 기계번역 결과에 대해 번역 전문가가 교정한 문장이 필요한데, 이를 제작하는 과정에서 상당한 인건비와 시간 비용이 발생하는 한계가 있다. 본 논문에서는 번역 전문가 없이 병렬 또는 단일 말뭉치와 기계번역기만을 활용하여 자동화된 방식으로 한국어-영어 합성 QE 데이터를 구축하며, 최초로 단어 수준의 한국어-영어 기계번역 결과 품질 예측 모델을 제작하였다. QE 모델 제작 시에는 Cross-lingual language model (XLM), XLM-RoBERTa (XLM-R), multilingual BART (mBART)와 같은 다언어모델들을 활용하여 비교 실험을 수행했다. 또한 기계번역 결과에 대한 품질 예측의 객관성을 검증하고자 구글, 아마존, 마이크로소프트, 시스트란의 번역기를 활용하여 모델 평가를 진행했다. 실험 결과 XLM-R을 활용하여 미세조정학습한 QE 모델이 가장 좋은 성능을 보였으며, 품질 예측의 객관성을 확보함으로써 QE의 다양한 장점들을 한국어-영어 기계번역에서도 활용할 수 있도록 했다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.3-8
• /
• 2021

인공지능 기술이 발달함에 따라 기계번역 기술도 많은 진보를 이루었지만 여전히 기계번역을 통한 번역문 내에는 사람이 교정해야 하는 오류가 다수 포함되어있다. 이렇게 번역 모델에서 생성되는 오류를 교정하는 전문인력의 요구를 경감시키기 위하여 기계번역 사후교정 연구가 등장하였고, 해당 연구는 현재 WMT를 주축으로 활발하게 연구되고 있다. 이러한 사후교정 연구는 최근 도메인 특화 관점에서 주로 연구가 이루어지고 있으며 현재 많은 도메인에서 유의미한 성과를 내고 있다. 하지만 이런 연구들은 기존 번역문의 품질을 얼만큼 향상시켰는가에 초점을 맞출 뿐, 다른 도메인 특화 번역모델의 성능과 비교했을 때 얼마나 뛰어난지는 밝히지 않기 때문에 사후교정 연구가 도메인 특화에서 효과적으로 작용하는지 명확하게 알 수 없다. 이에 본 연구에서는 도메인 특화 번역 모델과 도메인 특화 사후교정 모델간의 성능을 비교함으로써, 도메인 특화에서 사후교정을 통해 얻을 수 있는 실제적인 성능을 검증한다. 이를 통해 사후교정이 도메인 특화 번역모델과 비교했을 때 미미한 수준의 성능을 보임을 실험적으로 확인하였고, 해당 실험 결과를 분석함으로써 향후 도메인특화 사후교정 연구의 방향을 제안하였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.55-60
• /
• 2021

최근 한국어에 대한 자연어 처리 연구는 딥러닝 기반의 자연어 이해 모델을 중심으로 각 모델의 성능에 대한 비교 분석과 평가가 활발하게 이루어지고 있다. 그러나 한국어 생성 모델에 대해서도 자연어 이해 영역의 하위 과제(e.g. 감정 분류, 문장 유사도 측정 등)에 대한 수행 능력만을 정량적으로 평가하여, 생성 모델의 한국어 문장 구성 능력이나 상식 추론 과정을 충분히 평가하지 못하고 있다. 또한 대부분의 생성 모델은 여전히 간단하고 일반적인 상식에 부합하는 자연스러운 문장을 생성하는 것에도 큰 어려움을 겪고 있기에 이를 해결하기 위한 개선 연구가 필요한 상황이다. 따라서 본 논문은 이러한 문제를 해결하기 위해 한국어 생성 모델이 일반 상식 추론 능력을 바탕으로 문장을 생성하도록 KommonGen 데이터셋을 제안한다. 그리고 KommonGen을 통해 한국어 생성 모델의 성능을 정량적으로 비교 분석할 수 있도록 평가 기준을 구성하고, 한국어 기반 자연어 생성 모델의 개선 방향을 제시하고자 한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.135-140
• /
• 2020

사전 학습된 Transformer 기반 언어 모델은 자연어처리 시스템에 적용되었을 시 광범위한 사례에서 큰 폭의 성능 향상을 보여준다. 여기서 사전 학습에 사용되는 언어 모델링 태스크는 비지도 학습에 속하는 기술이기 때문에 상대적으로 데이터의 확보가 쉬운 편이다. 하지만 몇 종의 주류 언어를 제외한 대부분 언어는 활용할 수 있는 언어 자원 자체가 희소하며, 따라서 이러한 사전 학습 기술의 혜택도 누리기 어렵다. 본 연구에서는 이와 같은 상황에서 발생할 수 있는 자원 희소성 문제를 극복하기 위해 이종 언어 간 전이 학습을 이용하는 방법을 제안한다. 본 방법은 언어 자원이 풍부한 언어에서 학습된 Transformer 기반 언어 모델에서 얻은 파라미터 중 재활용 가능한 부분을 이용하여 목표 언어의 모델을 초기화한 후 학습을 진행한다. 또한, 기존 언어와 목표 언어의 차이를 학습하는 역할을 하는 적응층들을 추가하여 이종 언어 간 전이 학습을 돕는다. 제안된 방법을 언어 자원이 희귀한 상황에 대하여 실험해본 결과, 전이 학습을 사용하지 않은 기준 모델 대비 perplexity와 단어 예측의 정확도가 큰 폭으로 향상됨을 확인하였다.