• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.313-316
• /
• 2020

감성 분석은 문장의 감성을 분석해 긍정 또는 부정으로 분류하는 작업을 의미한다. 문장에 담긴 감성을 파악해야 하기 때문에 문장 전체를 이해하는 것이 중요하다. 그러나 한 문장에 긍정과 부정의 이중 극성이 동존하는 문장은 감성 분석에 혼동이 생길 수 있다. 본 논문에서는 이와 같은 문제를 해결하기 위해 단어의 감성 점수 예측을 통해 감성 단어 등장 순서를 고려한 감성 분석 모델을 제안한다. 또한 최근 다양한 자연어 처리 분야에서 좋은 성능을 보이는 사전 학습 언어 모델을 활용한다. 실험 결과 감성 분석 정확도 90.81%로 기존 모델들에 비해 가장 좋은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.321-325
• /
• 2019

오픈 도메인 질의응답이란, 질문을 줬을 때 그 질문과 연관성이 높은 문서를 검색하고 검색된 문서에서 정답을 추출하는 태스크이다. 본 논문은 기계 독해 데이터인 KorQuAD를 활용한 오픈도메인 질의응답 시스템을 제안한다. 문서 검색기를 이용하여 질문과 관련 있는 위키피디아 문서들을 검색하고 검색된 문서에 단락 선택 모델을 통해서 문서 질문과 연관성이 높은 단락들을 선별하여 기계 독해 모델에서 처리해야 할 입력의 수를 줄였다. 문서 선별모델에서 선별된 여러 단락에서 추출된 정답 후보에서 여러 가지 정답 모형을 적용하여 성능을 비교하는 실험을 하였다. 본 논문에서 제안한 오픈도메인 질의응답 시스템을 KorQuAD에 적용했을 때, 개발 데이터에서 EM 40.42%, F1 55.34%의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.326-329
• /
• 2019

기계독해를 실용화하기 위해 단락을 검색하는 검색 모델은 최근 기계독해 모델이 우수한 성능을 보임에 따라 그 필요성이 더 부각되고 있다. 그러나 기존 검색 모델은 질의와 단락의 어휘 일치도나 유사도만을 계산하므로, 기계독해에 필요한 질의 어휘의 문맥에 해당하는 단락 검색을 하지 못하는 문제가 있다. 본 논문에서는 이러한 문제를 해결하기 위해 Word2vec의 입력 단어열의 벡터에 해당하는 IN Weight Matrix와 출력 단어열의 벡터에 해당하는 OUT Weight Matrix를 사용한 단락 검색 모델을 제안한다. 제안 방법은 기존 검색 모델에 비해 정확도를 측정하는 Precision@k에서 좋은 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.443-448
• /
• 2019

본 논문은 공공 데이터 Open API와 TMDB(The Movie Database) API를 이용하여 사용자의 선호 영화를 Google에서 제공해주는 Tensoflow로 인공신경망 딥러닝 학습하여 사용자가 선호하는 영화를 맞춤 추천하는 애플리케이션의 설계 및 구현에 대하여 서술한다. 본 애플리케이션은 사용자가 쉽게 영화를 추천받을 수 있도록 만들어진 애플리케이션으로 기존의 필터링 방식으로 추천하는 방식의 애플리케이션들과 달리 사용자의 취향을 딥러닝 학습을 통해 최적의 영화 Contents를 추천함과 아울러 기존 영화의 특성을 학습하여 흥행할 신규 영화를 예측하는 기능 또한 제공한다. 본 애플리케이션에 사용된 신규 영화 흥행 예측 모델은 약 85%의 정확도를 보이며 사용자 맞춤추천의 경우 기존 장르 추천이나 협업 필터링 추천보다 딥러닝을 통한 장르, 감독, 배우 등의 보다 세밀한 학습 추천이 가능하다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.488-491
• /
• 2019

문법 오류 교정은 문법적으로 오류가 있는 문장을 입력 받아 오류를 교정하는 시스템이다. 문법 오류 교정을 위해서는 문법 오류를 제거하는 것과 더불어 자연스러운 문장을 생성하는 것이 중요하다. 이 연구는 적대적 생성 신경망(GAN)을 이용하여 정답 문장과 구분이 되지 않을 만큼 자연스러운 문장을 생성하는 것을 목적으로 한다. 실험 결과 GAN을 이용한 문법 오류 교정은 MaxMatch F_0.5 score 기준으로 0.4942을 달성하여 Baseline의 0.4462보다 높은 성능을 기록했다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.14-19
• /
• 2020

신조어는 자연어처리에 있어 대단히 중요하며, 시스템의 전체 성능에 직접적인 영향을 미친다. 일단위, 주단위로 신규 발생하는 어휘들에 대해, 자동으로 신규성 및 중요도가 측정되어 제공된다면, 자연어처리 연구 및 상용시스템 개발에 큰 도움이 될 것이다. 이를 위해, 본 연구는 한국어 말뭉치 KorNewVocab을 새로이 제시한다. 먼저, 신조어가 가져야 할 세부 중요 조건을 1)신규 어휘 2)인기 어휘 3)지속 사용 어휘로 정의하고, 이 조건을 만족하는 신조어 말뭉치를 2019.01~2019.08까지의 뉴스기사를 중심으로 신조어 412개와 4,532 문장으로 구성된 신조어 말뭉치를 구축하였다. 또한, 본 말뭉치의 구축에 활용된 반자동 신규어휘 검출 및 중요도 측정 방법에 대해 소개한다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.444-449
• /
• 2021

자연어처리에서 임베딩이란 사람의 언어를 컴퓨터가 이해할 수 있는 벡터로 변환한 것으로 자연어처리의 필수 요소 중 하나이다. 본 논문에서는 단어 기반 임베딩인 Word2Vec, GloVe, fastText와 문장 기반 임베딩 기법인 BERT와 M-USE, RoBERTa를 사용하여 한국어 문장 임베딩을 만들어 NSMC, KorNLI, KorSTS 세 가지 태스크에 대한 성능을 확인해보았다. 그 결과 태스크에 따라서 적합한 한국어 문장 임베딩 기법이 달라지며, 태스크에 따라서는 BERT의 평균 임베딩보다 GloVe의 평균 임베딩과 같은 단어 기반의 임베딩이 좋은 성능을 보일 수 있음을 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.162-166
• /
• 2020

자연어 이해는 대화 인터페이스나 정보 추출 등에 활용되는 핵심 기술 중 하나이다. 최근 딥러닝을 활용한 데이터 기반 자연어 이해 연구가 많이 이루어지고 있으며, 이러한 연구에 있어서 데이터 확장은 매우 중요한 역할을 하게 된다. 본 연구는 자연어 이해영역에서의 말뭉치 혹은 데이터 확장에 있어서, 입력으로 주어진 문장과 문법구조 및 의미가 유사한 문장을 생성하는 새로운 방법을 제시한다. 이를 위해, 우리는 GPT를 이용하여 대량의 문장을 생성하고, 문장과 문장 사이의 문법구조 및 의미 거리 계산법을 제시하여, 이를 이용해 가장 유사하지만 새로운 문장을 생성하는 방법을 취한다. 한국어 말뭉치 Weather와 영어 말뭉치 Atis, Snips, M2M-Movie M2M-Reservation을 이용하여 제안방법이 효과적임을 확인하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.524-528
• /
• 2020

챗봇은 발화에 대해 컴퓨터가 자동으로 응답하는 시스템이다. 현재 챗봇은 전체 주제에 대한 잡담(chit-chat)보다는 특정 주제에 관한 대화를 목적으로 많이 개발되고 있다. 하지만 개개인이 필요로 하는 챗봇 용도에 적합한 학습 데이터는 부족하다. 이러한 상황에서 챗봇 학습을 위해 필요한 주제의 말뭉치를 대량으로 구축하는 것은 시간과 비용이 많이 소모되어 현실적으로 어렵다. 따라서 학습에 필요한 소량의 말뭉치만 사용하더라도 주제에 적합한 응답을 할 수 있는 챗봇이 필요하다. 이에 본 논문은 챗봇의 목적과 관련 없는 대량의 말뭉치와 소량의 주제 기반 말뭉치를 이용하여 높은 성능을 끌어낼 수 있는 주제 임베딩 방법을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2023.10a
• /
• pp.66-71
• /
• 2023

ChatGPT가 등장한 이후 다양한 거대 언어 모델(Large Language Model, LLM)이 등장하였고, 이러한 LLM을 목적에 맞게 파인튜닝하여 사용할 수 있게 되었다. 하지만 LLM을 새로 학습하는 것은 물론이고, 단순 튜닝만 하더라도 일반인은 시도하기 어려울 정도의 많은 컴퓨팅 자원이 필요하다. 본 연구에서는 공개된 LLM을 별도의 학습 없이 사용하여 zero-shot 프롬프팅으로 이진 분류 태스크에 대한 성능을 확인하고자 했다. 학습이나 추가적인 튜닝 없이도 기존 선학습 언어 모델들에 준하는 이진 분류 성능을 확인할 수 있었고, 성능이 좋은 LLM의 경우 분류 실패율이 낮고 일관적인 성능을 보여 상당히 높은 활용성을 확인하였다.