• Proceedings of the Korea Information Processing Society Conference
• /
• 2019.10a
• /
• pp.767-769
• /
• 2019

기계독해는(Machine reading comprehension) 사용자 질의에 대한 답변이 될 수 있는 내용을 기계가 문서를 이해하여 추론하는 것을 말하며 기계독해를 이용해서 챗봇과 같은 자동상담 서비스에 활용할 수 있다. 최근 자연어처리 분야에서 많은 성능 향상을 보이고 있는 BERT모델을 기계독해 분야에 적용 할 수 있다. 본 논문에서는 특허상담 분야에서 기계독해 task 성능 향상을 위해 특허상담 코퍼스를 사용하여 사전학습(Pre-training)한 BERT모델과 특허상담 기계학습에 적합한 언어처리 기법을 추가하여 성능을 올릴 수 있는 방안을 제안하였고, 본 논문에서 제안한 방법을 사용하여 특허상담 질의에 대한 답변 결정에서 성능이 향상됨을 보였다.

• Journal of Information Technology Applications and Management
• /
• v.28 no.4
• /
• pp.33-43
• /
• 2021

While youth unemployment has recorded the lowest level since the global COVID-19 pandemic, SMEs(small and medium sized enterprises) are still struggling to fill vacancies. It is difficult for SMEs to find good candidates as well as for job seekers to find appropriate job offers due to information mismatch. To overcome information mismatch, this study proposes the fine-turning model for bidirectional HR matching based on a pre-learning language model called BERT(Bidirectional Encoder Representations from Transformers). The proposed model is capable to recommend job openings suitable for the applicant, or applicants appropriate for the job through sufficient pre-learning of terms including technical jargons. The results of the experiment demonstrate the superior performance of our model in terms of precision, recall, and f1-score compared to the existing content-based metric learning model. This study provides insights for developing practical models for job recommendations and offers suggestions for future research.

• ETRI Journal
• /
• v.44 no.3
• /
• pp.438-449
• /
• 2022

This study proposes a dependency grammar-based self-attention multilayered bidirectional long short-term memory (DG-M-Bi-LSTM) model for subject-predicate-object (SPO) tuple recognition from natural language (NL) sentences. To add recent knowledge to the knowledge base autonomously, it is essential to extract knowledge from numerous NL data. Therefore, this study proposes a high-accuracy SPO tuple recognition model that requires a small amount of learning data to extract knowledge from NL sentences. The accuracy of SPO tuple recognition using DG-M-Bi-LSTM is compared with that using NL-based self-attention multilayered bidirectional LSTM, DG-based bidirectional encoder representations from transformers (BERT), and NL-based BERT to evaluate its effectiveness. The DG-M-Bi-LSTM model achieves the best results in terms of recognition accuracy for extracting SPO tuples from NL sentences even if it has fewer deep neural network (DNN) parameters than BERT. In particular, its accuracy is better than that of BERT when the learning data are limited. Additionally, its pretrained DNN parameters can be applied to other domains because it learns the structural relations in NL sentences.

• Annual Conference on Human and Language Technology
• /
• 2022.10a
• /
• pp.526-530
• /
• 2022

자동 쓰기 평가 연구는 쓰기 답안지를 채점하는데 드는 시간과 비용을 절감할 수 있어, 교육 분야에서 큰 관심을 가지고 있다. 본 연구의 목적은 쓰기 답안지의 문서 구조를 효과적으로 학습하여 평가하고, 문장단위의 피드백을 제공하는데 있다. 그 방법으로는 문장 레벨에서 한국어 Sentence-BERT 모델을 활용하여 각 문장을 임베딩하고, LSTM 어텐션 모델을 활용하여 문서 레벨에서 임베딩 문장을 모델링한다. '한국어 쓰기 텍스트-점수 구간 데이터'를 활용하여 해당 모델의 성능 평가를 진행하였으며, 다양한 KoBERT 기반 모델과 비교 평가를 통해 제안하는 모델의 방법론이 효과적임을 입증하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.501-502
• /
• 2022

최근 작성한 일기를 SNS에 올려 평범한 사람들이 음악, 음식, 사건 등 소소한 일상을 남기고 우울증 투병기를 공유하여 힘을 얻기도 하는 등 누가 시키지 않아도 일기를 작성하고 간직하는 사람들이 증가하고 있다. 이러한 변화로 일기는 하루의 일상을 기록하는 목적을 넘어 어떤 감정을 느꼈는지 알아차리고 자아를 성찰 및 탐구하는 단계로 발전하고 있다. 그러나 스스로 일기의 키워드를 분석하고 감정이 어떠한지 정확하게 아는 것은 어렵다. 이에 따라 본 논문에서는 제시한 문제를 해결하기 위한 방법으로 KoBERT와 KoNLPy를 활용한 키워드 및 감정분석 일기 서비스를 제안하였다. 본 연구의 키워드 및 감정분석 일기 서비스는 사용자가 무의식적으로 표현하는 텍스트 기반의 일기에서 자주 반복되는 키워드와 감정을 제공하여 자신의 감정상태를 쉽게 인지하고 되돌아볼 수 있도록 제작하였다.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2022.07a
• /
• pp.471-474
• /
• 2022

음원 스트리밍 서비스 시장은 지속해서 성장해왔다. 그중 최근에 가장 성장세가 돋보이는 서비스는 Spotify와 Youtube music이다. 두 서비스의 추천시스템은 사용자가 좋아할 만한 음악을 계속해서 추천해 줌으로써 많은 사랑을 받고 있다. 추천시스템 성능은 추천에 활용할 수 있는 변수(Feature) 수에 비례한다고 볼 수 있다. 최대한 많은 정보를 알아야 사용자가 원하는 추천이 가능하기 때문이다. 본 논문에서는 기존에 존재하는 감정분류 방법론인 사전기반과 딥러닝 BERT를 사용한 머신기반 방법론을 적절하게 결합하여 장점을 유지하면서 단점을 보완한 하이브리드 감정 분석 모델을 제안함으로써 가사에서 느껴지는 감정 비율을 분석한다. 감정 비율을 음원 가중치 변수로 사용하면 감정 정보를 포함한 고도화된 추천을 기대할 수 있다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2021.05a
• /
• pp.501-504
• /
• 2021

한국어 심층학습 언어모델인 KoBERT와, 확률적 기계학습 분류기인 나이브 베이즈와 로지스틱 회귀를 이용하여 유학생이 작성한 한국어 쓰기 답안지의 점수 구간을 예측하는 실험을 진행하였다. 네가지 주제('직업', '행복', '경제', '성공')를 다룬 답안지와 점수 레이블(A, B, C, D)로 쌍을 이룬 학습데이터 총 304건으로 다양한 자동분류 모델을 구축하여 7-겹 교차검증을 시행한 결과 KoBERT가 나이브 베이즈나 로지스틱 회귀보다 약간 우세한 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.558-563
• /
• 2021

알츠하이머병 치매와 조현병 진단을 위한 2단계 분류 모델을 제안한다. 정상군과 환자군의 발화에 나타난 페어 언어 모델 간의 Perplexity 차이에 기반한 분류와 기존 단일 BERT 모델의 미세조정(fine-tuning)을 이용한 분류의 통합을 시도하였다. Perplexity 기반의 분류 성능이 알츠하이머병, 조현병 모두 우수한 결과를 보임을 확인 하였고, 조현병 분류 모델의 성능이 소폭 증가하였다. 향후 설명 가능한 인공지능 기법을 적용에 따른 성능 향상을 기대할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.459-461
• /
• 2020

매일 게시되는 다양한 프로야구 관련 기사에는 경기 결과, 각종 기록, 선수의 부상 등 다양한 정보가 뒤섞여있어, 사용자가 원하는 정보를 찾아내는 과정이 매우 번거롭다. 본 논문에서는 문서 검색과 기계 독해를 이용하여 야구 분야에 대한 Q&A 시스템을 제안한다. 기사를 형태소 분석하고 BM25 알고리즘으로 얻은 문서 가중치로 사용자 질의에 적합한 기사들을 선정하고 KorQuAD 1.0과 직접 구축한 프로야구 질의응답 데이터셋을 이용해 학습시킨 BERT 모델 기반 기계 독해로 답변 추출을 진행한다. 야구 특화 데이터 셋을 추가하여 학습시켰을 때 F1 score, EM 모두 15% 내외의 정확도 향상을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.414-417
• /
• 2020

최근 한국어 형태소 분석 및 품사 태깅에 관한 연구는 주로 표층형에 대해 형태소 분리와 품사 태깅을 먼저하고, 추가 언어자원을 사용하여 후처리로 형태소 원형과 품사를 복원해왔다. 본 연구에서는 형태소 분석 및 품사 태깅을 두 단계로 나누어, Sequence-to-Sequence를 활용하여 형태소 원형 복원을 먼저 하고, 최근 자연어처리의 다양한 분야에서 우수한 성능을 보이는 BERT를 활용하여 형태소 분리 및 품사 태깅을 하였다. 본 논문에서는 두 단계를 파이프라인으로 연결하였고, 제안하는 형태소 분석 및 품사 태깅 파이프라인 모델은 음절 정확도가 98.39%, 형태소 정확도 98.27%, 어절 정확도 96.31%의 성능을 보였다.