• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.522-526
• /
• 2018

본 연구는 수많은 챗봇이 생성될 수 있는 챗봇 빌더 시스템에서 저비용 컴퓨팅 파워에서도 구동 가능한 가벼운 문장 분류 시스템을 제안하며, 미등록어 처리를 위해 워드 임베딩 기법인 GloVe를 이용하여 문장 벡터를 생성하고 이를 추가 자질로 사용하는 방법을 소개한다. 제안한 방법으로 자체 구축한 테스트 말뭉치를 이용하여 성능을 평가해본 결과 최대 93.06% 성능을 보였으며, 자체 보유한 CNN 모델과의 비교 평가 결과 성능은 2.5% 낮지만, 모델 학습 속도는 25배, 학습 시 메모리 사용량은 6배, 생성된 모델 파일 크기는 302배나 효율성 있음을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.362-367
• /
• 2019

본 논문에서는 Self-Attention을 활용한 딥러닝 기반 문맥의존 철자오류 교정 모델을 제안한다. 문맥의존 철자오류 교정은 최근 철자오류 교정 분야에서 활발히 연구되고 있는 문제 중 하나이다. 기존에는 규칙 기반, 확률 기반, 임베딩을 활용한 철자오류 교정이 연구되었으나, 아직 양질의 교정을 수행해내기에는 많은 문제점이 있다. 따라서 본 논문에서는 기존 교정 모델들의 단점을 보완하기 위해 Self-Attention을 활용한 문맥의존 철자오류 교정 모델을 제안한다. 제안 모델은 Self-Attention을 활용하여 기존의 임베딩 정보에 문맥 의존적 정보가 반영된 더 나은 임베딩을 생성하는 역할을 한다. 전체 문장의 정보가 반영된 새로운 임베딩을 활용하여 동적으로 타겟 단어와의 관련 단어들을 찾아 문맥의존 철자 오류교정을 시행한다. 본 논문에서는 성능평가를 위해 세종 말뭉치를 평가 데이터로 이용하여 제안 모델을 실험하였고, 비정형화된 구어체(Kakao Talk) 말뭉치로도 평가 데이터를 구축해 실험한 결과 비교 모델보다 높은 정확율과 재현율의 성능향상을 보였다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.128-133
• /
• 2016

문장유사도 분석은 문서 평가 자동화에 활용될 수 있는 중요한 기술이다. 최근 순환신경망을 이용한 인코더-디코더 언어 모델이 기계학습 분야에서 괄목할만한 성과를 거두고 있다. 본 논문에서는 한국어 형태소임베딩 모델과 GRU(Gated Recurrent Unit)기반의 인코더를 제시하고, 이를 이용하여 언어모델을 한국어 위키피디아 말뭉치로부터 학습하고, 한국어 질의응답 시스템에서 질문에 대한 정답을 유추 할 수 있는 증거문장을 찾을 수 있도록 문장유사도를 측정하는 방법을 제시한다. 본 논문에 제시된 형태소임베딩 모델과 GRU 기반의 인코딩 모델을 이용하여 문장유사도 측정에 있어서, 기존 글자임베딩 방법에 비해 개선된 결과를 얻을 수 있었으며, 질의응답 시스템에서도 유용하게 활용될 수 있음을 알 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.128-133
• /
• 2016

문장유사도 분석은 문서 평가 자동화에 활용될 수 있는 중요한 기술이다. 최근 순환신경망을 이용한 인코더-디코더 언어 모델이 기계학습 분야에서 괄목할만한 성과를 거두고 있다. 본 논문에서는 한국어 형태 소임베딩 모델과 GRU(Gated Recurrent Unit)기반의 인코더를 제시하고, 이를 이용하여 언어모델을 한국어 위키피디아 말뭉치로부터 학습하고, 한국어 질의응답 시스템에서 질문에 대한 정답을 유추 할 수 있는 증거문장을 찾을 수 있도록 문장유사도를 측정하는 방법을 제시한다. 본 논문에 제시된 형태소임베딩 모델과 GRU 기반의 인코딩 모델을 이용하여 문장유사도 측정에 있어서, 기존 글자임베딩 방법에 비해 개선된 결과를 얻을 수 있었으며, 질의응답 시스템에서도 유용하게 활용될 수 있음을 알 수 있었다.

• 스마트미디어저널
• /
• 제11권3호
• /
• pp.31-38
• /
• 2022

문서 추출 요약 연구에서는 문장 간 관계를 기반으로 중요한 문장을 선택하는 다양한 방법들이 제안되었다. 문장의 도합유사도를 이용한 한국어 문서 요약에서는 문장의 도합유사도를 문장 정보량으로 보고, 이를 기준으로 중요한 문장을 선택하여 요약문을 추출하였다. 그러나 이는 각 문장이 전체 문서에 기여하는 다양한 중요도를 고려하지 못한다는 문제가 있다. 이에 본 연구에서는 문장의 정량적 정보량과 의미적 정보량을 기반으로 중요한 문장을 선택하여 요약문을 제공하는 문서 추출 요약 방법을 제안한다. 실험 결과, 추출 문장 일치도는 58.56%, ROUGE 점수가 34로 비교 연구보다 우수한 성능을 보였으며, 딥러닝 기반 방법과 비교해 추출 방법은 가볍지만 성능은 유사하였다. 이를 통해 문장 간 의미적 유사성을 기반으로 정보를 압축해 나가는 방식이 문서 추출 요약에서 중요한 접근 방법임을 확인하였다. 또한 빠르게 추출된 요약문을 기반으로 문서 생성요약단계를 효과적으로 수행할 수 있으리라 기대한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.81-84
• /
• 2019

자연어 문장으로 작성된 문서들에는 대체적으로 시간에 관련된 정보가 포함되어 있을 뿐만 아니라, 문서의 전체 내용과 문맥을 이해하기 위해서 이러한 정보를 정확하게 인식하는 것이 중요하다. 주어진 문서 내에서 시간 정보를 발견하기 위한 작업으로는 시간적인 표현(time expression) 자체를 인식하거나, 시간 표현과 연관성이 있는 사건(event)을 찾거나, 시간 표현 또는 사건 간에서 발생하는 시간적 연관 관계(temporal relationship)를 추출하는 것이 있다. 문서에 사용된 언어에 따라 고유한 언어적 특성이 다르기 때문에, 만약 시간 정보에 대한 관계성을 고려하지 않는다면 주어진 문장들로부터 모든 시간 정보를 추출해내는 것은 상당히 어려운 일이다. 본 논문에서는, 양방향 구조로 학습된 심층 신경망 기반 언어 모델을 활용하여 한국어 입력문장들로부터 시간 정보를 발견하는 작업 중 하나인 시간 관계정보를 추출하는 기법을 제안한다. 이 기법은 주어진 단일 문장을 개별 단어 토큰들로 분리하여 임베딩 벡터로 변환하며, 각 토큰들의 잠재적 정보를 고려하여 문장 내에 어떤 유형의 시간 관계정보가 존재하는지를 인식하도록 학습시킨다. 또한, 한국어 시간 정보 주석 말뭉치를 활용한 실험을 수행하여 제안 기법의 시간 관계정보 인식 정확도를 확인한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권12호
• /
• pp.698-702
• /
• 2017

자연 언어 처리(Natural Language Processing) 분야에 심층 신경망(Deep Neural Network)이 소개된 이후, 단어, 문장 등의 의미를 나타내기 위한 분산 표상인 임베딩(Embedding)을 학습하기 위한 연구가 활발히 진행되고 있다. 임베딩 학습을 위한 방법으로는 크게 문맥 기반의 텍스트 모델링 방법과, 기학습된 임베딩을 결합하여 더 긴 텍스트의 분산 표상을 계산하고자 하는 결합 기반의 텍스트 모델링 방법이 있다. 하지만, 기존 결합 기반의 텍스트 모델링 방법은 최적 결합 단위에 대한 고찰 없이 단어를 이용하여 연구되어 왔다. 본 연구에서는 비교 실험을 통해 문서 임베딩 생성에 적합한 결합 기법과 최적 결합 단위에 대해 알아본다. 또한, 새로운 결합 방법인 담화 분석 기반의 결합 방식을 제안하고 실험을 통해 기존의 순차적 결합 기반 신경망 모델 대비 우수성을 보인다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제5권11호
• /
• pp.563-568
• /
• 2016

단어 의미 분별 문제는 문장에서 어떤 단어가 사전에 가지고 있는 여러 가지 의미 중 정확한 의미를 파악하는 문제이다. 우리는 이 문제를 다중 클래스 분류 문제로 간주하고 지지벡터기계를 이용하여 분류한다. 세종 의미 부착 말뭉치에서 추출한 의미 중의성 단어의 문맥 단어를 두 가지 벡터 공간에 표현한다. 첫 번째는 문맥 단어들로 이뤄진 벡터 공간이고 이진 가중치를 사용한다. 두 번째는 문맥 단어의 윈도우 크기에 따라 문맥 단어를 단어 임베딩 모델로 사상한 벡터 공간이다. 실험결과, 문맥 단어 벡터를 사용하였을 때 약 87.0%, 단어 임베딩을 사용하였을 때 약 86.0%의 정확도를 얻었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.617-621
• /
• 2021

의미역 결정은 문장 속에서 서술어와 그 논항의 관계를 파악하며, '누가, 무엇을, 어떻게, 왜' 등과 같은 의미역 관계를 찾아내는 자연어 처리 기법이다. 최근 수행되고 있는 의미역 결정 연구는 주로 말뭉치를 활용하여 딥러닝 학습을 하는 방식으로 연구가 이루어지고 있다. 최근 구글에서 개발한 사전 훈련된 Bidirectional Encoder Representations from Transformers (BERT) 모델이 다양한 자연어 처리 분야에서 상당히 높은 성능을 보이고 있다. 본 논문에서는 한국어 의미역 결정 성능 향상을 위해 한국어의 언어적 특징을 고려하며 사전 학습된 SNU KR-BERT를 사용하면서 한국어 의미역 결정 모델의 성능을 살펴보였다. 또한, 본 논문에서는 BERT 모델에서 과연 어떤 히든 레이어(hidden layer)에서 한국어 의미역 결정을 더 잘 수행하는지 알아보고자 하였다. 실험 결과 마지막 히든 레이어 임베딩을 활용하였을 때, 언어 모델의 성능은 66.4% 였다. 히든 레이어 별 언어 모델 성능을 비교한 결과, 마지막 4개의 히든 레이어를 이었을 때(concatenated), 언어 모델의 성능은 67.9% 이였으며, 11번째 히든 레이어를 사용했을 때는 68.1% 이였다. 즉, 마지막 히든 레이어를 선택했을 때보다 더 성능이 좋았다는 것을 알 수 있었다. 하지만 각 언어 모델 별 히트맵을 그려보았을 때는 마지막 히든 레이어 임베딩을 활용한 언어 모델이 더 정확히 의미역 판단을 한다는 것을 알 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.160-163
• /
• 2022

감성 분석(sentiment analysis)은 자연어 문장에 나타나는 감정 상태나 주관적인 의견을 분석하는 작업이다. 최근에는 자연어 처리(Natural Language Processing) 작업에서 딥러닝 기반의 모델이 좋은 성능을 보여주고 있다. 하지만, 모델의 복잡한 구조 때문에 모델이 어떠한 근거(rationale)로 판단하였는지 해석하기 어려운 문제가 있다. 모델이 좋은 성능을 보여도 예측에 관한 판단 근거가 없으면 결과를 해석하기 어렵고, 모델에 대한 신뢰가 떨어진다. 본 논문에서는 한국어 감성 분석 작업에 대해 사후 해석 모델을 이용하여 모델의 예측 결과에 대한 근거를 추출하고, 추출한 근거 정보를 이용한 근거 임베딩을 사용하여 근거 정보를 통합하는 방법이 감성 분석 모델의 성능을 개선함을 보인다.