• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2015년도 추계학술발표대회
• /
• pp.966-968
• /
• 2015

온라인 교육이 지속적으로 발전하면서 학습자 수도 빠르게 증가하고 있다. 동영상 콘텐츠기반의 단방향적인 지직전달 방식인 온라인 학습에서는 학습자의 주의집중 여부가 학습 효과 및 학습 전략에 있어서 중요한 요인이다. 하지만 이에 대한 연구는 미비한 실정이다. 본 논문은 온라인 교육에서 학습자의 주의집중을 판단할 수 있는 시스템의 주의집중 판단 단어 자동생성 모델을 설계하고 제안하였다. 학습자가 동영상 콘텐츠를 시청하면 시청중인 콘텐츠의 단어와 기존에 학습했던 모든 콘텐츠의 단어를 호출하여 단어별 가중치 값을 계산하고 상위 단어들을 주의집중 판단 단어 셋으로 자동 생성한다. 생성된 주의집중 판단 단어 셋은 주의집중 판단 시스템에서 적용되어 학습자들이 동영상 콘텐츠에 단어가 노출되었는지 아닌지를 판단함으로써 학습자의 주의집중 여부를 빠르게 판단할 수 있다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
• /
• pp.217-219
• /
• 2016

본 논문은 형태소 분석 및 품사 태깅을 위해 seq2seq 주의집중 모델을 이용하는 접근 방법에 대하여 기술한다. seq2seq 모델은 인코더와 디코더로 분할되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다. 여기서 음절 시퀀스와 품사 태깅 시퀀스의 대응관계는 주의집중(attention) 모델을 통해 접근하게 된다. 본 연구는 사전 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법의 실험 결과를 제시한다. 또한, 디코딩 단계에서 빔(beam) 서치와 같은 추가적 프로세스를 배제하는 접근 방법을 취한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
• /
• pp.217-219
• /
• 2016

본 논문은 형태소 분석 및 품사 태깅을 위해 seq2seq 주의집중 모델을 이용하는 접근 방법에 대하여 기술한다. seq2seq 모델은 인코더와 디코더로 분할되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다. 여기서 음절 시퀀스와 품사 태깅 시퀀스의 대응관계는 주의집중(attention) 모델을 통해 접근하게 된다. 본 연구는 사전 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법의 실험 결과를 제시한다. 또한, 디코딩 단계에서 빔(beam) 서치와 같은 추가적 프로세스를 배제하는 접근 방법을 취한다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.145-150
• /
• 2020

최근 음성인식 분야에서 신경망 기반의 종단간 모델이 제안되고 있다. 해당 모델들은 음성을 직접 입력받아 전사된 문장을 생성한다. 음성을 직접 입력받는 모델의 특성상 데이터의 품질이 모델의 성능에 많은 영향을 준다. 본 논문에서는 이러한 종단간 모델의 문제점을 해결하고자 음성인식 결과를 후처리하기 위한 멀티모달 기반 모델을 제안한다. 제안 모델은 음성과 전사된 문장을 입력 받는다. 입력된 각각의 데이터는 Encoder를 통해 자질을 추출하고 주의집중 메커니즘을 통해 Decoder로 추출된 정보를 전달한다. Decoder에서는 전달받은 주의집중 메커니즘의 결과를 바탕으로 후처리된 토큰을 생성한다. 본 논문에서는 후처리 모델의 성능을 평가하기 위해 word error rate를 사용했으며, 실험결과 Google cloud speech to text모델에 비해 word error rate가 8% 감소한 것을 확인했다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.561-566
• /
• 2018

최근 신경망 번역 모델에 주의 집중 네트워크가 제안되어 기존의 기계 번역 모델인 규칙 기반 번역 모델, 통계적 번역 모델에 비해 높은 번역 성능을 보이고 있다. 그러나 주의 집중 네트워크가 잘못 모델링되는 경우 과소 번역 현상이 나타난다. 신경망 번역 모델에 커버리지 메커니즘을 추가하여 과소 번역 현상을 완화하는 연구가 진행되었으나 이는 모델의 구조를 변경해야하는 불편함이 있다. 본 논문에서는 신경망 번역 모델의 구조를 변경하지 않고 새로운 손실 함수를 정의하여 과소 번역 현상을 완화하는 방법을 제안한다. 한-영 번역 실험을 통해 제안한 주의 집중 네트워크의 정규화 방법이 커버리지 메커니즘의 목적을 효율적으로 달성함을 보인다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.252-255
• /
• 2018

화행 분석이란 자연어 발화를 통해 나타나는 화자의 의도를 파악하는 것을 말하며, 슬롯 필링이란 자연어 발화에서 도메인에 맞는 정보를 추출하기 위해 미리 정의되어진 슬롯에 대한 값을 찾는 것을 말한다. 최근 화행 분석과 슬롯 필링 연구는 딥 러닝 기반의 공동 학습을 이용하는 연구가 많이 이루어지고 있고 본 논문에서는 한국어 특허상담 도메인 대화 말뭉치를 이용하여 공동 학습 모델을 구축하고 개별적인 모델과 성능을 비교한다. 또한 추가적으로 공동 학습 모델에 주의집중 메커니즘을 적용하여 성능이 향상됨을 보인다. 최종적으로 주의집중 메커니즘 기반의 공동 학습 모델이 기준 모델과 비교하여 화행 분류와 슬롯 필링 성능이 각각 3.35%p, 0.54%p 향상되어 85.41%, 80.94%의 성능을 얻었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.411-414
• /
• 2019

검색 모델은 색인된 문서 내에서 입력과 유사한 문서를 검색하는 시스템이다. 최근에는 기계독해 모델과 통합하여 질문에 대한 답을 검색 모델의 결과에서 찾는 연구가 진행되고 있다. 위의 통합 모델이 좋은 결과를 내기 위해서는 검색 모델의 높은 성능이 요구된다. 따라서 본 논문에서는 검색 모델의 성능을 보완해 줄 수 있는 재순위화 모델을 제안한다. 검색 모델의 결과 후보를 일괄적으로 입력받고 '질문-단락'간 주의 집중을 계산하여 재순위화 한다. 실험 결과 P@1 기준으로 기존 검색 모델 성능대비 5.58%의 성능 향상을 보였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.554-558
• /
• 2020

최근 사전학습 모델의 발달로 기계독해 시스템 성능이 크게 향상되었다. 하지만 기계독해 시스템은 주어진 단락에서 질문에 대한 정답을 찾기 때문에 단락을 직접 검색해야하는 실제 환경에서의 성능 하락은 불가피하다. 즉, 기계독해 시스템이 오픈 도메인 환경에서 높은 성능을 보이기 위해서는 높은 성능의 검색 모델이 필수적이다. 따라서 본 논문에서는 검색 모델의 성능을 보완해 줄 수 있는 오픈 도메인 기계독해를 위한 단락 재순위화 모델을 제안한다. 제안 모델은 합성곱 신경망을 이용하여 질문과 단락을 구절 단위로 표현했으며, N-gram 구절 사이의 상호 주의 집중을 통해 질문과 단락 사이의 관계를 효과적으로 표현했다. KorQuAD를 기반으로한 실험에서 제안모델은 MRR@10 기준 93.0%, Top@1 Precision 기준 89.4%의 높은 성능을 보였다.

• 대한전자공학회논문지SP
• /
• 제42권5호
• /
• pp.123-136
• /
• 2005

본 논문에서는 신경회로망보다 우수한 성능을 보이는 학습 이론인 SVM을 기반으로, 인간의 인지 과학에서 많은 연구가 이루어지고 있는 선택적 주의집중을 응용한 중첩 패턴 인식 시스템을 제안한다. 제안된 선택적 주의집중 모델은 SVM의 입력단에 주의집중층을 추가하여 SVM의 입력을 직접 변화시키는 학습을 하며 선택적 필터의 기능을 수행한다. 주의집중의 핵심은 학습을 멈추는 적절한 시점을 찾는 것과 그 시점에서 결과를 판단하는 주의집중 척도를 정의하는 것이다. 지지벡터는 주변에 존재하는 패턴들을 대표하는 표본이므로 입력 패턴이 초기상태일 때 주의집중을 하고자 하는 클래스의 가장 가까운 지지벡터를 기준으로 그 지지벡터와의 거리가 최소가 되었을 때 주의집중을 멈추는 것이 적절하다. 일반적인 주의집중을 적용하면 주의집중 척도를 정의하기가 난해해지기 때문에 변형된 입력이 원래 입력의 범위를 넘지 않는다는 제약조건을 추가하여 사용할 수 있는 정보의 폭을 넓히고 새로운 척도를 정의하였다. 이때 사용한 정보는 변형된 입력과 원래 입력의 유클리드 거리, SVM의 출력, 초기상태에 가장 가까웠던 히든뉴런의 출력값이다. 인식 실험을 위해 USPS 숫자 데이터를 사용하여 45개의 조합으로 중첩시켰으며, 주의집중을 적용시켰을 때 단일 SVM보다 인식 성능이 월등히 우수함을 확인하였고, 또한 제한된 주의집중을 사용하였을 때 일반적 주의집중을 이용하는 것 보다 성능이 더 뛰어났음을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.41-44
• /
• 2017

기계이해 시스템은 주어진 문서를 이해하고 질의에 해당하는 정답을 출력하는 방법으로 심층 신경망을 활용한 주의집중 방법이 발달하면서 활발히 연구되기 시작했다. 본 논문에서는 어휘 정보를 통해 문서와 질의를 이해하는 어휘 이해 모델과 품사 등장 정보, 의존 구문 정보를 통해 문법적 이해를 하는 구문 이해 모델을 함께 사용하여 기계이해 질의응답을 하는 Dual Bi-Directional Attention Flow모델을 제안한다. 한국어로 구성된 18,863개 데이터에서 제안 모델은 어휘 이해 모델만 사용하는 Bi-Directional Attention Flow모델보다 높은 성능(Exact Match: 0.3529, F1-score: 0.6718)을 보였다.