• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.531-534
• /
• 2022

신경망 기반 심층학습 기술은 대화처리 분야에서 대폭적인 성능 개선을 가져왔다. 특히 GPT-2와 같은 대규모 사전학습 언어모델을 백본 네트워크로 하고 특정 도메인 타스크 대화 데이터에 대해서 미세조정 방식으로 생성되는 종단형 대화모델의 경우, 해당 도메인 타스크에 대해서 높은 성능을 내고 있다. 하지만 이런 연구들은 대부분 하나의 도메인에 대해서만 초점을 맞출 뿐 싱글 모델로 두 개 이상의 도메인을 고려하고 있지는 않다. 특히 순차적인 미세 조정은 이전에 학습된 도메인에 대해서는 catastrophic forgetting 문제를 발생시킴으로써 해당 도메인 타스크에 대한 성능 하락이 불가피하다. 본 논문에서는 이러한 문제를 해결하기 위하여 MultiWoz 목적지향 대화 데이터에 오픈 도메인 칫챗 대화턴을 유사도에 기반하여 추가하는 데이터 증강 방식을 통해 사용자 입력 및 문맥에 따라 MultiWoz 목적지향 대화와 오픈 도메인 칫챗 대화를 함께 생성할 수 있도록 하였다. 또한 목적지향 대화와 오픈 도메인 칫챗 대화가 혼합된 대화에서의 시스템 응답 생성 성능을 평가하기 위하여 오픈 도메인 칫챗 대화턴을 수작업으로 추가한 확장된 MultiWoz 평가셋을 구축하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.644-647
• /
• 2023

대화 시스템에서 대화 상태 추적은 사용자와의 대화를 진행하면서 사용자의 의도를 파악하여 시스템 응답을 결정하는데 있어서 중요한 역할을 수행한다. 특히 목적지향(task-oriented) 대화에서 사용자 목표(goal)를 만족시키기 위해서 대화 상태 추적은 필수적이다. 최근 다양한 자연어처리 다운스트림 태스크들이 사전학습 언어모델을 백본 네트워크로 사용하고 그 위에서 해당 도메인 태스크를 미세조정하는 방식으로 좋은 성능을 내고 있다. 본 논문에서는 한국어 토큰-프리(token-free) 사전학습 언어모델인 KeByT5B 사용하고 종단형(end-to-end) seq2seq 방식으로 미세조정을 수행한 한국어 생성 기반 대화 상태 추적 모델을 소개하고 관련하여 수행한 실험 결과를 설명한다.

• 경영정보학연구
• /
• 제25권1호
• /
• pp.93-110
• /
• 2023

최근 비정형 자료인 텍스트를 벡터로 변환하고 이를 통해 다양한 목적으로 방대한 양의 자연어를 분석하는 시도가 이루어지고 있다. 특히 코퍼스 규모가 제한적일 수밖에 없는 전문적인 도메인의 텍스트에 대해서도 분석 수요가 급증하면서, 해당 전문 분야의 문서를 범용 문서와 함께 분석하기 위한 연구가 활발하게 이루어지고 있다. 특정 전문어를 해당 전문어 코퍼스 외부의 일반적인 범용어와 함께 분석하기 위해서는, 전문어 임베딩 공간을 범용어 임베딩 공간과 일치시키는 것이 필요하다. 기존에는 변환 행렬 또는 매핑 함수 등을 통해 전문어 코퍼스로부터 얻은 전문어 임베딩 값을 범용어 임베딩 공간으로 변환, 일치시키려는 시도가 있었지만, 변환 행렬을 기반으로 하는 선형 변환은 국지적인 범위에서만 근사적인 변환 효과가 있다는 일반적인 선형 변환의 한계를 극복하지 못했다. 이러한 선형 변환의 한계를 극복하기 위해 최근에는 다양한 형태의 비선형적인 변환 방법이 제안되고 있으며, 본 연구에서는 오토인코더(Autoencoder)와 회귀 모델을 동시에 학습하는 종단형 학습을 통해 전문어 임베딩 공간을 범용어 임베딩 공간으로 변환하여 임베딩 공간을 일치시키는 모델을 제안한다. 실제 "보건의료" 분야의 R&D 문서에 대해 임베딩 변환 실험을 진행한 결과, 제안 방법론이 기존의 오토인코더를 활용한 방법 대비 변환 정확도 측면에서 우수한 성능을 보임을 확인하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제12권8호
• /
• pp.371-380
• /
• 2023

관계 추출은 텍스트로부터 개체(named entity) 사이의 관계를 추출하는 과정이다. 전통적으로 관계 추출 방법은 주어와 목적어가 미리 정해진 상태에서 관계만 추출한다. 그러나 종단형 관계 추출에서는 개체 쌍마다 주어와 목적어의 위치를 고려하여 가능한 모든 관계를 추출해야 하므로 이 방법은 시간과 자원을 비효율적으로 사용한다. 본 논문에서는 이러한 문제를 완화하기 위해 문장에서 주어와 목적어의 위치에 따른 방향을 설정하고, 정해진 방향에 따라 관계를 추출하는 방법을 제안한다. 제안하는 방법은 기존의 관계 추출 데이터를 활용하여 문장에서 주어가 목적어를 가리키는 방향을 나타내는 방향 표지를 새롭게 생성하고, 개체 위치 토큰과 개체 유형 정보를 문장에 추가하는 작업을 통해 사전학습 언어모델 (KLUE-RoBERTa-base, RoBERTa-base)을 이용하여 방향을 예측한다. 그리고 확률적 교차 연산을 통해 주어와 목적어 개체의 표상을 생성한다. 이후 이러한 개체의 표상을 활용하여 관계를 추출한다. 실험 결과를 통해, 제안 모델이 하나로 통합된 라벨을 예측하는 것보다 3 ~ 4%p 정도 더 우수한 성능을 보여주었다. 또한, 제안 모델을 이용해 한국어 데이터와 영어 데이터를 학습할 때, 데이터 수와 언어적 차이로 인해 한국어보다 영어에서 1.7%p 정도 더 높은 성능을 보여주었고, 최상의 성능을 내는 매개변수의 값이 다르게 나타나는 부분도 관찰할 수 있었다. 제안 모델은 방향에 따른 경우의 수를 제외함으로써 종단형 관계 추출에서 자원의 낭비를 줄일 수 있다.

• 전자통신동향분석
• /
• 제34권4호
• /
• pp.55-64
• /
• 2019

In this study, we introduce trends in neural-network-based deep learning research applied to dialogue systems. Recently, end-to-end trainable goal-oriented dialogue systems using long short-term memory, sequence-to-sequence models, among others, have been studied to overcome the difficulties of domain adaptation and error recognition and recovery in traditional pipeline goal-oriented dialogue systems. In addition, some research has been conducted on applying reinforcement learning to end-to-end trainable goal-oriented dialogue systems to learn dialogue strategies that do not appear in training corpora. Recent neural network models for end-to-end trainable chit-chat systems have been improved using dialogue context as well as personal and topic information to produce a more natural human conversation. Unlike previous studies that have applied different approaches to goal-oriented dialogue systems and chit-chat systems respectively, recent studies have attempted to apply end-to-end trainable approaches based on deep neural networks in common to them. Acquiring dialogue corpora for training is now necessary. Therefore, future research will focus on easily and cheaply acquiring dialogue corpora and training with small annotated dialogue corpora and/or large raw dialogues.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.517-520
• /
• 2022

지능형 대화 시스템은 줄곧 서비스의 목표와 무관한 사용자 입력을 전달받아, 그 처리 성능을 의심받는다. 특히 종단간 대화 이해 생성 모델이나, 기계학습 기반 대화 이해 모델은 학습 시간대에 한정된 범위의 도메인 입력에만 노출됨으로, 사용자 발화를 자신이 처리 가능한 도메인으로 과신하는 경향이 있다. 본 연구에서는 대화 생성 모델이 처리할 수 없는 입력과 신뢰도가 낮은 생성 결과를 배제하기 위해 불확실성 정량화 기법을 대화 의도 분류 모델에 적용한다. 여러 번의 추론 샘플링이 필요 없는 실용적인 예측 신뢰도 획득 방법과 함께, 평가 시간대와 또다른 도메인으로 구성된 분포 외 입력 데이터를 학습에 노출시키는 것이 분포 외 입력을 구분하는데 도움이 되는지를 실험으로 확인한다.

• 한국터널지하공간학회 논문집
• /
• 제11권2호
• /
• pp.151-162
• /
• 2009

본 연구에서는 터널 설계구간의 대부분을 차지하는 미시추 구간의 지반 등급 분류를 정량적으로 수행할 수 있는 새로운 접근방법을 제안한다. 본 제안방법은 시추공에서 얻은 직접조사 결과와 시추구간의 전기 비저항 탐사결과를 이용해 인공 신경망을 학습시카고, 학습된 인공 신경망은 미시추 구간의 암반분류 등급을 추론하는데 적용된다. 지반등급 추론은 미시추 구간 영역에서 움직이는 격자형 창(window)의 중심점에서 이루어 지며 창내 귀속된 전기 비저항들은 추론을 위한 참고자료로 시용된다. 인공 신경망 학습은 최선 RPROP(Resilient backpropagation) 인공 신경망 학습 알고리즘과 early-stopping 기법을 이용하여 수행되었다. 본 연구에서는 실제 시추조사가 이루어진 터널현장에 제안기법을 적용하여 미시추 구간의 지반 등급을 추론하였으며, 전통적인 지구통계학적 크리깅(kriging) 기법에 의한 결과와도 상호 비교하였다. 결과적으로 본 연구를 통해 학습된 인공 신경망은 전통 크리깅 방법에 비해 매우 구체적이고 현실적인 예측결과를 제공하였다 또한, 인공 신경망 추론으로부터 얻어진 터널 종단 방향의 RMR과 Q-값의 분포에서는 전기 비저항 탐사로부터 추정된 취약지반 구간의 위치와 잘 일치하였으며, 두 값 상호간의 관계도 선행 연구 결과와 부합하였다.

• 한국산학기술학회논문지
• /
• 제21권6호
• /
• pp.275-285
• /
• 2020

본 연구는 시간이 지남에 따라 학교에 대한 학생인식의 변화를 추적하고, 교육복지우선지원사업 참여 여부가 그 변화를 어떻게 설명하는지, 변화의 결과가 학생들의 학습몰입, 자신감, 교우관계에 어떠한 영향을 미치는지 분석하는 것을 목적으로 한다. 교육복지정책중점연구소에서 2015년부터 2017년까지 전국 총 103개 학교(초등학교 51개, 중학교 52개)로부터 수집한 자료를 활용하였다. 1차년도의 표본 수는 총 820명, 2차년도는 911명, 3차년도는 837명이었다. 본 연구는 무조건 성장 모형(unconditional growth model)과 조건 성장 모형(conditional growth model)의 두 단계를 거치는 잠재성장모형을 적용하여 분석하였다. 분석 결과 첫째, 교육복지우선지원사업 참여 학생들의 학교에 대한 인식은 시간이 지남에 따라 성장선을 보여주었다. 둘째, 학교에 대한 학생인식의 개선은 학생들의 학습몰입, 자신감, 교우관계에 모두 정(+)적인 영향을 미치는 것으로 분석되었다. 향후, 교육복지우선지원사업의 효과성을 극대화하기 위해서는 학교에 대한 인식 개선을 목적으로 하는 프로그램을 교사 주도로 교육복지우선지원사업 대상 여부에 관계없이 모든 학생에게 제공하며, 집중지원이 필요한 학생에 대해서는 교육복지사 중심으로 맞춤형 통합지원 프로그램을 제공하는 것이 바람직하다는 제언을 제시하였다.