Journal of the Korea Society of Computer and Information (한국컴퓨터정보학회논문지)

Korean Society of Computer Information (한국컴퓨터정보학회)
권호 표지
DOI QR코드

DOI QR Code

A Study on Conversational AI Agent based on Continual Learning

  • Chae-Lim, Park (School of Computing, Gachon University) ;
  • So-Yeop, Yoo (School of Computing, Gachon University) ;
  • Ok-Ran, Jeong (School of Computing, Gachon University)
  • Received : 2022.12.07
  • Accepted : 2022.12.30
  • Published : 2023.01.31
Download PDF
⟨ Previous Next ⟩

Abstract

In this paper, we propose a conversational AI agent based on continual learning that can continuously learn and grow with new data over time. A continual learning-based conversational AI agent consists of three main components: Task manager, User attribute extraction, and Auto-growing knowledge graph. When a task manager finds new data during a conversation with a user, it creates a new task with previously learned knowledge. The user attribute extraction model extracts the user's characteristics from the new task, and the auto-growing knowledge graph continuously learns the new external knowledge. Unlike the existing conversational AI agents that learned based on a limited dataset, our proposed method enables conversations based on continuous user attribute learning and knowledge learning. A conversational AI agent with continual learning technology can respond personally as conversations with users accumulate. And it can respond to new knowledge continuously. This paper validate the possibility of our proposed method through experiments on performance changes in dialogue generation models over time.

본 논문에서는 시간의 흐름에 따라 새로운 데이터를 지속적으로 학습하고 성장할 수 있는 연속 학습 기반 대화형 AI 에이전트를 제안한다. 연속학습 기반 대화형 AI 에이전트는 태스크 관리자 (Task Manager), 사용자 속성 추출(User Attribute Extraction), 자동 확장 지식 그래프(Auto-growing Knowledge Graph), 크게 3가지 요소로 구성된다. 태스크 관리자는 사용자와의 대화에서 새로운 데이터를 발견하면 이전에 학습한 지식을 통해 새로운 태스크를 생성한다. 사용자 특성 추출 모델은 새로운 태스크에서 사용자의 특성을 추출하고, 자동 확장 지식 그래프는 새로운 외부 지식을 지속적으로 학습할 수 있도록 한다. 한정된 데이터셋을 기반으로 학습된 기존 대화형 AI 에이전트와 달리, 본 논문에서 제안하는 방법은 지속적인 사용자의 특성과 지식 학습을 기반으로 대화를 가능하게 한다. 연속학습 기술이 적용된 대화형 AI 에이전트는 사용자와의 대화가 축적될수록 개인 맞춤형 대응이 가능하며, 새로운 지식에도 대응이 가능하다. 본 논문에서는 시간에 따른 대화 생성 모델의 성능 변화 실험을 통해 제안하는 방법의 가능성을 검증한다.

Keywords

I. Introduction

사람은 기존 지식을 바탕으로 사람들과 상호작용을 통해 새로운 지식을 습득한다. 이러한 과정을 모방하여 기계가 지식을 습득할 수 있도록 하는 연구가 오랫동안 진행되어왔다. 대표적으로 질의응답 시스템을 포함한 대화형 AI 에이전트가 있다. 대화형 AI 에이전트는 사람과 사람의 대화와 같이 자연어를 통해 사용자와 상호 작용하는 개념을 기반으로 한다[1]. 대화형 AI 에이전트는 챗봇(Chatbot), 디지털 어시스턴트(Digital Assistant), 인터랙티브 에이전트(Interactive Agent) 등으로 다양하게 불린다. 메타(구페이스북)와 구글이 개발한 최근 사례들은 대화형 AI agent의 잠재력을 보여준다. 메타가 메신저 플랫폼을 출범한 후 한 해 동안 10만 개 이상의 봇이 등장했다. 또한, 구글은 사용자와 상호작용을 통해 자동으로 미용 예약을 하도록 함으로써 대화형 AI agent의 미래 잠재력을 입증하였다[2].

그러나 현재 대화형 AI 에이전트는 여전히 몇 가지 한계점이 존재한다. 첫째, 학습 데이터셋에 높은 의존성을 갖는다. 최근의 대화형 AI 모델은 대부분 딥러닝 기술을 기반으로 하고 있어 학습 데이터셋의 양과 품질에 영향을 받는다. 한정된 학습 데이터셋으로 한번 모델을 학습시키면, 이후 다시 직접 모델을 학습시키기 전까지 동일한 모델을 사용하기 때문에 모델이 성장할 수 없다. 결국 한정된 데이터셋으로 학습되어 성장하지 않는 대화형 AI 모델은 사용자에게 개인화된 대화를 제공할 수 없다.

둘째, 지식이 고정되어 있다. 지식은 멈추어 있는 것이 아니며 시간의 흐름, 사회적 분위기 등에 따라 끊임없이 새로운 지식이 발생한다. 특히 사람은 대화를 통해 다양한 지식을 습득하게 되는데 기존의 대화형 AI 모델이 지식 기반의 대화를 제공한다고 해도 한정된, 고정적인 지식을 제공하기 때문에 새로운 지식을 반영하지 못한다[3]. 신조어와 같은 새로운 지식이 발생하면 대화형 AI 역시 대응할 수 있어야 한다.

사람처럼 대화가 가능한 똑똑한 대화형 AI 에이전트를 위해서는 미리 구축된 지식과 모델에 제한되어서는 안 된다. 사용자와 상호작용하는 동안 지속적으로 학습하며 성장할 수 있어야 한다. 본 논문에서는 시간 흐름에 따라 새로운 지식을 감지하고 학습할 수 있는 연속학습 기반의 대화형 AI 에이전트를 위한 구성 요소를 제안한다. 우리는 두가지 연속 학습 능력인 (1) 대화를 통한 지식 습득으로 개인화 학습, (2) 지식 그래프를 활용한 새로운 지식 학습에 초점을 맞춘다. 이처럼 연속학습 기반의 대화형 AI 에이전트는 사용자에 대하여 지속적인 학습을 통해 사용자 정보 습득이 가능하다. 또한 실시간으로 변화하는 정보를 지속적으로 학습함으로써 자연스러운 대화를 가능하게 한다.

II. Related Work

1. Continual Learning

사람의 지식은 시간이 지남에 따라 더 많은 정보가 쌓여 풍부해진다. 하지만 인공 신경망의 경우 새로운 작업을 학습할 때 기존 작업을 잊어버리는 현상을 보인다. 이러한 현상을 치명적 망각(Catastrophic Forgetting)이라고 하며 연속학습은 치명적 망각 문제 해결에 집중한다[4]. 치명적 망각은 각각의 새로운 작업의 학습이 이전에 학습한 작업의 가중치를 변경할 가능성이 높아 이전 작업에 대한 모델 정확도가 저하되는 현상을 말한다. 연속학습은 순서에 따라서 작업 T={1,2,⋯,t} 를 점진적으로 학습한다. 각 작업은 학습해야 하는 세트로 구성된다.

연속학습은 접근하는 방식에 따라 다양한 분류 방법을 갖고 있다. Table 1은 논문별로 연속학습 방법을 분류한 것을 보여준다. 논문마다 조금씩 다른 기준으로 연속학습 방법을 분류하고, 동일한 방법임에도 이름을 다르게 정의한 경우도 있다. 우리는 여러 관련 연구의 분류 방법을 참고하여 크게 4가지 방법으로 분류 및 정의한다.

Table 1. Method classification by related work

CPTSCQ_2023_v28n1_27_t0001.png 이미지

Table 2는 우리가 새롭게 정의 및 분류한 연속학습의 방법과 그 방법을 기반으로 한 관련 연구를 보여준다. 기존 여러 연구의 분류 방법 및 정의를 참고하여 가장 뚜렷하게 분류되고 있는 4가지 방법을 분류하고 그에 대해 정의한다. 리허설 방법 (Rehearsal Methods), 정규화 방법(Regularization Methods), 아키텍처 방법(Architectures Methods), 그리고 2개 이상의 방법이 혼합되어 사용된 하이브리드 방법 (Hybrid Methods)으로 분류한다. 하이브리드 방법에 해당하는 연구들은 *,†,‡을 이용해 별도로 표기했다. ‘*’는 리허설 방법과 정규화 방법을 함께 적용한 연구들이고, ‘†’는 정규화 방법과 아키텍처 방법을 적용한 방법이다. 마지막으로 ‘‡’는 리허설, 정규화, 아키텍처 3개의 방법을 모두 적용한 연구이다.

Table 2. Applications of the proposed platform

CPTSCQ_2023_v28n1_27_t0002.png 이미지

1.1 Rehearsal Methods

리허설 방법은 원시 샘플을 과거 작업의 메모리로 저장하는 것을 말한다. 이러한 샘플은 망각을 완화하기 위해 새로운 작업을 학습하는 동안 재생된다[22]. [7]과 [8]에서는 이 방법을 메모리 접근법(Memory-based Method)이라 표현한다. 대표적인 예로 증분 클래스 학습을 위해 가장 잘 알려진 방법인 iCaRL[12] 모델이 있다. 이 모델은 이전 데이터를 샘플링하여 코어 세트를 구축한 후 활용한다. 코어 세트는 학습 과정에서 새로운 데이터와 함께 재생되는 것 뿐만 아니라 정규화 목적으로도 사용될 수 있다. GEM[23] 및 A-GEM[24]에서처럼 새로운 작업을 학습할 때 그레이디언트를 정규화하는 데 사용될 수 있다. 리허설 방법은 저장된 샘플의 하위 집합에 과적합 하기 쉽고 공동 훈련에 의해 제한되는 것처럼 보일 수 있지만, 제한된 최적화는 후진/전진 전송에 있어서 더 자유로운 대안 솔루션이다. 리허설 접근 방식의 단점은 훈련 샘플이 각 작업별로 보관되고 모델을 학습하는 동안 주기적으로 재생됨에 따라 모델의 컴퓨팅 및 메모리 요구 사항은 작업 수에 비례하여 증가한다는 것이다. 유사 리허설 방법은 리허설 방법의 하위 그룹이다. [5]와 [7]에서는 이 방법을 생성 재생 기반 방법(Generative Replay Methods)이라고 부른다. 이전 샘플이 없는 상황에서 유사 리허설은 이전 작업 샘플의 확률 분포를 이용하여 샘플을 생성한다. 이는 실제 데이터와 샘플 데이터를 학습함으로써 과거의 지식과 기술을 잊지 않도록 한다. 기존의 리허설 방법은 모델을 학습하는 동안 메모리가 작업 수에 비례하여 증가한다는 한계가 존재한다. 메모리 문제를 해결하기 위해 유사 리허설 방법[22]을 사용하는 것이 좋다. 대표적인 접근 방식에는 GAN[7] 모델 등이 있다. [6]에서는 리허설 방법과 유사 리허설 방법을 묶어서 리플레이 방법(Replay Methods)이라고 부른다.

1.2 Regularization-based Methods

연속학습 모델은 이전 기술을 잊어버릴 수 있기 때문에 새로운 문제에 너무 적합해서는 안 된다. 연속 학습에서의 정규화 접근법은 이전 지식의 기억을 유지하기 위해 손실 함수에 추가 정규화가 도입되어 새로운 데이터에 대해 학습할 때 이전 지식을 통합한다[23]. 정규화 방법은 데이터 중심 방법(Data-Focused Methods)과 사전 중심 방법(Prior-Focused Methods)으로 나눌 수 있다[24]. 데이터 중심 방법은 이전에 학습된 지식을 통합하기 위해 이전 모델에서 새로운 데이터 훈련 모델로 지식을 증류하는 것이다. 이는 하나의 모델(교사 모델)에서 다른 모델(학생 모델)로 지식을 전달하기 위해 증류 기술을 도입하였다. 교사 모델이 문제를 해결하는 것을 학습한 뒤, 학생 모델이 교사 모델과 기술을 공유하기를 원한다는 것이다. 그 후, 두 모델에게 동일한 입력을 넣고 모두 동일한 출력을 갖도록 한다. 증류는 학생 모델이 더 빨리 학습할 수 있도록 돕는 소프트 타겟을 생성하기 때문에 학생 모델을 재교육하는 것보다 더 효율적이다. 대표적으로 이전 모델 출력을 이전 작업에 대한 소프트 레이블로 사용하여 망각 및 지식 전달을 완화하기 위한 모델인 LwF[18]가 있다. 사전 초점을 맞춘 방법은 망각을 완화하기 위해 업데이트된 가중치를 학습할 때 이전에 사용된 모델 매개 변수에 대한 분포를 추정한다. 일반적으로 모든 신경망 매개변수는 독립적으로 가정된다. 이후 작업을 훈련하는 동안 중요한 매개 변수에 대한 변경 사항이 불이익을 받는다. EWC[5]가 이 접근 방식을 최초로 확립하였다. EWC는 가중치 매개변수에 제한을 가하는 손실함수를 사용한다. 즉, 이전 작업에 중요한 매개 변수의 학습 속도를 늦춘다.

1.3 Architectures methods

아키텍처 방법은 일반적으로 작업별로 다른 모델 매개 변수를 할당하여 이후 작업이 이전에 학습한 지식을 방해하지 않도록 한다. 일반적으로 이전 작업의 매개 변수는 고정 상태로 유지된다[25]. 아키텍처 방법은 네트워크 아키텍처를 동적으로 변경함으로써 다른 모델의 매개 변수를 서로 다른 작업에 할당한다. 이는 네트워크 아키텍처에 모듈식 변경을 적용하고 작업별 매개변수를 도입함으로써 치명적 망각 문제를 방지한다. [6] 와 [7]에서는 이 방법은 매개 변수 격리 기반 방법이라 부른다. 아키텍처는 학습방법에 많은 영향을 준다. CL에 대한 접근 방식 중 하나는 모델의 아키텍처를 동적으로 수정하여 이전의 지식을 방해하지 않고 새로운 것을 학습할 수 있도록 하는 것이다. 명시적 동적 아키텍처는 모델의 매개 변수 일부를 추가, 복제 또는 저장하는 방법을 말한다. 새로운 모델의 목표는 이전 모델에서 학습된 것을 사용하여 새로운 과제를 학습하는 것이다. 첫 번째 전략은 생성된 모든 신경망에 데이터를 입력하는 것이며 또 다른 전략은 새로운 작업을 위해 뉴런을 동적으로 추가하는 것이다. 대표적인 예로는 RCL[26]과 DAN[27] 등이 있다. 암묵적 아키텍처 수정은 아키텍처를 수정하지 않고 연속 학습을 위해 모델을 적응(adaptation)시키는 것이다. 일반적으로 전진 패스 경로를 변경하거나 일부 학습 장치를 비활성화함으로써 적응시키게 된다. 가중치를 동적으로 동결하는 방법을 암묵적 아키텍처로 분류한다. 모델의 아키텍처는 변하지 않기 때문에 암시적이지만 모델의 수행 능력은 많은 변화가 나타난다. 대표적인 예로 PackNet[28]과 HAT[29] 등이 있다. 이러한 방법은 명시적 아키텍처 방식과 양립할 수 없다.

1.4 Hybrid methods

대부분의 continual learning 접근 방식은 이중 아키텍처 전략을 쓰고 있다. 예를 들어, 리허설 접근법에서 모델 역할을 샘플을 저장하는 메모리에 의해 수행이 된다. 일부 정규화 접근법에서 모델은 중요한 하이퍼파라미터 업데이트 프로세스에 제한을 두는 피셔 행렬에 의해 수행된다. 대부분의 접근 방식은 치명적 망각 문제를 해결하기 위한 단일 전략에 의존하지 않는다. 접근 전략들을 결합하면 단일 전략에 비해 더 좋은 솔루션을 찾을 수 있다.

2. Conversational AI

챗봇이라고 불리는 Conversational AI 또는 Dialogue System은 주변에서 흔히 찾아볼 수 있다. 대화형 AI는 텍스트나 음성으로 대화할 때 자연어처리(Natural Language Processing)를 이용하여 인간의 언어를 이해하는 컴퓨터 프로그램이다. 대화형 AI은 지식 도메인, 활용 목적, 구축 아키텍처 등 다양한 매개 변수를 사용하여 분류할 수 있다.

지식 도메인에 기반을 둔 분류는 개방형 도메인과 폐쇄형 도메인으로 나눌 수 있다[30]. 개방형 도메인 대화형 AI는 모든 주제에 대해 채팅할 수 있다. 어떤 주제든 대화할 수 있기 때문에 사용자가 이러한 대화형 AI을 더 매력적으로 생각할 수 있다. 하지만 특정 주제에 대해 정확하고 많은 정보를 제공하지 못한다. 반면, 폐쇄형 도메인 대화형 AI은 특정 주제에 대해서만 채팅할 수 있다. 폐쇄형 도메인 대화형 AI는 특정 주제에 대해 더 정확할 수 있다. 또한 사용자의 질문에 대한 답을 찾기 위해 대량의 데이터를 검색할 필요가 없기에 더 효율적이다. 하지만 이는 사용자와의 대화에 있어서 흥미가 떨어질 수 있다는 점과 유연성이 떨어진다는 단점이 있다.

목적에 기반을 둔 분류는 대화형 AI가 달성하고자 하는 주요 목표를 고려한다[30]. 소셜 대화형 AI의 목적은 주어진 문장에 대해 정확하게 반응하는 것이다. 이는 사람처럼 사용자와 비정형 대화를 하도록 설계되었다. 이러한 시스템은 오락적인 기능으로만 사용하는 것이 아닌, 심리 치료를 위한 대화형 AI 등 여러 목적으로 사용되고 있다. 작업 지향 대화형 AI는 미용실을 예약하거나 누군가를 돕는 것과 같은 특정한 작업을 수행한다. 작업 지향 대화형 AI의 아키텍처는 4가지의 단계로 구성된다[31]. 첫 번째 NLU(Natural Language Understanding)단계에서는 작업의 도메인을 분류하고 사용자의 의도를 파악한다. DST(Dialogue State Tracking) 단계에서는 대화 상태를 추적하여 지금까지의 대화에서 필요한 모든 정보를 캡처한다. DP(Dialogue Policy Learning) 단계에서는 시스템이 다음에 취해야 할 행동, 즉 어떤 답변을 생성할지 결정한다. 마지막으로 NLG(Natural Language Generation) 단계에서는 시스템 작업을 자연어 응답으로 변환한다.

구축 아키텍처에 기반을 둔 분류는 입력 처리 및 응답 생성 방법을 고려한다[32]. 규칙 기반 모델은 대부분의 대화형 AI가 구축되어 온 아키텍처 유형이다. 이는 새로운 답변을 작성하지 않고 입력 텍스트의 어휘 형식을 인식하는 것에 기초한다. 미리 구축된 고정 규칙 집합을 기반으로 시스템 응답을 선택한다. 규칙 기반 모델은 간단한 작업을 위한 구축 및 수행이 용이하기 때문에 현재 가장 인기가 많다. 하지만 복잡한 작업을 수행하기 위해서 많은 규칙들을 작성해야 하므로 시간이 많이 소요된다. 대표적인 모델로 ELIZA[33]과 PARRY[34]가 있다. 규칙 기반 모델과는 달리 데이터 기반 모델은 기존의 사람과 사람 또는 대화형 AI과 사람의 대화를 사용하여 발화를 생성한다. 기존 대화 데이터를 활용하기 위해 검색과 머신러닝 등을 사용할 수 있다. 검색 기반 모델은 API를 사용하여 리소스를 분석하므로 더 많은 유연성을 제공한다[30].

현재 대다수의 연구는 연속적 대화보다는 단발성 대화에 초점을 두고 있다. 대화형 AI가 인간과 같이 매끄러운 대화가 가능하게 하기 위해서는 대화 속에 존재하는 상황과 요소들을 이해하고 대응할 수 있어야 한다. 이를 위해 연속학습을 기반으로 한 대화형 AI가 연구되고 있다. 연속학습을 기반으로 한 대화형 AI는 모델이 배포된 이후 사용자와 상호 작용을 하는 동안에도 지속해 학습할 수 있어야 한다. 대표적인 시스템으로는 LINC[35]와 SOLA[36] 등이 있다.

LINC는 다중 사용자 환경에서 현재 사용자 및 다른 사용자와 상호작용을 통해 대화형 AI가 효과적으로 새로운 지식을 학습하는 것을 목표로 한다. 새로운 지식을 얻는 방법으로 네 가지가 제시된다. 첫 번째는 사용자의 발언에서 직접 데이터나 정보를 추출하는 것이다. 이러한 정보는 기존 지식Knowledge Base)을 활용하여 추론된다. 두 번째는 현재 사용자에게 묻는 방법이다. 사용자의 말을 이해하기 힘들거나 대답할 수 없을 때, 사용자에게 질문하여 새로운 학습 과제를 구성한다. 다음으로 현재 사용자가 아닌 다른 사용자에게 묻는 방법이 있으며 마지막으로는 사용자의 행동을 관찰하는 것이다. 이는 사용자의 명령대로 대화형 AI가 동작을 실행하지 못하였을 때, 사용자의 다음 행동을 관찰할 수 있다. 대화형 AI는 사용자가 수행한 작업의 순서를 기록하고 그것대로 정보를 저장할 수 있다.

SOLA는 현실 세계에서 스스로 학습할 수 있는 자주적인 AI 에이전트를 목표로 한다. 이는 대화 중 기존 지식에 없는 정보를 발견하면 시스템이 학습해야 할 새로운 과제를 생성한다. 또한 인간과 상호작용을 통해 필요한 데이터를 얻는다. SOLA의 학습 단계를 보자면, 가장 먼저 새로운 것을 탐지한다. 기존 지식에 존재하지 않는 클래스의 데이터 인스턴스를 감지한다. 그 후, 사용자와 대화를 통해 새로운 작업과 클래스 라벨을 생성한다. 마지막으로 새롭게 만든 과제들을 점진적으로 학습을 하게 된다.

하지만 이와 같은 시스템의 경우에는 새로운 정보를 사용자와의 대화를 통해서만 얻을 수 있다. 이로 인해 대화 중, 처음 등장하는 단어에 대해서는 전혀 반응할 수 없으며 사용자에게 확인 과정이 필수라는 한계가 있다.

III. Conversation AI agent based on Continual Learning

1. Motivating Example

기존 대화형 AI 에이전트는 작업 지향 모델로 특정 작업 수행에 특출 되었다. 하지만 사용자 감정의 이해나 새로운 지식의 습득에 있어서 한계가 있다. 반면, 연속학습 기반의 대화형 AI 에이전트는 지속적인 지식의 습득뿐만 아니라 사용자를 위한 개인화 학습이 가능하다. 이를 통해 일상을 함께하며 맞춤형 서비스들을 제공하는 대화형 AI 에이전트를 목표로 한다.

Figure 1은 본 연구를 통해 해결하고자 하는 예시를 보여준다. 최근 AI 에이전트에 대한 연구가 많이 진행되고 다양한 기능을 수행할 수 있도록 발전했으나 여전히 한계를 갖고 있다. 그림의 예시처럼 “엄마에게 전화 걸어줘”라는 발화를 통해 전화를 걸거나, 메시지를 보내고 알람이나 일정 등록 등 다양한 기능들의 수행이 가능하다. 하지만 “오늘 너무 힘들다”와 같이 감정적인 대화나 의견을 묻는 대화를 시도하면 답변을 이어 나가지 못하거나 사전에 정해져 있는 답변 중 랜덤하게 선택된 답변을 제공하고 있다. 또한 “‘천원짜리 변호사’ 어때?”처럼 새로운 지식에 대한 질문을 하게 되면 잘 모르겠다는 답변을 제시하거나 검색 서비스의 검색 결과를 보여주는 정도에 그친다.

CPTSCQ_2023_v28n1_27_f0001.png 이미지

Fig. 1. Motivating example of the conversational AI agent based on continual learning

본 연구에서는 기존의 AI 에이전트가 사용자의 개인적인 특성을 학습하지 못하고 새로운 지식에 대해 대응하지 못하는 한계점을 해결하기 위해 연속학습 기술을 기반으로 하는 대화형 AI 에이전트를 제안한다. 사용자와 대화로 얻어진 새로운 데이터는 태스크 관리자를 통해 사용자 맞춤 정보를 저장하고 지속적으로 학습하여 사용자와 자연스럽고 매력 있는 대화를 가능하게 한다. Figure 1과 같이, 대화형 AI 에이전트는 사용자의 “오늘 너무 힘들다”와 같은 감정 표현을 이해하고 사용자의 취향에 맞춰 답변을 제시한다. 또한 ‘천원짜리 변호사’와 같이 실시간으로 변화하는 정보를 지속적으로 학습하는 자동 확장 지식 그래프를 통해 사용자의 요구를 수행할 수 있다.

2. Preliminaries

2.1 Knowledge graph

사람처럼 언어를 이해하는 것은 인공지능의 오랜 연구 목표였다. 이 목표를 실현하기 위해서는 인간의 지식에 대한 데이터가 컴퓨터의 언어로 표현되어야 한다. 이러한 형태 중 하나가 지식 그래프이다. 지식 그래프는 자연어를 이해하고 추론할 수 있기 때문에 사람의 요구를 충족시키기에 효과적이다.

지식 그래프는 YAGO[37], DBpedia[38], WordNet[39], Freebase[40] 등과 같은 많은 프로젝트에서 사용되어 왔다[41]. YAGO의 정보는 Wikipedia, WordNet 및GeoNames에서 추출된다. 10개의 다른 언어로 된 위키백과에서 실체(Entities)와 사실(Facts)을 추출하고 결합한다. YAGO는 왓슨 인공지능 시스템에 사용되어 왔다. DBpedia는 위키백과 프로젝트에서 만들어진 정보로부터 구조화된 내용을 추출하는 것을 목표로 하는 교차 언어(Cross-Language) 프로젝트이다. DBpedia는 추출된 정보를 나타내기 위해 Resource Description Framework(RDF)를 사용한다. DBpedia는 IBM Watson's Jeopardy에서 지식 출처 중 하나로 사용되었다. WordNet에서 명사, 동사, 형용사, 부사는 각각 별개의 개념을 나타내는 인지적 동의어(synsets) 집합으로 분류된다. 워드넷은 정보 시스템에서 정보 검색, 텍스트 요약, 텍스트 분류 등 다양한 목적으로 사용되어 왔다. Freebase는 위키백과, NNDB, 패션모델 디렉터리(Fashion Model Directory), 뮤직브레인즈(MusicBrainz) 등의 소스로부터 수집된 데이터와 사용자가 제공한 데이터가 포함되어 있다. 구글의 지식 그래프는 부분적으로 프리베이스에 의해 작동된다.

대부분의 지식 그래프는 머신러닝 기법을 사용하여 새로운 데이터를 추가하고 새로운 관계를 연결한다. 즉, 새로운 데이터셋이 주어지면 지식 그래프를 확장할 수 있다. 이러한 지식 그래프를 다양한 인공지능 모델에 적용하면 컴퓨터가 사람의 상식을 쉽게 이해할 수 있기 때문에 대화형 AI 모델의 성능을 향상시키는 데 도움이 된다. 그러나 기존 지식 그래프에는 크게 두 가지 한계가 있다. 첫째, 영어나 프랑스어 같은 주요 언어를 제외한 언어는 데이터 수가 충분하지 않아 사용이 어렵다. 둘째, 지식 그래프의 대다수는 고정된 데이터를 일정 기간에 걸쳐 활용하기 때문에 새로운 단어에 대응하기가 어렵다[42].

2.2 Auto-growing Knowledge Graph

기존 지식 그래프는 제한된 데이터를 활용해 그래프를 구성하기 때문에 그래프를 구성한 뒤 새로 생성되거나 새로운 의미를 갖는 단어를 다룰 수 없다. 반면 자동 확장 지식 그래프(Auto-growing Knowledge Graph)는 실시간으로 지식을 추출하고 지식 그래프를 확대하기 때문에 새로운 단어를 다룰 수 있다는 장점이 있다[43]. 자동 확장 지식 그래프의 대표적인 예로는 PolarisX[42]가 있다. 이는 기존 지식 그래프의 한계를 보완하기 위해 소셜 미디어를 실시간으로 크롤링한다. 크롤링한 데이터에 파인튜닝된 BERT[44] 모델을 사용하여 새로운 관계를 추출하고 지식 그래프에 통합한다. PolarisX는 소셜 크롤러(Social Crawler), 의미 분석기(Semantic Analyzer), 지식 마이너(Knowledge Miner) 세 가지로 구성된다.

소셜 크롤러에서는 데이터셋을 확장하기 위해 뉴스 데이터와 소셜 미디어 데이터(트위터 데이터)를 수집한다. 뉴스와 트위터 데이터에서 키워드를 추출하기 위해 가장 인기 있는 주제 모델링 알고리듬인 LDA[45]를 사용하여 주제를 추출한다. 의미 분석기에서는 자동 확장 지식 그래프 구성을 위한 새로운 관계를 추출한다. 크롤링 된 트위터와 뉴스 데이터의 문장과 모델을 통해 예측된 키워드를 연관시켜 입력한다. 그러면 우리는 두 키워드 사이의 관계를 추출할 수 있다. 지식 마이너에서는 문자열 매칭을 사용하여 새로 발견된 관계를 기존 지식 그래프에 연결한다. 지식 그래프를 확장하는 방법의 하나는 일치 노드가 있는 상태에서 노드에 그래프를 연결하는 것이다. 또 다른 방법은 일치하는 노드가 없을 때 새 노드를 추가하는 것이다. 이러한 과정을 통해 PolarisX는 뉴스 사이트와 소셜 미디어를 크롤링해 신조어를 수집하고, 새로운 의미 서브 그래프를 구축해 기존 지식 그래프에 추가하는 방식으로 상식 지식 기반 확장을 자동화한다. 자동 확장 그래프를 통해 컴퓨터는 사용자의 의도를 더 잘 이해하며 소통할 수 있다[42].

2.3 Proposed System

본 논문에서 우리는 새로운 대화 데이터에 대해 지속적으로 학습이 가능한 연속학습 기반 대화형 AI 에이전트를 제안한다. 시간의 흐름에 따라 새롭게 축적되는 대화 데이터를 기존의 정보 손실 없이 연속적으로 학습함으로써 사용자 특성을 파악하여 개인화된 대화가 가능하고 새로운 지식에 대한 대응이 가능하도록 한다.

Figure 2는 제안하는 연속학습 기반의 대화형 AI 에이전트의 프레임워크 구조를 보여준다. 연속학습 기반 대화형 AI 에이전트는 4가지 주요 구성 요소로 이루어져 있다. 연속학습 기반 대화형 AI 에이전트는 사용자와 대화를 통해 얻은 정보들을 지속적으로 학습을 한다. 학습된 과제를 통해 사용자의 속성을 추출하여 지식 그래프에 저장한다. 또한 자동 확장 지식 그래프를 사용하여 외부 지식을 지속적으로 업데이트할 수 있다. 하늘색 선은 지속 학습이 필요한 부분을 나타낸다.

CPTSCQ_2023_v28n1_27_f0002.png 이미지

Fig. 2. Framework of conversation AI Agent based on Continual Learning

태스크 관리자(Task Manger) 즉 태스크 관리 모듈은 대화 데이터 D1, D2, ..., DN를 통해 일련의 N개의 태스크인 T1, T2, ..., TN을 학습한다. 대화형 AI 모듈의 대화 상태 추적 단계(Dialouge State Tracking)에서 사용자 발화에 알 수 없는 사실을 발견하였을 때 새로운 학습 태스크 TN+1를 즉시 생성한다. 새로운 학습 태스크 TN+1를 학습하기 위해서는 데이터 DN+1가 필요하다. 태스크 관리자를 통해 DN+1을 획득할 수 있다. 태스크 관리자는 훈련데이터 DN+1를 사용하여 이전 N개의 태스크에서 학습한 지식을 전달하여 TN+1을 학습할 수 있다. 이 과정을 통해 모든 작업이 단일 신경망에 학습이 되며 치명적 망각 문제도 해결될 수 있다.

사용자 속성 추출 (User Attribute Extraction) 단계는 대화를 통해 새롭게 얻은 대화 데이터 DN+1를 사용하여 데이터를 점진적으로 학습한다. 저장되는 데이터로는 사용자의 프로필, 감정, 대화 방식 등이 있으며, 이는 대화형 AI 에이전트가 개인화 된 서비스 제공을 가능하게 한다. 또한 감정 기반 대화를 가능하게 한다. 이렇게 얻어진 지식들은 지식그래프로 저장된다.

자동 확장 지식 그래프(Auto-growing Knowledge Graph)는 지식 학습자(Knowledge Learner), 지식 마이너(Knowledge Miner), 확장자(Expansion)의 순서로 구성된다. 지식 학습자는 대화에서 알 수 없던 지식을 외부 데이터를 실시간으로 크롤링하여 데이터를 수집한다. 획득한 지식 또는 데이터의 의미를 포착하여 획득한 지식이 에이전트의 현재 및 미래 학습에 함께 사용될 수 있도록 한다. 지식 마이너 단계에서는 자동 확장 지식 그래프 구성을 위한 새로운 관계를 추출한다. 마지막으로 확장자는 기존 사실로부터 새로운 사실을 추론하는 역할과 새로 발견된 관계를 기존 지식 그래프에 연결한다. 이러한 과정을 통해 사용자와 대화 중 모르는 사실이 등장해도 자연스러운 대처가 가능해진다. 이는 지식 그래프와 상호보완적으로 연결된다.

IV. Experiment

우리는 제안하는 연속 학습 기반 대화형 AI 에이전트에 대한 사전 실험을 통해 가능성을 검증하고자 한다. 본 장에서 실험에 사용한 데이터셋과 모델, 지표 등을 설명하고 실험 결과를 정리한다.

1. Dataset

대화형 AI 에이전트에 대한 실험으로 대화 데이터셋 중 하나인 DSTC9[46]의 데이터셋을 사용한다. DSTC는 대화시스템 기술 챌린지(Dialog System Technology Challenge)로 2013년도부터 시작된 대화 시스템 관련 대회이다. 이 대회에서는 매회 서로 다른 태스크(task)와 데이터셋이 제안되고 해당 태스크를 수행하기 위한 모델들이 제안 및 구현된다. 그중 9번째 대회인 DSTC9의 첫 번째 트랙은 “Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access”[47]로 대화에서 사용자가 API나 데이터베이스 범위를 벗어나지만, 외부 지식 소스에서 확인할 수 있는 요청이 있을 때 대화의 흐름이 중단되지 않도록 하는 태스크 지향 대화(task-oriented conversation)를 가능하게 하는 것을 목표로 한다.

DSTC9 첫 번째 트랙의 데이터셋은 MultiWOZ 2.1[48]을 기반으로 증강된 버전으로 총 22,834개의 발화 쌍이 MultiWOZ 데이터베이스의 도메인에 대한 FAQ 웹페이지에서 2,900개의 지식 후보를 기반으로 수집되었다. Table 3은 우리가 실험에 사용한 DSTC9 첫 번째 트랙 데이터셋 중 MultiWOZ에 대한 데이터셋의 통계를 보여준다.

Table 3. Statistics of Track 1 at DSTC9 dataset

CPTSCQ_2023_v28n1_27_t0003.png 이미지

Table 4는 실험에 적용하기 위해 5개의 타임스탬프로 나뉜 데이터셋의 통계를 보여준다. 우리가 제안하는 대화형 AI 에이전트의 가장 큰 특징은 연속 학습을 기반으로 하는 것이다. 이를 실험하기 위해서는 시간 별로 데이터셋의 변화가 있어야 하므로 사전 학습에서는 DSTC9 첫 번째 트랙 데이터셋의 대화들을 랜덤하게 나누어 시간 별로 데이터셋이 추가된다고 가정하여 실험을 진행한다. 총 5개의 타임스탬프로 시간이 변화한다고 가정하기 위해 train, valid, test 데이터셋을 시간마다 전체 데이터의 5분의 1씩 증가하도록 데이터를 나누어 실험에 활용한다.

Table 4. Statistics of the dataset in 5 timestamps

CPTSCQ_2023_v28n1_27_t0004.png 이미지

2. Experiment Setting and Metrics

연속 학습 기반 대화형 AI 에이전트의 가능성을 검증하기 위해 데이터셋을 5개로 나누어 시간의 흐름에 따라 데이터셋이 증가하는 상황을 설정하고, 대화형 AI 에이전트의 핵심이 되는 대화 생성 모델은 Microsoft에서 공개한 GODEL[49] 모델을 활용한다. GODEL은 2019년에 발표한 DialoGPT[50] 모델의 개선된 대화형 언어 모델이다. 이는 대화 중 외부 정보가 필요한 작업에 대해 더 잘 지원하도록 설계되었으며 잡담뿐만 아니라 작업 지향 대화에도 적용할 수 있다. GODEL은 트랜스포머 기반 인코더-디코더 모델을 사용하여 사전 훈련 및 미세 조정을 수행한다.

실험 환경은 다음과 같다. CPU는 AMD Ryzen Threadripper 1950X 16-Core Processor 모델이고, GPU는 NVIDIA GeForce RTX 2080 Super 모델로 8GB 용량의 메모리를 갖고 있다. 실험 환경에 맞춰 대화 생성 모델인 GODEL은 Huggingface에서 제공하는 godel-base-v1 모델을 사용하여 학습한다. PyTorch를 기반으로 대화 생성 모델을 구현하고, 모델 학습에 사용된 파라미터는 다음과 같다. 배치 사이즈(batch size)는 4, 문장의 최대 길이 (max sequence length)는 128로 설정하고, 학습의 에폭 (train epoch)은 5번으로, 학습률(learning rate)은 5e-5로 설정한다. 설정한 파라미터들은 실험 환경에서 여러 실험을 통해 도출한 최적화 된 값들이다.

실험 결과를 검증하기 위해 대화 생성 모델에서 주로 사용되는 지표인 ROUGE[51]와 BLEU[52]를 사용한다. ROUGE는 요약 평가에 일반적으로 사용되는 방법이며 (1)의 식으로 표현된다. ROUGE-N은 n-gram에 기반을 두어 단어의 개수를 세며 분자로 토큰의 개수를 사용하는 반면, ROUGE-L은 분자로 LSC(Longest Common Subsequence)의 길이를 사용한다. BLEU는 ROUGE와 마찬가지로 카운트 기반 방식을 사용하며 (2)의 식으로 표현한다. 측정 기준은 n-gram에 기반하며 순서쌍들이 얼마나 겹치는지 측정한다.

\(\begin{aligned}ROUGE-N=\frac{\sum_{S \in\{\text { ReferenceSummaries }\} \text { gram }, \notin S} \operatorname{Count}_{\text {match }}\left(\text { gram }_{n}\right)}{\sum_{S \in\{\text { Reference Summaries }\} \text { gram }, \notin S} \operatorname{Count}\left(\text { gram }_{n}\right)}\end{aligned}\)       (1)

\(\begin{aligned}B L E U=\frac{\sum_{C \in\{\text { Candidates }\}_{n}-g_{\text {gram } \epsilon C}} \operatorname{Count}_{\text {clip }}(n-\text { gram })}{\sum_{C \in\{\text { Candidates }\}} \sum_{n-\text { gram }^{\prime} \in C} \operatorname{Count}\left(n-\text { gram }^{\prime}\right)}\end{aligned}\)       (2)

3. Results

우리가 제안하는 연속 학습 기반 대화형 AI 에이전트의 가능성 검증을 위해 DSTC9의 첫 번째 트랙 데이터셋을 실험 데이터셋으로 사용하고, 대화 생성 모델로는 Microsoft의 GODEL을 사용한다. 가능성 검증을 위해 중요한 목적 중 하나는 시간의 흐름에 따라 데이터가 늘어날 때, 제안하는 방법이 지속적으로 학습을 수행하고 이전의 모델보다 좋은 성능을 보일 수 있는가이다. 이를 위해 우리는 검증에 사용되는 DSTC9 첫 번째 트랙 데이터셋을 5번의 타임스탬프마다 20%씩 데이터가 증가한다고 가정하고 타임스탬프별 학습된 대화 생성 모델의 성능을 비교 실험한다.

Figure 3는 5개의 타임스탬프마다 학습된 대화 생성 모델의 성능 평가 결과를 보여준다. 성능 평가의 기준으로는 ROUGE-1, ROUGE-2, ROUGE-L, 그리고 BLEU 점수가 사용된다. X축은 5개의 각 타임스탬프를 나타내고, Y축은 점수를 나타내며, 각 타임스탬프에 해당하는 점수 결과는 그래프 하단의 표로 정리되어 있다. 타임스탬프 1과 타임 스탬프 2의 결과처럼 시간이 지나 데이터셋이 축적된다고 반드시 좋은 결과를 보이는 것이 아니라, 타임스탬프마다 추가적으로 나타나는 데이터셋의 경향에 따라 다소 성능이 하락하는 경우도 존재한다. 하지만 전반적으로 우리가 제안하는 방법을 적용했을 때 시간이 지나갈수록 대화 생성 모델의 성능이 향상되고 있으며, 타임스탬프 5에서 가장 좋은 결과를 보여주는 것을 알 수 있다.

CPTSCQ_2023_v28n1_27_f0003.png 이미지

Fig. 3. Results of the response generation model on each timestamp

V. Conclusion

인공지능 기술의 급속한 발전에 따라 대화형 AI 기술에 대한 연구도 활발히 진행되고 있다. 대화형 AI 에이전트는 자연스러운 대화 뿐만 아니라 사용자에 따른 개인화를 목표로 한다. 이를 위해서 모델이 배포된 이후, 사용자와 대화를 하는 중에도 지식을 확장 시켜야 하며 사용자마다 속성을 저장해야 한다. 본 논문에서는 (1) 개인화된 서비스 제공을 위한 사용자 속성 추출 모듈과 (2) 지속적인 지식 학습을 도와주는 자동 확장 지식 그래프에 연속학습을 적용시킨 프레임워크를 제안한다. 이는 대화를 통해서만 지식을 추출할 수 있는 기존 연구와는 달리, 외부 데이터를 사용함으로써 사용자의 의도에 부합하는 결과를 얻을 수 있을 것으로 기대된다. 본 논문에서는 새로운 데이터가 순차적으로 늘어날 때 모델이 지속적인 학습을 통해 더 좋은 성능을 보임을 실험을 통해 검증하였다. 대화 생성 모델에서 사용되는 지표를 이용하여 대화형 AI 에이전트의 활용 가능성을 확인하였다. 또한 데이터셋이 늘어날수록 치명적 망각 현상으로 인해 오히려 성능이 떨어지는 경우와 반대로, 본 실험의 모델은 최종적으로 초기 모델보다 성능이 향상된 것을 확인할 수 있다.

연속학습 기반의 대화형 AI 에이전트는 한정된 데이터 셋으로 학습하는 기존 모델과 달리 실제 사용자와 대화를 통해 지속적으로 학습한다. 이러한 특성상 모델이 끊임없이 성장할 수 있다는 장점이 있지만, 훈련 데이터의 품질을 보장할 수 없다는 단점이 존재한다. 우리는 보다 완벽한 대화형 AI 에이전트를 위해 사용자 발화에 대한 신뢰성 검증을 스스로 할 수 있는 시스템에 대한 연구를 향후에 진행할 예정이다. 또한 교육, 헬스케어, 환경, 교통, 금융 등 특정 도메인 데이터를 적용하여 활용 가능성을 검증해 나갈 것이다.

ACKNOWLEDGEMENT

This research was supported by the Basic Science Research Program through the NRF(National Research Foundation of Korea), funded by the MSIT (Ministry of Science and ICT), (No. 2022R1H1A20925671112982076870101).

References

  1. R. Dale, "The return of the chatbots," Natural Language Engineering, vol. 22, no. 5, pp. 811-817, Sep 2016, DOI: 10.1017/s1351324916000243.
  2. S. Diederich, A. B. Brendel, S. Morana, and L. Kolbe, "On the Design of and Interaction with Conversational Agents: An Organizing and Assessing Review of Human-Computer Interaction Research," Journal of the Association for Information Systems, vol. 23, no. 1, pp. 96-138, Jan 2022, DOI: 10.17705/1jais.00724.
  3. S. Mazumder, B. Liu, S. Wang, and N. Z. Ma, "Lifelong and Interactive Learning of Factual Knowledge in Dialogues", 20th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 21-31, KTH Royal Inst Technol, Stockholm, SWEDEN, Sep 2019.
  4. A. Chaudhry, A. Gordo, P. Dokania, P. Torr, D. Lopez-Paz, and I. Assoc Advancement Artificial, "Using Hindsight to Anchor Past Knowledge in Continual Learning", 35th AAAI Conference on Artificial Intelligence / 33rd Conference on Innovative Applications of Artificial Intelligence / 11th Symposium on Educational Advances in Artificial Intelligence, pp. 6993-7001, Electr Network, Feb 2021.
  5. T. Lesort, V. Lomonaco, A. Stoian, D. Maltoni, D. Filliat, and N. Diaz-Rodriguez, "Continual learning for robotics: Definition, framework, learning strategies, opportunities and challenges," Information Fusion, vol. 58, pp. 52-68, Jun 2020, DOI: 10.1016/j.inffus.2019.12.004.
  6. M. De Lange, R. Aljundi, M. Masana, S. Parisot, X. Jia, A. Leonardis, G. Slabaugh, and T. Tuytelaars, "A Continual Learning Survey: Defying Forgetting in Classification Tasks," Ieee Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 7, pp. 3366-3385, Jul 2022, DOI: 10.1109/tpami.2021.3057446.
  7. H. Qu, H. Rahmani, L. Xu, B. Williams, and J. Liu, "Recent advances of continual learning in computer vision: An overview," arXiv preprint arXiv:2109.11369, Sep 2021, DOI: 10.48550/arXiv.2109.11369.
  8. M. Biesialska, K. Biesialska, and M. R. Costa-Jussa, "Continual lifelong learning in natural language processing: A survey," arXiv preprint arXiv:2012.09823, Dec 2020, DOI: 10.18653/v1/2020.coling-main.574.
  9. H. Shin, J. K. Lee, J. Kim, and J. Kim, "Continual Learning with Deep Generative Replay", 31st Annual Conference on Neural Information Processing Systems (NIPS), Long Beach, CA, Dec 2017.
  10. C. S. Wu, L. Herranz, X. L. Liu, Y. X. Wang, J. van de Weijer, and B. Raducanu, "Memory Replay GANs: learning to generate images from new categories without forgetting", 32nd Conference on Neural Information Processing Systems (NIPS), Montreal, CANADA, Dec 2018.
  11. M. Riemer, I. Cases, R. Ajemian, M. Liu, I. Rish, Y. Tu, and G. Tesauro, "Learning to learn without forgetting by maximizing transfer and minimizing interference," arXiv preprint arXiv:1810.11910, Oct 2018, DOI: 10.48550/arXiv.1810.11910.
  12. S. A. Rebuffi, A. Kolesnikov, G. Sperl, C. H. Lampert, and Ieee, "iCaRL: Incremental Classifier and Representation Learning", 30th IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 5533-5542, Honolulu, HI, Jul 2017.
  13. A. Rios, and L. Itti, "Closed-Loop Memory GAN for Continual Learning", 28th International Joint Conference on Artificial Intelligence, pp. 3332-3338, Macao, PEOPLES R CHINA, Aug 2019.
  14. C. V. Nguyen, Y. Li, T. D. Bui, and R. E. Turner, "Variational continual learning," ICLR 2018, Oct 2017, DOI: 10.48550/arXiv.1710.10628.
  15. J. Kirkpatricka, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A. A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, and R. Hadsell, "Overcoming catastrophic forgetting in neural networks," Proceedings of the National Academy of Sciences of the United States of America, vol. 114, no. 13, pp. 3521-3526, Mar 2017, DOI: 10.1073/pnas.1611835114.
  16. F. Zenke, B. Poole, and S. Ganguli, "Continual Learning Through Synaptic Intelligence", 34th International Conference on Machine Learning, Sydney, AUSTRALIA, Aug 2017.
  17. D. Maltoni, and V. Lomonaco, "Continuous learning in single-incremental-task scenarios," Neural Networks, vol. 116, pp. 56-73, Aug 2019, DOI: 10.1016/j.neunet.2019.03.010.
  18. Z. Z. Li, and D. Hoiem, "Learning Without Forgetting", 14th European Conference on Computer Vision (ECCV), pp. 614-629, Amsterdam, NETHERLANDS, Oct 2016.
  19. A. A. Rusu, N. C. Rabinowitz, G. Desjardins, H. Soyer, J. Kirkpatrick, K. Kavukcuoglu, R. Pascanu, and R. Hadsell, "Progressive neural networks," arXiv preprint arXiv:1606.04671, Jun 2016, DOI: 10.48550/arXiv.1606.04671.
  20. R. Kemker, and C. Kanan, "Fearnet: Brain-inspired model for incremental learning," ICLR 2018, Nov 2017, DOI: 10.48550/arXiv.1711.10563.
  21. V. Lomonaco, and D. Maltoni, "CORe50: a New Dataset and Benchmark for Continuous Object Recognition," Journal, vol. 78, pp. 17-26, May 2017.
  22. A. Chaudhry, M. Rohrbach, M. Elhoseiny, T. Ajanthan, P. K. Dokania, P. H. Torr, and M. Ranzato, "Continual learning with tiny episodic memories," Journal, Feb 2019.
  23. D. Lopez-Paz, and M. Ranzato, "Gradient Episodic Memory for Continual Learning", 31st Annual Conference on Neural Information Processing Systems (NIPS), Long Beach, CA, Dec 2017.
  24. A. Chaudhry, M. A. Ranzato, M. Rohrbach, and M. Elhoseiny, "Efficient lifelong learning with a-gem," ICLR 2019, Dec 2018, DOI: 10.48550/arXiv.1812.00420.
  25. M. Mancini, E. Ricci, B. Caputo, and S. R. Bulo, "Adding New Tasks to a Single Network with Weight Transformations Using Binary Masks", 15th European Conference on Computer Vision (ECCV), pp. 180-189, Munich, GERMANY, Sep 2019.
  26. J. Xu, and Z. X. Zhu, "Reinforced Continual Learning", 32nd Conference on Neural Information Processing Systems (NIPS), Montreal, CANADA, Dec 2018.
  27. A. Rosenfeld, and J. K. Tsotsos, "Incremental Learning Through Deep Adaptation," Ieee Transactions on Pattern Analysis and Machine Intelligence, vol. 42, no. 3, pp. 651-663, Mar 2020, DOI: 10.1109/tpami.2018.2884462.
  28. A. Mallya, S. Lazebnik, and Ieee, "PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning", 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 7765-7773, Salt Lake City, UT, Jun 2018.
  29. J. Serra, D. Suris, M. Miron, and A. Karatzoglou, "Overcoming Catastrophic Forgetting with Hard Attention to the Task", 35th International Conference on Machine Learning (ICML), Stockholm, SWEDEN, Jul 2018.
  30. E. Adamopoulou, and L. Moussiades, "An overview of chatbot technology," Journal, pp. 373-383, May 2020.
  31. R. Takanobu, Q. Zhu, J. Li, B. Peng, J. Gao, and M. Huang, "Is your goal-oriented dialog model performing really well? empirical analysis of system-wise evaluation," Journal, May 2020, DOI: 10.48550/arXiv.2005.07362.
  32. M. Mnasri, "Recent advances in conversational NLP: Towards the standardization of Chatbot building," arXiv preprint arXiv:1903.09025, March 2019, DOI: 10.48550/arXiv.1903.09025.
  33. J. Weizenbaum, "ELIZA-a computer program for the study of natural language communication between man and machine," Communications of the ACM, vol. 9, no. 1, pp. 36-45, Jan 1966, DOI: 10.1145/357980.357991.
  34. K. M. Colby, F. D. Hilf, S. Weber, and H. C. Kraemer, "Turing-like indistinguishability tests for the validation of a computer simulation of paranoid processes," Artificial Intelligence, vol. 3, pp. 199-221, Jan 1972, DOI: 10.1016/0004-3702(72)90049-5.
  35. B. Liu, S. Mazumder, and I. Assoc Advancement Artificial, "Lifelong and Continual Learning Dialogue Systems: Learning during Conversation", 35th AAAI Conference on Artificial Intelligence / 33rd Conference on Innovative Applications of Artificial Intelligence / 11th Symposium on Educational Advances in Artificial Intelligence, pp. 15058-15063, Electr Network, Feb 2021.
  36. B. Liu, S. Mazumder, E. Robertson, and S. Grigsby, "AI Autonomy: Self-Initiation, Adaptation and Continual Learning," arXiv preprint arXiv:2203.08994, Mar 2022, DOI: 10.48550/arXiv.2203.08994.
  37. F. M. Suchanek, G. Kasneci, and G. Weikum, "Yago: a core of semantic knowledge," Journal, pp. 697-706, May 2007, DOI: 10.1145/1242572.1242667.
  38. S. Auer, C. Bizer, G. Kobilarov, J. Lehmann, R. Cyganiak, and Z. Ives, "DBpedia: A nucleus for a web of open data", 6th International Semantic Web Conference/2nd Asian Semantic Web Conference (ISWC 2007/ASWC 2007), pp. 722-+, Busan, SOUTH KOREA, Nov 2007.
  39. G. A. Miller, "WordNet: a lexical database for English," Communications of the ACM, vol. 38, no. 11, pp. 39-41, Nov 1995, DOI: 10.1145/219717.219748.
  40. K. Bollacker, C. Evans, P. Paritosh, T. Sturge, and J. Taylor, "Freebase: a collaboratively created graph database for structuring human knowledge", Proceedings of the 2008 ACM SIGMOD international conference on Management of data, pp. 1247-1250, June 1995.
  41. X. J. Chen, S. B. Jia, and Y. Xiang, "A review: Knowledge reasoning over knowledge graph," Expert Systems with Applications, vol. 141, Mar 2020, DOI: 10.1016/j.eswa.2019.112948.
  42. S. Yoo, and O. Jeong, "Automating the expansion of a knowledge graph," Expert Systems with Applications, vol. 141, Mar 2020, DOI: 10.1016/j.eswa.2019.112965.
  43. Y. S. Ahn, and O. R. Jeong, "Time-Aware PolarisX: Auto-Growing Knowledge Graph," Cmc-Computers Materials & Continua, vol. 67, no. 3, pp. 2695-2708, Dec 2021, DOI: 10.32604/cmc.2021.015636.
  44. J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "Bert: Pre-training of deep bidirectional transformers for language understanding," arXiv preprint arXiv:1810.04805, Oct 2018, DOI: 10.48550/arXiv.1810.04805.
  45. D. M. Blei, A. Y. Ng, and M. I. Jordan, "Latent dirichlet allocation," Journal of machine Learning research, vol. 3, no. Jan, pp. 993-1022, Jan 2003.
  46. C. Gunasekara, S. Kim, L. F. D'Haro, A. Rastogi, Y.-N. Chen, M. Eric, B. Hedayatnia, K. Gopalakrishnan, Y. Liu, and C.-W. Huang, "Overview of the ninth dialog system technology challenge: Dstc9," arXiv preprint arXiv:2011.06486, Nov 2020, DOI: 10.48550/arxiv.2011.06486.
  47. S. Kim, M. Eric, K. Gopalakrishnan, B. Hedayatnia, Y. Liu, D. Hakkani-Tur, and L. Assoc Computat, "Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access", 21st Annual Meeting of the Special-Interest-Group-on-Discourse-and-Dialogue (SIGDIAL), pp. 278-289, Electr Network, Jul 2020.
  48. M. Eric, R. Goel, S. Paul, A. Kumar, A. Sethi, A. K. Goyal, P. Ku, S. Agarwal, S. Y. Gao, and D. Hakkani-Tur, "MultiWOZ 2.1: A Consolidated Multi-Domain Dialogue Dataset with State Corrections and State Tracking Baselines", 12th International Conference on Language Resources and Evaluation (LREC), pp. 422-428, Marseille, FRANCE, May 2020.
  49. B. Peng, M. Galley, P. He, C. Brockett, L. Liden, E. Nouri, Z. Yu, B. Dolan, and J. Gao, "GODEL: Large-Scale Pre-Training for Goal-Directed Dialog," arXiv preprint arXiv:2206.11309, June 2022, DOI: 10.48550/arXiv.2206.11309.
  50. Y. Z. Zhang, S. Q. Sun, M. Galley, Y. C. Chen, C. Brockett, X. Gao, J. F. Gao, J. J. Liu, B. Dolan, and L. Assoc Computat, "DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation", 58th Annual Meeting of the Association-for-Computational-Linguistics (ACL), pp. 270-278, Electr Network, Jul 2020.
  51. C.-Y. Lin, "Rouge: A package for automatic evaluation of summaries", Text summarization branches out, pp. 74-81.
  52. K. Papineni, S. Roukos, T. Ward, W. J. Zhu, and Acl, "BLEU: a method for automatic evaluation of machine translation", 40th Annual Meeting of the Association-for-Computational-Linguistics, pp. 311-318, Univ Penn, Philadelphia, PA, Jul 2002