• Title/Summary/Keyword: 발화 생성

Search Result 139, Processing Time 0.037 seconds

Denoising Response Generation for Learning Korean Conversational Model (한국어 대화 모델 학습을 위한 디노이징 응답 생성)

  • Kim, Tae-Hyeong;Noh, Yunseok;Park, Seong-Bae;Park, Se-Yeong
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.29-34
    • /
    • 2017
  • 챗봇 혹은 대화 시스템은 특정 질문이나 발화에 대해 적절한 응답을 해주는 시스템으로 자연어처리 분야에서 활발히 연구되고 있는 주제 중 하나이다. 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 프레임워크가 많이 이용되고 있다. 하지만 해당 방식을 적용한 모델의 경우 학습 데이터에 나타나지 않은 다양한 형태의 질의문에 대해 응답을 잘 못해주는 문제가 있다. 이 논문에서는 이러한 문제점을 해결하기 위하여 디노이징 응답 생성 모델을 제안한다. 제안하는 방법은 다양한 형태의 노이즈가 임의로 가미된 질의문을 모델 학습 시에 경험시킴으로써 강건한 응답 생성이 가능한 모델을 얻을 수 있게 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 질의-응답 쌍으로 구성된 한국어 대화 데이터에 대해 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델에 비해 정량 평가인 ROUGE 점수와 사람이 직접 평가한 정성 평가 모두에서 더 우수한 결과를 보이는 것을 확인할 수 있었다.

  • PDF

A Study on Generation of Polite Expressions for Dialogue Participants in Machine Translation System (대화체 자동번역 시스템에서 대화상대 맞춤 존대표현 생성에 관한 연구)

  • Choi, Sung-Kwon;Kim, Young-Gil
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2011.11a
    • /
    • pp.399-402
    • /
    • 2011
  • 현재의 자동번역 방식의 문제점은 대화 상대에 상관없이 항상 일정한 존대 표현을 생성하여 자동번역 결과를 부자연스럽게 만들고 앞뒤 대화 문맥을 혼란하게 만든다는 것이다. 예를 들어 대화 상대가 달라지면 동일한 원문에 대해서도 자동번역 결과는 다른 존대 표현을 생성해야 하나, 현재의 자동번역 시스템은 항상 하나의 일관된 존대 표현을 생성한다. 이 이유는 자동 번역 시스템에서 사용하는 번역지식 또는 데이터가 고정되어 있어 유동적으로 변하지 않기 때문이다. 본 논문에서는 이러한 기존 자동번역의 문제점을 해결하기 위하여, 소셜 네트워크(social network)에서 제공하는 디지털 인맥 정보와 같은 비언어적 정보와 발화상의 표현과 같은 언어적 정보로부터 대화 자간의 존대 관계를 계산하여 자동번역 결과에 반영함으로써 언어 문화적 존대 차이를 자동으로 극복하는 대화 상대 맞춤형 존대표현 자동 번역 방법을 기술하는 데 그 목적이 있다.

Generation Paraphrase using Pointer Generation Network (포인터 생성 네트워크를 이용한 패러프레이즈 생성)

  • Park, Da-Sol;Kim, Young-kil;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.535-539
    • /
    • 2020
  • 다양한 발화를 모델링하는 요구는 자연어 처리 분야에서 꾸준히 있었으며 단어, 구 또는 문장과 동등한 의미 콘텐츠를 자동으로 식별하고 생성하는 것은 자연어 처리의 중요한 부분이다. 본 논문에서는 포인터 생성 네트워크(Pointer Generate Nework)를 이용하여 패러프레이즈 생성 모델을 제안한다. 제안한 모델의 성능을 측정하기 위해 사람이 직접 구축한 유사 문장 코퍼스를 이용하였으며, 토큰 단위의 BLEU-4 0.250, ROUGE_L 0.455, CIDEr 2.190의 성능을 보였다. 하지만 입력 문장과 동일한 문장을 출력하는 문제점이 존재하여 빔서치(beam search)를 적용하여 입력 문장과 비교하여 생성 문장을 선택하는 방식을 적용하였다. 입력 문장과 동일한 문장을 제외한 문장으로 평가를 진행했으며, 토큰 단위의 BLEU-4 0.234, ROUGE_L 0.459, CIDEr 2.041의 성능을 보였으나, 패러프레이즈 생성 데이터 양이 크게 증가하였다. 본 연구는 문장 간의 의미적으로 동일한 정보를 정확하게 추출할 수 있게 됨으로써 정보 추출, 온톨로지 생성에 도움이 될 것이다. 또한 이러한 기법이 챗봇에서 사용자의 의도 탐지 및 MRC와 같은 자연어 처리의 여러 분야에 유용한 자원으로 사용될 것이다.

  • PDF

Developing a New Algorithm for Conversational Agent to Detect Recognition Error and Neologism Meaning: Utilizing Korean Syllable-based Word Similarity (대화형 에이전트 인식오류 및 신조어 탐지를 위한 알고리즘 개발: 한글 음절 분리 기반의 단어 유사도 활용)

  • Jung-Won Lee;Il Im
    • Journal of Intelligence and Information Systems
    • /
    • v.29 no.3
    • /
    • pp.267-286
    • /
    • 2023
  • The conversational agents such as AI speakers utilize voice conversation for human-computer interaction. Voice recognition errors often occur in conversational situations. Recognition errors in user utterance records can be categorized into two types. The first type is misrecognition errors, where the agent fails to recognize the user's speech entirely. The second type is misinterpretation errors, where the user's speech is recognized and services are provided, but the interpretation differs from the user's intention. Among these, misinterpretation errors require separate error detection as they are recorded as successful service interactions. In this study, various text separation methods were applied to detect misinterpretation. For each of these text separation methods, the similarity of consecutive speech pairs using word embedding and document embedding techniques, which convert words and documents into vectors. This approach goes beyond simple word-based similarity calculation to explore a new method for detecting misinterpretation errors. The research method involved utilizing real user utterance records to train and develop a detection model by applying patterns of misinterpretation error causes. The results revealed that the most significant analysis result was obtained through initial consonant extraction for detecting misinterpretation errors caused by the use of unregistered neologisms. Through comparison with other separation methods, different error types could be observed. This study has two main implications. First, for misinterpretation errors that are difficult to detect due to lack of recognition, the study proposed diverse text separation methods and found a novel method that improved performance remarkably. Second, if this is applied to conversational agents or voice recognition services requiring neologism detection, patterns of errors occurring from the voice recognition stage can be specified. The study proposed and verified that even if not categorized as errors, services can be provided according to user-desired results.

Continual Learning with Mimicking Human Memory System For Multi-domain Response Generator (다중 도메인 답변 생성 모델을 위한 인간의 기억 시스템을 모방하는 지속 학습 기법)

  • Lee, Jun-Beom;Park, Hyeong-Jun;Song, Hyun-Je;Park, Seong-Bae
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.215-220
    • /
    • 2021
  • 다중 도메인에 대해 답변 생성 모델이 동작 가능하도록 하는 가장 쉬운 방법은 모든 도메인의 데이터를 순서와 상관없이 한번에 학습하는 것이다. 하지만 이경우, 발화에 상관 없이 지나치게 일반적인 답변을 생성하는 문제가 발생한다. 이에 반해, 도메인을 분리하여 도메인을 순차적으로 학습할 경우 일반적인 답변 생성 문제를 해결할 수 있다. 하지만 이경우 새로운 도메인의 데이터를 학습할 때, 기존에 학습한 도메인에 대한 성능이 저하되는 파괴적 망각 현상이 발생한다. 파괴적 망각 현상을 해결하기 위하여 다양한 지속학습기법이 제안되었으며, 그 중 메모리 리플레이 방법은 새로운 도메인 학습시 기존 도메인의 데이터를 함께 학습하는 방법으로 파괴적 망각 현상을 해결하고자 하였다. 본 논문에서는, 사람의 기억 시스템에 대한 모형인 앳킨슨-쉬프린 기억 모형에서 착안하여 사람이 기억을 저장하는것과 유사한 방법으로 메모리 리플레이 방법의 메모리 관리방법을 제안하였고, 해당 메모리 관리법을 활용하는 메모리 리플레이 방법을 통해 답변 생성 모델의 파괴적 망각 현상을 줄이고자 하였다. 다중 도메인 답변 생성에 대한 데이터셋인 MultiWoZ-2.0를 사용하여 제안 모델을 학습 및 평가하였고, 제안 모델이 다중 도메인 답변 생성 모델의 파괴적 망각 현상을 감소시킴을 확인하였다.

  • PDF

Improving Dialogue Intent Classification Performance with Uncertainty Quantification based OOD Detection (불확실성 정량화 기반 OOD 검출을 통한 대화 의도 분류 모델의 성능 향상)

  • Jong-Hun Shin;Yohan Lee;Oh-Woog Kwon;Young-Kil Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.517-520
    • /
    • 2022
  • 지능형 대화 시스템은 줄곧 서비스의 목표와 무관한 사용자 입력을 전달받아, 그 처리 성능을 의심받는다. 특히 종단간 대화 이해 생성 모델이나, 기계학습 기반 대화 이해 모델은 학습 시간대에 한정된 범위의 도메인 입력에만 노출됨으로, 사용자 발화를 자신이 처리 가능한 도메인으로 과신하는 경향이 있다. 본 연구에서는 대화 생성 모델이 처리할 수 없는 입력과 신뢰도가 낮은 생성 결과를 배제하기 위해 불확실성 정량화 기법을 대화 의도 분류 모델에 적용한다. 여러 번의 추론 샘플링이 필요 없는 실용적인 예측 신뢰도 획득 방법과 함께, 평가 시간대와 또다른 도메인으로 구성된 분포 외 입력 데이터를 학습에 노출시키는 것이 분포 외 입력을 구분하는데 도움이 되는지를 실험으로 확인한다.

  • PDF

A prototype of digital humans capable of emotionally using deep generative models (사전학습 기반 생성모델을 이용한 정서적 지지형 디지털 휴먼 프로토타입 구현)

  • Song, Chejung;Lee, Jee Hang
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2021.11a
    • /
    • pp.1005-1008
    • /
    • 2021
  • 메타버스의 산업적/학술적 가치가 증대되면서, 실세계 인간과 메타버스 내 디지털 휴먼과의 상호작용 시스템 또한 큰 조명을 받고 있다. 본 논문에서는 인간과 디지털 휴먼이 상호작용할 때, 인간의 발화에 대해 감성적 지지가 가능한 디지털 휴먼 프로토타입을 소개한다. 대화의 의미에 따른 동작 생성이 가능한 아바타 구축 공개 프레임워크를 도입하고, 사전학습모델을 바탕으로 감성적 지지가 가능한 심층 대화 생성 모델 기반 대화 시스템을 여기에 통합하여 인간의 감성 상태에 따른 동작과 대화를 진행하는 감성 지지형 디지털 휴먼 프로토타입을 구현하였다. 이러한 프로토타입을 고도화 하면, 향후 메타버스 기반 정신 건강 케어 및 디지털 치료제로의 확장이 가능할 것으로 사료된다.

Predicting Contextually Appropriate Intonation from Utterances in Korean with Combinatory Categorial Grammar (결합범주문법을 이용한 한국어 문장의 자연스러운 억양 생성에 대한 연구)

  • 이화진;박종철
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2000.06a
    • /
    • pp.68-75
    • /
    • 2000
  • 상대방에게 의사를 전달할 때 보다 정확하게 자신의 의도를 표현하려면 대화의 흐름에 맞는 적절한 억양을 주어 발화해야 한다. 본 논문에서는 결함범주문법을 이용하여 문장을 분석하고 문장 내 정보와 문장 간 정보 즉, 문맥에 따라 강세(pitch accent), 휴지(pause), 강조 등의 억양정보를 어떻게 나타내야 하는지를 분석하여 문장의 정보구조에 추가하는 방법을 제시한다.

  • PDF

Preparation of YBa2Cu3O6+x Superconducting Wires Prepared by Pyrophoric Synthetic Technique (발화합성법에 의한 YBa2Cu3O6+x 초전도 선재의 제조)

  • Yang, Suk-Woo;Lee, Young-Min;Kim, Young-Soon;Park, Jeong-Shik;Kim, Chan-Joong;Hong, Gye-Won;Shin, Hyung-Shik
    • Applied Chemistry for Engineering
    • /
    • v.9 no.7
    • /
    • pp.1011-1017
    • /
    • 1998
  • $YBa_2Cu_3O_{6+x}(Y123)-Ag$ high-Tc superconducting wires were fabricated by plastic extrusion technique using pyrophoric synthetic and mechanical mixing powder with and without Ag addition(20 wt.%). This method involves powder preparation, plastic paste making, die extrusion, binder burn-out and the sintering process. In order to fabricate a good-quality superconducting body, it is required to use homogeneous and fine-size power as a starting materials. $Y_2O_3-BaCO_3-CuO$ precursor powders with/without Ag addition were prepared both by pyrophoric synthetic(PS) and mechanical mixing(MM) method of raw powders. The formation kinetics of the powder mixtures into Y123 phase was investigated at various temperatures and times in air atmosphere. The powder prepared by PS method was more easily converted into a Y123 phase than the MM powder. The fine size and good chemical homogeneity of the powder prepared by PS method is attributable to the fast formation into a Y123 phase. The critical current density($J_c$) of the Y123-Ag superconducting wires made by plastic extrusion method were in the range of $150A/cm^2{\sim}230A/cm^2$. depending on the charateristics of starting material powders. $J_c$ of the wire prepared by pyrophoric synthetic powder with 20 wt.% Ag addition was $230A/cm^2$.

  • PDF

Decision of the Korean Speech Act using Feature Selection Method (자질 선택 기법을 이용한 한국어 화행 결정)

  • 김경선;서정연
    • Journal of KIISE:Software and Applications
    • /
    • v.30 no.3_4
    • /
    • pp.278-284
    • /
    • 2003
  • Speech act is the speaker's intentions indicated through utterances. It is important for understanding natural language dialogues and generating responses. This paper proposes the method of two stage that increases the performance of the korean speech act decision. The first stage is to select features from the part of speech results in sentence and from the context that uses previous speech acts. We use x$^2$ statistics(CHI) for selecting features that have showed high performance in text categorization. The second stage is to determine speech act with selected features and Neural Network. The proposed method shows the possibility of automatic speech act decision using only POS results, makes good performance by using the higher informative features and speed up by decreasing the number of features. We tested the system using our proposed method in Korean dialogue corpus transcribed from recording in real fields, and this corpus consists of 10,285 utterances and 17 speech acts. We trained it with 8,349 utterances and have test it with 1,936 utterances, obtained the correct speech act for 1,709 utterances(88.3%). This result is about 8% higher accuracy than without selecting features.