• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.521-525
• /
• 2022

사용자와 상호작용하는 대화시스템에서 사용자의 의도를 이해하기 위한 의도 분류는 중요한 역할을 한다. 하지만, 실제 대화시스템에서는 범위 내의 의도를 가진 발화 뿐만 아니라 범위 외의 의도를 가진 발화에 대한 인식도 중요하다. 본 논문에서는 기존에 사용되던 인코더 기반의 모델이 아닌 인코더-디코더 구조를 가지는 T5 모델을 활용하여 의도 분류 실험을 진행하였다. 또한, (K+1)-way 의도 탐지 방식이 아닌 Kway의 방식에 템퍼러처 스케일링 기법을 적용하여 범위 외 의도 발화 데이터 구축과 재학습이 필요 없는 확장성 있는 범위 외 의도 탐지 방법을 제안하였다. 범위 내 의도 분류 실험 결과 인코더-디코더 구조의 T5 모델이 인코더 구조의 모델에 비해 높은 성능을 보이며, 흔히 생성 태스크에서 활용되던 모델의 분류 태스크로의 확장 가능성을 확인하였다. 또한, 범위 외 의도 탐지 실험 결과에서는 T5 모델이 인코더 구조의 모델인 RoBERTa 보다 범위 외 탐지 재현율이 14.2%p 이상의 높은 성능을 기록하여 인코더-디코더 구조를 활용한 모델이 인코더 구조를 활용한 모델보다 범위 외 의도 탐지에 강건함을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.131-136
• /
• 2023

본 논문에서는 기존의 요약 태스크에서 주로 사용하는 인코더-디코더 모델과 디코더 기반의 언어 모델의 성능을 비교한다. 요약 태스크를 평가하는 주요한 평가 지표인 ROUGE 점수의 경우, 정답 요약문과 모델이 생성한 요약문 간의 겹치는 단어를 기준으로 평가한다. 따라서, 추상적인 요약문을 생성하는 언어 모델의 경우 인코더-디코더 모델에 비해 낮은 ROUGE 점수가 측정되는 경향이 있다. 또한, 최근 연구에서 정답 요약문 자체의 낮은 품질에 대한 문제가 되었고, 이는 곧 ROUGE 점수로 모델이 생성하는 요약문을 평가하는 것에 대한 신뢰도 저하로 이어진다. 따라서, 본 논문에서는 언어 모델의 요약 성능을 보다 다양한 관점에서 평가하여 언어 모델이 기존의 인코더-디코더 모델보다 좋은 요약문을 생성한다는 것을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.290-292
• /
• 2021

최근 인코더-디코더 구조의 자연어 처리모델이 활발하게 연구가 이루어지고 있다. 인코더-디코더기반의 언어모델은 특히 본문의 내용을 새로운 문장으로 요약하는 추상(Abstractive) 요약 분야에서 널리 사용된다. 그러나 기존의 언어모델은 단일 문서 및 문장을 전제로 설계되었기 때문에 기존의 언어모델에 다중 문장을 요약을 적용하기 어렵고 주제가 다양한 여러 문장을 요약하면 요약의 성능이 떨어지는 문제가 있다. 따라서 본 논문에서는 다중 문장으로 대표적이고 상품 리뷰를 워드 임베딩의 유사도를 기준으로 클러스터를 구성하여 관련성이 높은 문장 별로 인공 신경망 기반 언어모델을 통해 요약을 수행한다. 제안하는 모델의 성능을 평가하기 위해 전체 문장과 요약 문장의 유사도를 측정하여 요약문이 원문의 정보를 얼마나 포함하는지 실험한다. 실험 결과 기존의 RNN 기반의 요약 모델보다 뛰어난 성능의 요약을 수행했다.

• 한국소프트웨어감정평가학회 논문지
• /
• 제17권2호
• /
• pp.47-57
• /
• 2021

뉴로모픽 기술은 인간의 뇌 구조와 연산과정을 하드웨어로 모방하는 기술로 기존 인공지능 기술의 단점을 보완하기 위하여 제안되었다. 뉴로모픽 하드웨어 기반의 IoT 응용을 개발하기 위해 NA-IDE가 제안되었으며, NA-IDE에서 SNN 모델을 구현하기 위하여 일반적으로 많이 사용되는 입력 데이터를 SNN모델에 사용할 수 있도록 변환이 필요하다. 본 논문에서는 이미지 데이터를 SNN 입력으로 사용하기 위하여 스파이크 시계열 패턴으로 변환하는 신경코딩 방식의 인코더 컴포넌트를 구현하였다. 디코더 컴포넌트는 SNN 모델이 스파이크 시계열 패턴을 생성하는 경우, 출력된 시계열 데이터를 다시 이미지 데이터로 변환하도록 구현하였다. 디코더 컴포넌트는 출력 데이터에 인코딩 과정과 동일한 매개변수를 사용한 경우, 원본 데이터와 유사한 정적 데이터를 얻을 수 있었다. 제안된 인코더와 디코더를 사용한다면 image-to-image나 speech-to-speech와 같이 입력 데이터를 변환하여 재생성하는 분야에 사용할 수 있을 것이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
• /
• pp.726-729
• /
• 2023

본 논문에서는 대화 중 발화에서 페르소나 트리플을 추출하는 방법을 연구한다. 발화 문장과 그에 해당하는 트리플 쌍을 활용하여 발화 문장 혹은 페르소나 문장이 주어졌을 때 그로부터 페르소나 트리플을 추출하도록 모델을 멀티 태스크 러닝 방식으로 학습시킨다. 모델은 인코더-디코더 구조를 갖는 사전학습 언어모델 BART [1]와 T5 [2]를 활용하며 relation 추출과 tail 추출의 두 가지 태스크를 각각 인코더, 디코더 위에 head를 추가하여 학습한다. Relation 추출은 분류로, tail 추출은 생성 문제로 접근하도록 하여 최종적으로 head, relation, tail의 구조를 갖는 페르소나 트리플을 추출하도록 한다. 실험에서는 BART와 T5를 활용하여 각 태스크에 대해 다른 학습 가중치를 두어 훈련시켰고, 두 모델 모두 relation과 tail을 추출하는 태스크 정확도에 있어서 90% 이상의 높은 점수를 보임을 확인했다.

• 한국수자원학회:학술대회논문집
• /
• 한국수자원학회 2023년도 학술발표회
• /
• pp.101-101
• /
• 2023

지난 수십 년 동안 다양한 딥러닝 방법이 개발되고 있으며 수문 분야에서는 이러한 딥러닝 모형이 기존의 수문모형의 역할을 대체하여 사용할 수 있다는 가능성이 제시되고 있다. 본 연구에서는 딥러닝 모형 중에 트랜스포머 모형에 다중 인코더를 사용하여 중장기 기간 (1 ~ 10일)의 리드 타임에 대한 한국의 유출량 예측 전망의 가능성을 확인하고자 하였다. 트랜스포머 모형은 인코더와 디코더 구조로 구성되어 있으며 어텐션 (attention) 기법을 사용하여 기존 모형의 정보를 손실하는 단점을 보완한 모형이다. 본 연구에서 사용된 다중 인코더 기반의 트랜스포머 모델은 트랜스포머의 인코더와 디코더 구조에서 인코더를 하나 더 추가한 모형이다. 그리고 결과 비교를 위해 기존에 수문모형을 활용한 스태킹 앙상블 모형 (Stacking ensemble model) 기반의 예측모형을 추가로 구축하였다. 구축된 모형들은 남한 전체를 총 469개의 대규모 격자로 나누어 각 격자의 유출량을 비교하여 평가하였다. 결과적으로 수문모형보다 딥러닝 모형인 다중 인코더 기반의 트랜스포머 모형이 더 긴 리드 타임에서 높은 성능을 나타냈으며 이를 통해 수문모형의 역할을 딥러닝 모형이 어느 정도는 대신할 수 있고 높은 성능을 가질 수 있는 것을 확인하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.333-338
• /
• 2019

인코더-디코더(Encoder-decoder)는 현대 기계 번역(Machine translation)의 가장 기본이 되는 모델이다. 인코딩은 마치 인간의 뇌가 출발어(Source language) 문장을 읽고 이해를 하는 과정과 유사하고, 디코딩은 뇌가 이해한 의미를 상응하는 도착어(Target language) 문장으로 재구성하는 행위와 비슷하다. 그렇다면 벡터로 된 인코더 표현은 문장을 읽고 이해함으로써 변화된 뇌의 상태에 해당한다고 볼 수 있다. 사람이 어떤 문장을 잘 번역하기 위해서는 그 문장에 대한 이해가 뒷받침되어야 하는 것처럼, 기계 역시 원 문장이 가진 의미를 제대로 인코딩해야 향상된 성능의 번역이 가능할 것이다. 본 논문에서는 뇌과학에서 뇌 동기화(Brain-to-brain coupling)라 일컫는 현상을 모방해, 출발어와 도착어의 공통된 의미를 인코딩하여 기계 번역 성능 향상에 도움을 줄 수 있는 이중 번역 기법을 소개한다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제27권5호
• /
• pp.33-43
• /
• 2021

본 논문에서는 변형 자동 인코더 네트워크(variational autoencoder network)의 잠재 공간 내에 스타일 자동 인코더 네트워크를 적용하여 컨텐츠 캐릭터의 모션에 스타일 캐릭터 모션의 스타일 정보를 이전하는 프레임워크를 제안한다. 이 프레임워크를 사용하면 기존의 변형 자동 인코더를 통해 얻은 모션의 다양성을 스타일 캐릭터 모션의 스타일 정보를 이전하여 증가시킬 수 있다. 또한 입력 데이터 및 출력 데이터에 모션의 속도 정보를 포함시켜 이전 프레임의 모션에 속도를 적분하여 모션을 계산함으로써, 변형 자동 인코더로 인한 샘플링과 잠재 공간 내에서 스타일 정보가 이전된 새로운 잠재 변수의 디코더 네트워크를 통한 확장으로 발생할 수 있는 부자연스러운 동작을 개선할 수 있다.

• 정보교육학회논문지
• /
• 제20권4호
• /
• pp.333-340
• /
• 2016

자신이 쓴 문장과 유사한 문장을 살펴보는 것은 초등 글쓰기 교육을 위한 효과적인 방법 중 하나이지만, 매번 글을 쓸 때마다 교사의 지도가 필요하기 때문에 현실적으로 활용하기 쉽지 않다. 본 논문에서는 이 한계를 극복하기 위해 컴퓨터가 자동으로 자신이 쓴 문장과 유사한 문장을 실시간으로 선별해 주는 방법을 제안한다. 이 방법은 단어의 구성 성분을 쪼개는 단계, 쪼갠 단어를 입력으로 활용하여 인코더-디코더 모델을 학습하는 단계, 모델을 통해 얻어낸 추상화된 문장을 활용해 검색하는 단계로 구성된다. 실험 결과, 작은 규모의 데이터에 대해 75%의 정확도를 보임으로써 실용화 가능성이 높은 것으로 나타났다. 이 방법을 통해 학생들은 자신의 어색한 문장을 교정하거나 새로운 표현을 익히고 싶은 경우 다른 사람이 작성한 좋은 예문을 쉽게 참조할 수 있어 자신의 글쓰기 능력을 향상시키는 데에 큰 도움이 될 것으로 기대된다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
• /
• pp.22-27
• /
• 2021

언어 모델은 많은 데이터와 많은 파라미터로 오래 사전학습을 수행할수록 그 성능이 높아지지만, 그 크기가 큰 만큼 거대 언어 모델은 너무 큰 크기로 인해서 실사용에 많은 하드웨어 리소스를 필요로 한다. 본 논문에서는 거대 언어 모델 중 하나인 T5의 인코더-디코더 구조 대비 절반의 크기를 가지는 PrefixLM 구조에 기반한 한국어 모델을 학습하여 자연어 처리에서 중요한 태스크 중 하나인 텍스트 생성 요약 태스크에서의 성능평가를 하여 BART, T5와 비교하여 각각 0.02, 0.0859의 성능 향상을 보였다.