• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.120-125
• /
• 2018

문서 요약 문제는 최근 심층 신경망을 활용하여 활발히 연구되고 있는 문제 중 하나이다. 많은 기존 연구들이 주로 시퀀스-투-시퀀스 모델을 활용하여 요약을 수행하고 있으나, 아직 양질의 요약을 생성하기에는 많은 문제점이 있다. 시퀀스-투-시퀀스 모델을 활용한 요약에서 가장 빈번히 나타나는 문제 중 하나는 요약문의 생성과정에서 단어나 구, 문장이 불필요하게 반복적으로 생성되는 것이다. 이를 해결하기 위해 다양한 연구가 이루어지고 있으며, 이들 대부분은 요약문의 생성 과정에서 정확한 정보를 주기 위해 모델에 여러 모듈을 추가하였다. 하지만 기존 연구들은 생성 단어가 정답 단어로 나올 확률을 최대화 하도록 학습되기 때문에, 생성하지 말아야 하는 단어에 대한 학습이 부족하여 반복 생성 문제를 해결하는 것에는 한계가 있다. 따라서 본 논문에서는 기존 요약 모델의 복잡도를 높이지 않고, 단어 생성 이력을 직접적으로 이용하여 반복 생성을 제어하는 모델을 제안한다. 제안한 모델은 학습할 때 생성 단계에서 이전에 생성한 단어가 이후에 다시 생성될 확률을 최소화하여 실제 모델이 생성한 단어가 반복 생성될 확률을 직접적으로 제어한다. 한국어 데이터를 이용하여 제안한 방법을 통해 요약문을 생성한 결과, 비교모델보다 단어 반복이 크게 줄어들어 양질의 요약을 생성하는 것을 확인할 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.29-34
• /
• 2017

챗봇 혹은 대화 시스템은 특정 질문이나 발화에 대해 적절한 응답을 해주는 시스템으로 자연어처리 분야에서 활발히 연구되고 있는 주제 중 하나이다. 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 프레임워크가 많이 이용되고 있다. 하지만 해당 방식을 적용한 모델의 경우 학습 데이터에 나타나지 않은 다양한 형태의 질의문에 대해 응답을 잘 못해주는 문제가 있다. 이 논문에서는 이러한 문제점을 해결하기 위하여 디노이징 응답 생성 모델을 제안한다. 제안하는 방법은 다양한 형태의 노이즈가 임의로 가미된 질의문을 모델 학습 시에 경험시킴으로써 강건한 응답 생성이 가능한 모델을 얻을 수 있게 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 질의-응답 쌍으로 구성된 한국어 대화 데이터에 대해 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델에 비해 정량 평가인 ROUGE 점수와 사람이 직접 평가한 정성 평가 모두에서 더 우수한 결과를 보이는 것을 확인할 수 있었다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.29-34
• /
• 2017

챗봇 혹은 대화 시스템은 특정 질문이나 발화에 대해 적절한 응답을 해주는 시스템으로 자연어처리 분야에서 활발히 연구되고 있는 주제 중 하나이다. 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 프레임워크가 많이 이용되고 있다. 하지만 해당 방식을 적용한 모델의 경우 학습 데이터에 나타나지 않은 다양한 형태의 질의문에 대해 응답을 잘 못해주는 문제가 있다. 이 논문에서는 이러한 문제점을 해결하기 위하여 디노이징 응답 생성 모델을 제안한다. 제안하는 방법은 다양한 형태의 노이즈가 임의로 가미된 질의문을 모델 학습 시에 경험시킴으로써 강건한 응답 생성이 가능한 모델을 얻을 수 있게 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 질의-응답 쌍으로 구성된 한국어 대화 데이터에 대해 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델에 비해 정량 평가인 ROUGE 점수와 사람이 직접 평가한 정성 평가 모두에서 더 우수한 결과를 보이는 것을 확인할 수 있었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.141-146
• /
• 2018

최근 대화 모델 학습에는 시퀀스-투-시퀀스 모델이 널리 활용되고 있다. 하지만 기본적인 시퀀스-투-시퀀스 모델로 학습한 대화 모델은 I don't know 문제와 사오정 문제를 내포한다. I don't know 문제는 입력 발화에 대해 안전하고 무미건조한 단편적인 대답을 많이 생성하는 문제이다. 사오정 문제는 입력 발화에 대해 적절한 응답을 생성했지만 입력 발화와 동일한 의미를 지니지만 어순, 어미 등의 변화가 있는 발화에는 적절한 응답을 생성하지 못하는 문제이다. 이전 연구에서 디노이징 메커니즘을 활용하여 각각의 문제를 완화하는 대화 모델들을 학습할 수 있음을 보였으나 하나의 모델에서 두 문제를 동시에 해결하지는 못하였다. 본 논문에서는 디노이징 메커니즘을 활용하여 각각의 문제에 강점을 지닌 디코더들을 학습하고 응답 생성 시 입력 발화에 따라 두 디코더를 적절하게 반영하여 언급한 문제 모두에 대해 강건한 응답을 생성할 수 있는 모델을 제안한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 한국어 대화 데이터로 실험을 수행하였다. 실험 결과 단일 문제를 해결하는 모델들과 비교하여 ROUGE F1 점수와 사람이 평가한 정성 평가에서 성능 향상을 보였다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권3호
• /
• pp.183-187
• /
• 2017

스마트폰 사용자들은 텍스트를 쉽게 읽고 빠르게 입력하기를 원한다. 이런 흐름에 따라 사용자들은 채팅 용어에서부터 전문 분야, 뉴스 기사에 이르기까지 여러 단어로 이루어진 어휘를 축약한 약어를 많이 사용한다. 그러므로 약어를 모아 데이터를 구축한다면 정보 검색과 추천 시스템 등에 유용하게 사용될 수 있다. 하지만 약어는 새로운 콘텐츠가 등장할 때마다 계속해서 생겨나기 때문에 수동으로 모으는 일은 쉽지 않으므로, 약어를 자동으로 생성하는 방법이 필요하다. 기존 연구들은 약어를 자동으로 생성하기 위해 규칙 기반 방법을 사용하였으나, 불규칙한 약어들은 생성할 수 없다는 한계점이 있다. 또한 규칙에 의해 생성된 후보 약어들 중에서 올바른 약어를 결정해야하는 문제도 발생한다. 따라서 본 논문에서는 이런 한계점을 극복하기 위해 시퀀스 투 시퀀스 학습 방법을 사용하여 약어를 자동으로 생성한다. 시퀀스투 시퀀스 학습 방법은 심층 신경망으로 기존의 규칙 기반 방법으로 생성할 수 없던 불규칙한 약어들을 생성할 수 있다. 게다가 후보 약어들 중 올바른 약어를 결정할 문제가 발생하지 않기 때문에 자동으로 약어를 생성하는 문제에 적합하다. 본 논문에서는 제안한 방법을 평가한 결과, 기존의 연구에서 생성할 수 없던 불규칙적인 약어를 생성하여 제안한 모델이 효과적임을 증명하였다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권3호
• /
• pp.125-132
• /
• 2022

문장 압축은 원본 문장의 중요한 의미는 유지하면서 길이가 축소된 압축 문장을 생성하는 자연어처리 태스크이다. 문법적으로 적절한 문장 압축을 위해, 초기 연구들은 사람이 정의한 언어 규칙을 활용하였다. 또한 시퀀스-투-시퀀스 모델이 기계 번역과 같은 다양한 자연어처리 태스크에서 좋은 성능을 보이면서, 이를 문장 압축에 활용하고자 하는 연구들도 존재했다. 하지만 언어 규칙을 활용하는 연구의 경우 모든 언어 규칙을 정의하는 데에 큰 비용이 들고, 시퀀스-투-시퀀스 모델 기반 연구의 경우 학습을 위해 대량의 데이터셋이 필요하다는 문제점이 존재한다. 이를 해결할 수 있는 방법으로 사전 학습된 언어 모델인 BERT를 활용하는 문장 압축 모델인 Deleter가 제안되었다. Deleter는 BERT를 통해 계산된 perplexity를 활용하여 문장을 압축하기 때문에 문장 압축 규칙과 모델 학습을 위한 데이터셋이 필요하지 않다는 장점이 있다. 하지만 Deleter는 perplexity만을 고려하여 문장을 압축하기 때문에, 문장에 속한 단어들의 언어 정보를 반영하여 문장을 압축하지 못한다. 또한, perplexity 측정을 위한 BERT의 사전 학습에 사용된 데이터가 압축 문장과 거리가 있어, 이를 통해 측정된 perplexity가 잘못된 문장 압축을 유도할 수 있다는 문제점이 있다. 이를 해결하기 위해 본 논문은 언어 정보의 중요도를 수치화하여 perplexity 기반의 문장 점수 계산에 반영하는 방법을 제안한다. 또한 고유명사가 자주 포함되어 있으며, 불필요한 수식어가 생략되는 경우가 많은 뉴스 기사 말뭉치로 BERT를 fine-tuning하여 문장 압축에 적절한 perplexity를 측정할 수 있도록 하였다. 영어 및 한국어 데이터에 대한 성능 평가를 위해 본 논문에서 제안하는 LI-Deleter와 비교 모델의 문장 압축 성능을 비교 실험을 진행하였고, 높은 문장 압축 성능을 보임을 확인하였다.

• 문화기술의 융합
• /
• 제7권2호
• /
• pp.427-436
• /
• 2021

본 연구의 목적은 문학 텍스트를 학습한 머신 러닝 언어 모델을 구현하는데 있다. 문학 텍스트는 일상 대화문처럼 질문에 대한 답변이 분명하게 구분되지 않을 때가 많고 대명사와 비유적 표현, 지문, 독백 등으로 다양하게 구성되어 있다는 특징이 있다. 이런 점들이 알고리즘의 학습을 용이하지 않게 하여 문학 텍스트를 활용하는 기계 학습의 필요성을 저해시킨다. 문학 텍스트를 학습한 알고리즘이 일반 문장을 학습한 알고리즘에 비해 좀 더 인간 친화적인 상호작용을 보일 가능성이 높다. 본 논문은 '문학 텍스트를 학습한 머신 러닝 언어 모델 구현'에 관한 연구로서, 대화형 기계 학습에 문학 텍스트를 활용하는 연구에서 필수적으로 선행되어야 할 세 가지 텍스트 보정 작업을 제안한다: 대명사 처리, 대화쌍 늘리기, 데이터 증폭 등에 대한 내용으로 기계 학습이 용이하고 그 효과도 높다고 판단됩니다. 인공지능을 위한 학습용 데이터는 그 의미가 명료해야 기계 학습이 용이하고 그 효과도 높게 나타난다. 문학과 같은 특수한 장르의 텍스트를 자연어 처리 연구에 도입하는 것은 새로운 언어 학습 방식의 제안과 함께 머신 러닝의 학습 영역도 확장시켜 줄 것이다.

• 말소리와 음성과학
• /
• 제11권1호
• /
• pp.41-49
• /
• 2019

전통적인 음성인식 모델은 주로 음향 모델과 언어 모델을 사용하여 구현된다. 이때 음향 모델을 학습시키기 위해서는 음성 데이터에 대한 정답 텍스트뿐만 아니라 음성인식에 사용되는 단어의 발음사전과 프레임 단위의 음소 정답 데이터가 필요하다. 이 때문에 모델을 훈련하기 위해서는 먼저 프레임 단위의 정답을 생성하는 등의 여러 과정이 필요하다. 그리고 음향 모델과 별도의 텍스트 데이터로 훈련한 언어 모델을 적용하여야 한다. 이러한 불편함을 해결하기 위하여 최근에는 하나의 통합 신경망 모델로 이루어진 종단간(end-to-end) 음성인식 모델이 연구되고 있다. 이 모델은 훈련에 여러 과정이 필요없고 모델의 구조를 이해하기 쉽다는 장점이 있다. 하지만 인식이 내부적으로 어떤 과정을 거쳐 이루어지는지 알기 어렵다는 문제가 있다. 본 논문에서는 어텐션 기반 종단간 모델을 시각화 분석하여 내부적인 작동 원리를 이해하고자 하였다. 이를 위하여 BLSTM-HMM 하이브리드 음성인식 모델의 음향 모델과 종단간 음성인식 모델의 인코더를 비교하고, 신경망 레이어 별로 어떠한 차이가 있는지 분석하기 위해 t-SNE를 사용하여 시각화하였다. 그 결과로 음향모델과 종단간 모델 인코더의 차이점을 알 수 있었다. 또한 종단간 음성인식 모델의 디코더의 역할을 언어모델 관점에서 분석하고, 종단간 모델 디코더의 개선이 성능 향상을 위해 필수적임을 알 수 있었다.

• 한국시뮬레이션학회논문지
• /
• 제32권3호
• /
• pp.43-53
• /
• 2023

본 연구는 실내 상업적 공간, 특히 카페에서 보안 카메라를 이용해 방문자 수와 위치를 실시간으로 파악하고, 이를 통해 사용 가능한 좌석 정보와 혼잡도 예측을 제공하는 시스템의 개발을 목표로 한다. 우리는 실시간 객체 탐지 및 추적 알고리즘인 YOLO를 활용하여 방문자 수와 위치를 실시간으로 파악하며, 이 정보를 카페 실내 지도에 업데이트하여 카페 방문자가 사용 가능한 좌석을 확인할 수 있도록 한다. 또한, 우리는 vanishing gradient문제를 해결한 장단기 메모리(Long Short Term Memory, LSTM)와 시간적인 관계를 가지는 데이터를 처리하는데 유용한 시퀀스-투-시퀀스(Sequence-to-Sequence, Seq2Seq)기법을 활용해 다양한 시간 간격에 따른 방문자 수와 움직임 패턴을 학습하고, 이를 바탕으로 카페의 혼잡도를 실시간으로 예측하는 시스템을 개발하였다. 이 시스템은 카페의 관리자와 이용자 모두에게 예상 혼잡도를 제공함으로써, 카페의 운영 효율성을 향상시키고, 고객 만족도를 높일 수 있다. 본 연구에서는 보안 카메라를 활용한 실내 위치 추적 기술의 효용성을 입증하며, 상업적 공간에서의 활용 가능성과 더불어 미래 연구 방향을 제시한다.

• 전기전자학회논문지
• /
• 제24권2호
• /
• pp.632-637
• /
• 2020

비간섭적 개별 전기 기기 부하 식별(NILM)은 단일 미터기에서 측정한 총 소비 전력을 사용하여 가정이나 회사에서 개별 전기 기기의 소비 전력과 사용 시간을 효율적으로 모니터링할 수 있는 방법이다. 본 논문에서는 스마트팜의 소비 전력 데이터 취득 시스템에서 LTE 모뎀을 통해 서버로 수집된 총 소비 전력량, 개별 전기 기기의 전력량을 HDF5 형태로 변환하고 NILM 분석을 수행하였다. NILM 분석은 오픈소스를 사용하여 잡음제거 오토인코더(Denoising Autoencoder), 장단기 메모리(Long Short-Term Memory), 게이트 순환 유닛(Gated Recurrent Unit), 시퀀스-투-포인트(sequence-to-point) 학습 방법을 사용하였다.