• 융합신호처리학회 학술대회논문집
• /
• 한국신호처리시스템학회 2003년도 하계학술대회 논문집
• /
• pp.10-13
• /
• 2003

본 연구는 어휘 정보를 이용하여 구어체 문장구성을 하였다. 구어체 문장구성의 목적은 언어생활이 불편한 사람들을 위한 통신보조기기에 사용하기 위해서이다. 통신보조기기는 사용자가 원하는 문장을 만들어 음성으로 출력해주는 시스템이다. 그러므로 문장을 구성하기 위해서 어휘 정보를 통신보조기기의 개념에 맞도록 변형하여 도입하였다. 어휘는 도메인별로 발췌하고 분류하였으며, 각 어휘에 대해 시소러스와 하위범주화사전을 만들었다. 어휘정보에 관한 상세한 정보는 문장구성과 재사용 그리고 문맥상 어색한 문장검출을 위해 중요한 자료가 된다.

• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제11권3호
• /
• pp.125-132
• /
• 2022

문장 압축은 원본 문장의 중요한 의미는 유지하면서 길이가 축소된 압축 문장을 생성하는 자연어처리 태스크이다. 문법적으로 적절한 문장 압축을 위해, 초기 연구들은 사람이 정의한 언어 규칙을 활용하였다. 또한 시퀀스-투-시퀀스 모델이 기계 번역과 같은 다양한 자연어처리 태스크에서 좋은 성능을 보이면서, 이를 문장 압축에 활용하고자 하는 연구들도 존재했다. 하지만 언어 규칙을 활용하는 연구의 경우 모든 언어 규칙을 정의하는 데에 큰 비용이 들고, 시퀀스-투-시퀀스 모델 기반 연구의 경우 학습을 위해 대량의 데이터셋이 필요하다는 문제점이 존재한다. 이를 해결할 수 있는 방법으로 사전 학습된 언어 모델인 BERT를 활용하는 문장 압축 모델인 Deleter가 제안되었다. Deleter는 BERT를 통해 계산된 perplexity를 활용하여 문장을 압축하기 때문에 문장 압축 규칙과 모델 학습을 위한 데이터셋이 필요하지 않다는 장점이 있다. 하지만 Deleter는 perplexity만을 고려하여 문장을 압축하기 때문에, 문장에 속한 단어들의 언어 정보를 반영하여 문장을 압축하지 못한다. 또한, perplexity 측정을 위한 BERT의 사전 학습에 사용된 데이터가 압축 문장과 거리가 있어, 이를 통해 측정된 perplexity가 잘못된 문장 압축을 유도할 수 있다는 문제점이 있다. 이를 해결하기 위해 본 논문은 언어 정보의 중요도를 수치화하여 perplexity 기반의 문장 점수 계산에 반영하는 방법을 제안한다. 또한 고유명사가 자주 포함되어 있으며, 불필요한 수식어가 생략되는 경우가 많은 뉴스 기사 말뭉치로 BERT를 fine-tuning하여 문장 압축에 적절한 perplexity를 측정할 수 있도록 하였다. 영어 및 한국어 데이터에 대한 성능 평가를 위해 본 논문에서 제안하는 LI-Deleter와 비교 모델의 문장 압축 성능을 비교 실험을 진행하였고, 높은 문장 압축 성능을 보임을 확인하였다.

• 한국음향학회:학술대회논문집
• /
• 한국음향학회 1994년도 제11회 음성통신 및 신호처리 워크샵 논문집 (SCAS 11권 1호)
• /
• pp.48-51
• /
• 1994

본 논문은 N개의 최적문장을 찾을 수 있는 한국어 연속 음성인식시스템 개발과 성능실험에 관한 것이다. 개발된 연속 음성인식시스템은 462개의 단어로 이루어지며 언어 복잡도가 30인 연속문장을 인식할 수 있으며 언어처리, 기계번역 등과 같이 쉽게 정합되어 문장 인식률을 향상시킬 수 있도록 N개의 최적문장도 찾을 수 있다. 또한 인식의 기본단위로 triphone을 사용하였으며 단어간, 단어내의 조음현상도 모델링하였다. 남성화자 3인에 대한 화자독립 실험 결과 단어 인식율은 95.7%을 얻었으며 문장 인식율은 하개의 최적문장인 경우 88.5%, 5개의 최적문장을 고려하면 98.6% 문장 인식률을 얻었다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
• /
• pp.209-212
• /
• 2017

고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2003년도 봄 학술발표논문집 Vol.30 No.1 (B)
• /
• pp.555-557
• /
• 2003

본 논문에서는 보다 간결한 요약문을 생성하기 위하여. 문장 전체를 추출하는 것이 아니라 문장의 일부분을 요약으로 추출한다. 그런데 한국어의 경우 문장 구조상 반복되는 문장성분을 생략하는 영 대용 문제가 빈번하게 발생하기 때문에, 문장의 일부분 추출시. 생략된 성분을 복원하지 않으면 요약문의 의미가 불완전하고 모호해 질 수 있다. 본 논문에서는 문서 안에서 중요한 부분을 추출한 뒤, 생략된 성분을 복원하여 요약문의 가독성을 놓이는 방법을 제안한다. Luhn의 방법을 이용하여 문서내의 중요 클러스터를 추출하였고, 기존의 문장분할 및 영 대용어 복원 알고리즘을 사용하여 생략된 성분을 복원하였다. 본 논문에서 제안된 요약 방법은 신문기사와 같이 문장의 수는 많지 않고, 문장의 길이가 비교적 긴 문서를 짧은 문장으로 요약하는 데 효율적이다.

• 한국어정보학회:학술대회논문집
• /
• 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
• /
• pp.209-212
• /
• 2017

고도화된 머신러닝과 딥러닝 기술은 영상처리, 자연어처리 등의 분야에서 많은 문제를 해결하고 있다. 특히 사용자가 입력한 문장을 분석하고 그에 따른 문장을 생성하는 자연어처리 기술은 기계 번역, 자동 요약, 자동 오류 수정 등에 널리 이용되고 있다. 딥러닝 기반의 자연어처리 기술은 학습을 위해 여러 계층의 신경망을 구성하여 단어 간 의존 관계와 문장 구조를 학습한다. 그러나 학습 과정에서의 계산양이 방대하여 모델을 구성하는데 시간과 비용이 많이 필요하다. 그러나 Word2Vec 모델은 신경망과 유사하게 학습하면서도 선형 구조를 가지고 있어 딥러닝 기반 자연어처리 기술에 비해 적은 시간 복잡도로 고차원의 단어 벡터를 계산할 수 있다. 따라서 본 논문에서는 Word2Vec 모델을 활용하여 한국어 문장을 생성하는 방법을 제시하였다. 본 논문에서는 지정된 문장 템플릿에 유사도가 높은 각 단어들을 적용하여 문장을 구성하는 Word2Vec 모델을 설계하였고, 서로 다른 학습 데이터로부터 생성된 문장을 평가하고 제안한 모델의 활용 방안을 제시하였다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
• /
• pp.600-604
• /
• 2018

한국어 문장 분류는 주어진 문장의 내용에 따라 사전에 정의된 유한한 범주로 할당하는 과업이다. 그런데 분류 대상 문장이 띄어쓰기 오류를 포함하고 있을 경우 이는 분류 모델의 성능을 악화시킬 수 있다. 이에 한국어 텍스트 혹은 음성 발화 기반의 문장을 대상으로 분류 작업을 수행할 경우 띄어쓰기 오류로 인해 발생할 수 있는 분류 모델의 성능 저하 문제를 해결해 보고자 문장 압축 기반 학습 방식을 사용하였다. 학습된 모델의 성능을 한국어 영화 리뷰 데이터셋을 대상으로 실험한 결과 본 논문이 제안하는 문장 압축 기반 학습 방식이 baseline 모델에 비해 띄어쓰기 오류에 강건한 분류 성능을 보이는 것을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2021년도 춘계학술발표대회
• /
• pp.290-292
• /
• 2021

최근 인코더-디코더 구조의 자연어 처리모델이 활발하게 연구가 이루어지고 있다. 인코더-디코더기반의 언어모델은 특히 본문의 내용을 새로운 문장으로 요약하는 추상(Abstractive) 요약 분야에서 널리 사용된다. 그러나 기존의 언어모델은 단일 문서 및 문장을 전제로 설계되었기 때문에 기존의 언어모델에 다중 문장을 요약을 적용하기 어렵고 주제가 다양한 여러 문장을 요약하면 요약의 성능이 떨어지는 문제가 있다. 따라서 본 논문에서는 다중 문장으로 대표적이고 상품 리뷰를 워드 임베딩의 유사도를 기준으로 클러스터를 구성하여 관련성이 높은 문장 별로 인공 신경망 기반 언어모델을 통해 요약을 수행한다. 제안하는 모델의 성능을 평가하기 위해 전체 문장과 요약 문장의 유사도를 측정하여 요약문이 원문의 정보를 얼마나 포함하는지 실험한다. 실험 결과 기존의 RNN 기반의 요약 모델보다 뛰어난 성능의 요약을 수행했다.

• 한국멀티미디어학회논문지
• /
• 제8권9호
• /
• pp.1248-1257
• /
• 2005

본 논문은 통신보조시스템을 위한 문장생성의 구현과 설계에 관한 것이다. 통신보조시스템은 언어장애인을 위한 보조 시스템으로서 시간과 키의 수를 줄여 문장을 생성하는데 그 목적이 있다. 본 논문에서는 기존의 문장생성의 장단점을 보완하여 문장생성을 하였다. 문장생성을 위하여 동사와 조사에 따라 명사가 한정되는 한글 구조를 이용하였다. 본 논문의 특징은 도메인 개념을 이용하여 명사와 동사를 연결하였다. 문장생성을 위해 한글의 특성으로 구축한 어휘정보를 이용하였다. 또한 현재 문장생성에 관한 여러 방법을 비교하였다. 문장생성은 문장특징 추출에 의한 어휘정보에 바탕을 둔다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
• /
• pp.473-476
• /
• 2022

문장 임베딩은 문장의 의미를 고려하여 모델이 적절하게 의미적인 벡터 공간에 표상하는 것이다. 문장 임베딩을 위해 다양한 방법들이 제안되었지만, 최근 가장 높은 성능을 보이는 방법은 대조적 학습 방법이다. 대조적 학습을 이용한 문장 임베딩은 문장의 의미가 의미적으로 유사하면 가까운 공간에 배치하고, 그렇지 않으면 멀게 배치하도록 학습하는 방법이다. 이러한 대조적 학습은 비지도와 지도 학습 방법이 존재하는데, 본 논문에서는 효과적인 비지도 학습방법을 제안한다. 기존의 비지도 학습 방법은 문장 표현을 학습하는 언어모델이 자체적인 정보를 활용하여 문장의 의미를 구별한다. 그러나, 하나의 모델이 판단하는 정보로만 문장 표현을 학습하는 것은 편향적으로 학습될 수 있기 때문에 한계가 존재한다. 따라서 본 논문에서는 Cross-Encoder의 Re-Ranker를 통한 의미 검색으로부터 추천된 문장 쌍을 학습하여 기존 모델의 성능을 개선한다. 결과적으로, STS 테스크에서 베이스라인보다 2% 정도 더 높은 성능을 보여준다.