• 한국컴퓨터정보학회논문지
• /
• 제20권2호
• /
• pp.149-156
• /
• 2015

본 논문에서는 한국어 문장 기호의 처리를 통해 자연스러운 음성 합성 결과를 생성하는 방법에 대해서 논의한다. 이를 위해 한국어 위키피디아 문서를 분석하여 문장 기호의 사용을 8가지 형태로 분류하고, 11개의 정규표현식 규칙으로 문장 기호를 처리하는 방안을 제시한다. 그 결과 63,000 문장에 대해 56%의 정확도와 71.45%의 재현율을 달성하였으며, 문장 기호 처리 결과를 SSML 기반의 음성 합성 표현으로 변환하여 음성 합성 결과의 품질을 향상시키는 방법을 제안한다.

• Journal of Information Processing Systems
• /
• 제13권4호
• /
• pp.752-777
• /
• 2017

This paper proposes an automatic method to summarize Bangla news document. In the proposed approach, pronoun replacement is accomplished for the first time to minimize the dangling pronoun from summary. After replacing pronoun, sentences are ranked using term frequency, sentence frequency, numerical figures and title words. If two sentences have at least 60% cosine similarity, the frequency of the larger sentence is increased, and the smaller sentence is removed to eliminate redundancy. Moreover, the first sentence is included in summary always if it contains any title word. In Bangla text, numerical figures can be presented both in words and digits with a variety of forms. All these forms are identified to assess the importance of sentences. We have used the rule-based system in this approach with hidden Markov model and Markov chain model. To explore the rules, we have analyzed 3,000 Bangla news documents and studied some Bangla grammar books. A series of experiments are performed on 200 Bangla news documents and 600 summaries (3 summaries are for each document). The evaluation results demonstrate the effectiveness of the proposed technique over the four latest methods.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
• /
• pp.441-445
• /
• 2020

토큰화(Tokenization)는 사람이 작성한 자연어 문장을 기계가 잘 이해할 수 있도록 최소 단위인 토큰으로 분리하는 작업을 말하여, 이러한 토큰화는 자연어처리 전반적인 태스크들의 전처리에 필수적으로 사용되고 있다. 최근 자연어처리 분야에서 높은 성능을 보이며, 다양한 딥러닝 모델에 많이 활용되고 있는 SentencePiece 토큰화는 여러 단어에서 공통적으로 출현하는 부분단어들을 기준으로, BPE 알고리즘을 이용하여 문장을 압축 표현하는 토큰화 방법이다. 본 논문에서는 한국어 기반 특허 문헌의 초록 자연어 데이터를 기반으로 SentencePiece를 비롯한 여러 토큰화 방법에 대하여 소개하며, 해당 방법을 응용한 기계번역 (Neural Machine Translation) 태스크를 수행하고, 토큰화 방법별 비교 평가를 통해 특허 분야 자연어 데이터에 최적화된 토큰화 방법을 제안한다. 그리고 본 논문에서 제안한 방법을 사용하여 특허 초록 한-영 기계번역 태스크에서 성능이 향상됨을 보였다.

• 대한수학교육학회지:수학교육학연구
• /
• 제19권1호
• /
• pp.63-80
• /
• 2009

초등수학 문제해결에서 사용되고 있는 문장제를 동일 수학적 내용이나 구조를 취하되 단문중심 유형과 복문중심 유형의 두 문장제로 재구성하여 이를 한 조합으로 묶은 후, 이에 대한 학생의 문제해결 활동에서 문장제 유형에 따라 보여주는 인지 정의적 반응의 비교분석을 통해서 초등학교 문제해결 지도에 시사하는 바를 알아보았다. 수학교과에서 다루는 문장제를 구성하는 문장은 그 자체가 학습 내용이나 대상이 되는 것이 아니라, 수학 학습이나 지도를 위한 도구로서 사용되는 것이기 때문에 전통적으로 '간결한 표현'이라는 문장의 경제성 추구보다는 '분명한 정보의 간편한 전달'이라는 문장의 편의성에 집중할 필요가 있다고 생각한다. 즉, 초등 학생의 언어적 이해의 단순결함으로 인한 문제해결 수행상의 오류나 부정적 수학 학습태도를 해소시킬 수 있도록 학생의 국어적 평균 수준에 맞추어진 수학적 문장 을 통하여 수학적 정보를 온전하면서도 편리하게 표현과 전달을 꾀하려는 연구와 실천이 중요하다고 생각한다.

• 스마트미디어저널
• /
• 제10권1호
• /
• pp.16-24
• /
• 2021

word2vec 등 기존의 단어 임베딩 기법은 원시 말뭉치에 출현한 단어들만을 대상으로 각 단어를 다차원 실수 벡터 공간에 고정된 길이의 벡터로 표현하기 때문에 형태론적으로 풍부한 표현체계를 가진 언어에 대한 단어 임베딩 기법에서는 말뭉치에 출현하지 않은 단어들에 대한 단어 벡터를 표현할 때 OOV(out-of-vocabulary) 문제가 빈번하게 발생한다. 문장을 구성하는 단어 벡터들로부터 문장 벡터를 구성하는 문장 임베딩의 경우에도 OOV 단어가 포함되었을 때 문장 벡터를 정교하게 구성하지 못하는 문제점이 있다. 특히, 교착어인 한국어는 어휘형태소와 문법형태소가 결합되는 형태론적 특성 때문에 미등록어의 임베딩 기법은 성능 향상의 중요한 요인이다. 본 연구에서는 단어의 형태학적인 정보를 이용하는 방식을 문장 수준으로 확장하고 OOV 단어 문제에 강건한 병렬 Tri-LSTM 문장 임베딩을 제안한다. 한국어 감정 분석 말뭉치에 대해 성능 평가를 수행한 결과 한국어 문장 임베딩을 위한 임베딩 단위는 형태소 단위보다 문자 단위가 우수한 성능을 보였으며, 병렬 양방향 Tri-LSTM 문장 인코더는 86.17%의 감정 분석 정확도를 달성하였다.

• 지능정보연구
• /
• 제26권3호
• /
• pp.109-125
• /
• 2020

군(軍)에서 방위력개선사업(이하 방위사업)은 매우 투명하고 효율적으로 이루어져야 함에도, 방위사업 관련 법 및 규정의 과도한 다양화로 많은 실무자들이 원활한 방위사업 추진에 어려움을 겪고 있다. 한편, 방위사업 관련 실무자들이 각종 문서에서 다루는 법령 문장은 문장 내에서 표현 하나만 잘못되더라도 심각한 문제를 유발하는 특징을 가지고 있으나, 이를 실시간으로 바로잡기 위한 문장 비교 시스템 구축에 대한 노력은 미미했다. 따라서 본 논문에서는 Siamese Network 기반의 자연어 처리(NLP) 분야 인공 신경망 모델을 이용하여 군(軍)의 방위사업 관련 문서에서 등장할 가능성이 높은 문장과 이와 관련된 법령 조항의 유사도를 비교하여 위법 위험 여부를 판단·분류하고, 그 결과를 사용자에게 인지시켜 주는 '군(軍) 보고서 등장 문장과 관련 법령 간 비교 시스템' 구축 방안을 제안하려고 한다. 직접 제작한 데이터 셋인 모(母)문장(실제 법령에 등장하는 문장)과 자(子)문장(모(母)문장에서 파생시킨 변형 문장) 3,442쌍을 사용하여 다양한 인공 신경망 모델(Bi-LSTM, Self-Attention, D_Bi-LSTM)을 학습시켰으며 1 : 1 문장 유사도 비교 실험을 통해 성능 평가를 수행한 결과, 상당히 높은 정확도로 자(子)문장의 모(母)문장 대비 위법 위험 여부를 분류할 수 있었다. 또한, 모델 학습에 사용한 자(子)문장 데이터는 법령 문장을 일정 규칙에 따라 변형한 형태이기 때문에 모(母)·자(子)문장 데이터만으로 학습시킨 모델이 실제 군(軍) 보고서에 등장하는 문장을 효과적으로 분류한다고 판단하기에는 제한된다는 단점을 보완하기 위해, 실제 군(軍) 보고서에 등장하는 형태에 보다 더 가깝고 모(母)문장과 연관된 새로운 문장 120문장을 추가로 작성하여 모델의 성능을 평가해본 결과, 모(母)·자(子)문장 데이터만으로 학습시킨 모델로도 일정 수준 이상의 성능을 확인 할 수 있었다. 결과적으로 본 연구를 통해 방위사업 관련 군(軍) 보고서에서 등장하는 여러 특정 문장들이 각각 어느 관련 법령의 어느 조항과 가장 유사한지 살펴보고, 해당 조항과의 유사도 비교를 통해 위법 위험 여부를 판단하는 '실시간 군(軍) 문서와 관련 법령 간 자동화 비교 시스템'의 구축 가능성을 확인할 수 있었다.

• 정보관리학회지
• /
• 제18권3호
• /
• pp.159-178
• /
• 2001

본 연구에서는 문장 클러스터로부터 대표문장을 선정하여 요약문을 생성하는 자동요약 모형을 제시하고. 학습문서 집단을 미용하여 최적의 요약 환경을 구축한 후 요약 실험을 수행하였다. 학습 과정에서 문장의 클러스터링 기법으로는 7개의 계층적 기법들을 비교한 결과 클러스터를 구성하는 문장 수의 편차가 가장 적고 단일 문장 클러스터를 가장 적게 생성하는 센트로이드 기법이 선택되었다. 또한 각 클러스터를 대표하는 문장의 선정을 위해 용어 및 문장 가중치를 합산한 문장값과 클러스터-문장 벡터간 유사도의 두 기준을 비교한 결과 문장값 기준이 선택되었다. 용어 가중치로는 역문장빈도와 표제어 가중치, 그리고 문장의 위치 가중치가 자동요약 성능을 개선시키는 것으로 나타났으며, 적절한 요약문의 길이는 전체 문서의 1/3인 것으로 나타났다. 실험문서 집단으로는 문서의 길이와 특성이 다른 신문기사와 잡지기사의 두 집단을 이용하였다. 요약 모형의 검증 실험 결과 요약 정확률은 신문기사 집단에서는 53%, 잡지기사 집단에서는 47%인 것으로 나타났다. 두 실험 모두 랜덤하게 생성한 베이스라인 요악문보다 성능이 우수하였으나, 리드문장들로 구성된 베이스라인 요약문과의 비교에서는 짧은 길이의 신문기사의 경우 요약 모형의 성능이 오히려 떨어지는 것으로 나타났다.

• 디지털융복합연구
• /
• 제15권6호
• /
• pp.505-511
• /
• 2017

이 연구의 목적은 스포츠기사의 문장길이 특성을 다른 취재 영역별, 일간종합지 매체별 그리고 스포츠종목별에 따라 파악하는 것이다. 연구 목적을 달성하기 위해 조선일보, 동아일보, 경향신문 그리고 스포츠전문매체인 MK스포츠가 배포한 기사를 수집하여 문장의 길이를 분석하였으며, 일원변량분석과 사후검증으로써 scheffe 분석을 실시하였다. 이러한 분석을 통해 다음의 3가지 결론이 도출됐다. 첫째, 신문기사의 문장길이는 취재영역별에 따라 유의미한 차이가 있었다. 구체적으로 정치기사의 문장길이가 가장 길었으며, 다음으로 경제, 사설 순이었고, 스포츠 기사가 가장 짧다. 둘째, 스포츠기사의 문장길이는 언론매체별 차이가 있다. 구체적으로 스포츠전문매체인 MK스포츠가 다른 종합일간지인 조선일보, 동아일보 그리고 경향신문보다 스포츠기사의 문장길이가 짧다. 셋째, 스포츠기사의 문장길이는 스포츠종목에 따라 차이가 있다. 구체적으로 골프가 가장 길며, 농구, 축구 순으로 길며 야구가 가장 짧다.

• 인터넷정보학회논문지
• /
• 제16권2호
• /
• pp.41-48
• /
• 2015

영화 리뷰 사이트에서 영화 평점은 네티즌들의 주관적 판단으로 결정된다. 이로 인해 그들이 남긴 영화평과 평점 사이의 극성이 서로 불일치하는 경우가 종종 발생한다. 본 논문에서는 이 문제를 해결하기 위해 영화의 평가에 영향을 미치는 감성 문장들의 집합을 만들고, 이들을 영화평에 적용하여 평점을 추론한다. 감성 문장들의 집합을 만들기 위한 과정은 감성 어휘 사전을 구축하는 단계와 감성 문장을 구성하는 단계로 이루어진다. 감성 어휘 사전은 영화평에서 쓰인 형용사와 형용사의 극성을 저장한다. 감성 문장은 영화와 관련된 명사를 주어로 갖고 감성 어휘 사전의 어휘를 서술어로 갖는 문장 구조이다. 감성 문장의 극성과 감성 문장에서 쓰인 서술어의 극성이 다른 문장들은 제거하여 감성 문장들이 감성 어휘 사전 어휘의 극성과 일치되도록 하였다. 영화평에서 쓰인 감성 문장들의 평균 점수를 구하면 영화평이 갖는 감성 점수가 된다. 본 연구 결과를 통해 네티즌들이 매긴 평점에 비해 감성 문장 집합을 적용하여 계산한 영화평의 감성 점수가 영화평에 대한 의견을 더 잘 반영한다는 것을 알 수 있다.

• 한국음향학회지
• /
• 제15권1호
• /
• pp.61-70
• /
• 1996

화자에 의해서 발성된 문장은 대화가 이루어지고 있는 화제나 발화이도에 따라 문장에 사용되는 단어의 구성 및 문장의 구조에 차이를 보이므로, 본 논문에서는 무형을 기반으로하여 문장의 구조와 의도사이의 관계를 사용하여 화자의 의도를 효과적으로 분석할 수 있는 통계적인 방법인 IDT(intention decision table)를 제안한다. IDT는 문장을 이루는 구성요소를 5가지로 분류하고, 입력문장에 대한 분석을 통해서 얻어진 구성요소들과 의도간의 통계적인 분석을 통해서 얻어진 의도 결정표를 이용하여 문장의 의도를 결정한다. 실험결과, 문장을 구성하는 단어와 이도간의 상관관계를 고려한 경우에 비해서 IDT를 사용하는 경우 10~18%정도의 의도 인식율 향상이 있었으며, 단어의 의도와의 관계 이외에 단어들간의 전이관계를 함께 모델링한 MIG 경우에 비해서도 3~12%의 향상된 의도 인식율을 보임으로써, 본 논문에서 제안한 IDT가 유효함을 알 수 있었다.