• Journal of Intelligence and Information Systems
• /
• v.28 no.4
• /
• pp.309-328
• /
• 2022

This study empirically analyzed a Korean pre-trained language models (PLMs) designed for natural language generation. The performance of two PLMs - BART and GPT - at the task of abstractive text summarization was compared. To investigate how performance depends on the characteristics of the inference data, ten different document types, containing six types of informational content and creation content, were considered. It was found that BART (which can both generate and understand natural language) performed better than GPT (which can only generate). Upon more detailed examination of the effect of inference data characteristics, the performance of GPT was found to be proportional to the length of the input text. However, even for the longest documents (with optimal GPT performance), BART still out-performed GPT, suggesting that the greatest influence on downstream performance is not the size of the training data or PLMs parameters but the structural suitability of the PLMs for the applied downstream task. The performance of different PLMs was also compared through analyzing parts of speech (POS) shares. BART's performance was inversely related to the proportion of prefixes, adjectives, adverbs and verbs but positively related to that of nouns. This result emphasizes the importance of taking the inference data's characteristics into account when fine-tuning a PLMs for its intended downstream task.

• Journal of Internet Computing and Services
• /
• v.13 no.2
• /
• pp.99-108
• /
• 2012

Many methods had been developed to improve the accuracy of extracting information from a vast amount of data. This paper combined a number of natural language processing methods such as NER (named entity recognition), sentence extraction, and part of speech tagging to carry out text analysis. The data source is comprised of texts obtained from the web using a domain-specific data extraction agent. A framework for the extraction of information from unstructured data was developed using the aforementioned natural language processing methods. We simulated the performance of our work in the extraction and analysis of texts for the detection of organizational structures. Simulation shows that our study outperformed other NER classifiers such as MUC and CoNLL on information extraction.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.11 no.9
• /
• pp.3311-3317
• /
• 2010

This study compared South and North Korean broadcasting languages to measure the language differences due to the long segregation. This study would provide fundamental database on the language uses between South and North Korea. The KLIWC analyzed the text that was selected from news clips of South and North Korean broadcasting agencies. The results showed that North Korean languages were significantly different from South in terms of affective, cognitive, and social words. In addition, North Korean broadcasting used more person pronoun and a part of speech than South Korean broadcasting. Psychological interpretations were provided based on the language differences.

• Proceedings of the KSPS conference
• /
• 1996.10a
• /
• pp.198-206
• /
• 1996

Using eighteen text materials from various goners of present-day Japanese, we collected phonologically reduced forms frequently observed in conversational Japanese, and classified them in search of unified explanation of phonological reduction phenomena. We found 7,516 cases of reduced forms which we divided into 43 categories according to the types of phonological changes they have undergone. The general tendencies ale that deletion and fusion of a phoneme or an entire syllable takes place frequently, resulting in the decrease in the number of syllable. Typical examples frequently observed throughout the materials are : $~/noda/{\rightarrow}~/nda/,{\;}-/teiru/{\rightarrow}~/teru/,{\;}~/dewa/{\rightarrow}~/zja/,{\;}~/tesimau/{\rightarrow}~/cjau/$. From morphosyntactic point of view phonological reduction often occurs at the NP and VP morpheme boundaries. The following findings are drawn from phonological observations of reduction. (1) Vowels are more easily deleted than consonants. (2) Bilabials(/m/, /b/, and /w/ are the most likely candidates for deletion. (3) In a concatenation of vowels, closed vowels are absorbed into open vowels, or two adjacent vowels come to create another vowel, in which case reconstruction of the original sequence is not always predictable. (4) Alveolars are palatalized under the influence of front vowels. (5) Regressive assimilation takes place in a syllable starting with ill, changing the entire syllable into phonological choked sound or a syllabic nasal, depending on the voicing of following phoneme.

• Proceedings of the Acoustical Society of Korea Conference
• /
• spring
• /
• pp.77-82
• /
• 2002

운율은 음성의 초분절적인 면에 연관하는 음성의 한 성으로서 통상적으로 화자는 음성을 달하는 과정에서 청자의 이해를 돕기 위해 운율을 사용하게 된다. 본 논문은 이러한 운율을 이루는 성분 중의 하나인 운율구의 위치 예측에 대한 성능을 향상시키는 것에 그 목적을 둔다. 한국어 운율 정보에 대한 표기 방법 중의 하나인 K-ToBI를 기반으로 하여, 운율구의 경계와 그에 대한 레벨을 Break Indices 정보로서 나타내었고, 통계학 분야에서 제안된 Support Vector Machine(SVM)을 이용하여 시스템의 예측률 향상을 꾀하였다. 기존의 방법에서 사용된 트리 기반 모델을 이용하여 한국어 운율에 가장 많은 영향을 끼치는 언어 정보들을 추출하였고 이를 실험에 적용하였다. 기존의 트리 모델과 SVM 모델에 대한 예측률을 비교한 결과, 경계 유무 정보 예측과 4단계의 레벨을 가지는 경계 정보의 예측에서 모두 본 방법이 보다 높은 예측률을 보여 주어 본 연구에서 제시한 접근법이 운율구의 경계 정보를 예측하는 데에 있어 더욱 효과적인 접근법임을 실험적으로 입증하였다.

• Proceedings of the Acoustical Society of Korea Conference
• /
• autumn
• /
• pp.105-108
• /
• 1999

TTS(Text-To-Speech) 시스템 합성음성의 자연감을 개선하기 위해 하나의 언어에 대해 존재하는 운율 법칙을 정확히 구현해야 한다. 존재하는 운율 법칙을 추출하기 위해서는 방대한 분량의 언어 자료 구축이 필요하다. 그러나 이 방법은 존재하는 운율 현상이 포함된 언어자료에 대해 완벽한 운율을 파악할 수 없으므로 합성음성의 질을 좋게 할 수 없다. 본 논문은 한국어 음성의 운율을 학습하기 위해 2개의 인공 신경망을 제안한다. 하나의 신경망으로 문장의 각 음소에 대한 피치 변화를 학습시키는 것이며, 다른 하나는 에너지 변화를 학습하도록 하였다. 신경망은 BP 신경망을 이용하며 11개의 음소를 나타내기 위해 11개의 입력과, 중간 음소의 피치와 에너지 변화곡선을 근사하는 다항식 계수를 출력하도록 하였다. 신경망시스템의 학습과 평가에 앞서, 음성학적 균형잡힌 고립단어를 기반으로 의미있는 문장을 구성하였다. 문장을 남자 화자로 하여금 읽게 하고 녹음하여 음성 DB를 구축하였다. 음성 DB에 대해 각 음소의 운율 정보를 수집하여 신경망에 맞는 목표 패턴과 훈련 패턴을 작성하였다. 이 목표 패턴은 회귀분석을 통한 추세선을 이용해 피치와 에너지에 대한 2차 다항식계수로 구성하였다. 본 논문은 목표패턴에 맞는 신경망을 학습시켜 좋은 결과를 얻었다.

• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.209-212
• /
• 2001

본 논문에서는 text-to-speech 시스템에서 사용할 억양 모델을 위해 벡터 양자화(vector quantization) 방식을 이용한다. 어절 경계강도(break index)는 세단계로 분류하였고, CART(Classification And Regression Tree)를 사용하여 어절 경계강도의 예측 규칙을 생성하였다. 예측된 어절 경계강도를 바탕으로 운율구를 예측하였으며 운율구는 다섯 개의 억양 패턴으로 분류하였다. 하나의 운율구는 정점(peak)의 시간축, 주파수축 값과 이를 기준으로 한 앞, 뒤 기울기를 추출하여 네 개의 파라미터로 단순화하였다. 운율구에 대해서 먼저 운율구가 문장의 끝일 경우와 아닐 경우로 분류하고, 억양 패턴 다섯 개로 분류하여. 모두 10개의 운율구 set으로 나누었다. 그리고 네 개의 파라미터를 가지고 있는 운율구의 억양 패턴을 벡터 양자화 방식을 이용하여 분류(clusteing)하였다 운율의 변화가 두드러지는 조사와 어미는 12 point의 기본주파수 값을 추출하고 벡터 양자화하였다. 운율구와 조사 어미의 codebook index는 문장에 대한 특징 변수 값을 추출하고 CART를 사용하여 예측하였다. 합성할 때에는 입력 tort에 대해서 운율구의 억양 파라미터를 추정한 다음, 조사와 어미의 12 point 기본주파수 값을 추정하여 전체 억양 곡선을 생성하였고 본 연구실에서 제작한 음성합성기를 통해 합성하였다.

• The Journal of the Acoustical Society of Korea
• /
• v.19 no.3
• /
• pp.45-50
• /
• 2000

This paper proposes a delta energy method based on Parameter Filtering(PF), which is a speech segmentation algorithm for text dependent speaker verification system over telephone line. Our parametric filter bank adopts a variable bandwidth along with a fixed center frequency. Comparing with other methods, the proposed method turns out very robust to channel noise and background noise. Using this method, we segment an utterance into consecutive subword units, and make models using each subword nit. In terms of EER, the speaker verification system based on whole word model represents 6.1%, whereas the speaker verification system based on subword model represents 4.0%, improving about 2% in EER.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2019.01a
• /
• pp.17-18
• /
• 2019

최근 4차 산업혁명의 핵심 분야 중 하나인 인공지능에 대한 많은 연구가 이루어지고 있다. 많은 기업들이 인공지능 스피커와 같은 제품을 출시하고 있으나 대부분 비서 역할만을 할 수 있도록 구성된 제품이 대부분이다. 그러나 학교와 같이 많은 사람이 존재하는 경우 시끄러운 환경에서 사용되고 있는 인공지능 스피커는 명령 인식이 제대로 되지 않아 실용도가 저하되는 단점을 가지고 있으며, 현재 인공지능 스피커는 단순한 질의응답 수준의 응대만 가능하여 다소 부족한 부분이 있다. 또한 인공지능의 급속한 발전으로 인공지능 스피커가 아닌 전자제품에 인공지능 비서 기능이 탑재된 제품도 새롭게 출시되어 인공지능 스피커가 필요 없을 수도 있기에, 본 논문에서는 학교와 같은 주변의 소음이 많이 발생하는 교육 환경에서도 소통이 가능한 인공지능 마이크를 활용할 수 있는 모델을 제안한다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2021.05a
• /
• pp.78-80
• /
• 2021

Currently, research on natural language processing (NLP) is rapidly evolving. Natural language processing is a technology that allows computers to analyze the meanings of languages used in everyday life, and is used in various fields such as speech recognition, spelling tests, and text classification. Currently, the most commonly used natural language processing library is NLTK based on English, which has a disadvantage in Korean language processing. Therefore, after introducing KonLPy and Soynlp, the Korean Tokenizing libraries, we will analyze morphology analysis and processing techniques, compare and analyze modules with Soynlp that complement KonLPy's shortcomings, and use them as natural language processing models.