• Journal of KIISE
• /
• v.41 no.9
• /
• pp.652-665
• /
• 2014

Many important terminologies in biomedical text are expressed as abbreviations or acronyms. We newly suggest a semantic link topic model based on the concepts of topic and dependency link to disambiguate biomedical abbreviations and cluster long form variants of abbreviations which refer to the same senses. This model is a generative model inspired by the latent Dirichlet allocation (LDA) topic model, in which each document is viewed as a mixture of topics, with each topic characterized by a distribution over words. Thus, words of a document are generated from a hidden topic structure of a document and the topic structure is inferred from observable word sequences of document collections. In this study, we allow two distinct word generation to incorporate semantic dependencies between words, particularly between expansions (long forms) of abbreviations and their sentential co-occurring words. Besides topic information, the semantic dependency between words is defined as a link and a new random parameter for the link presence is assigned to each word. As a result, the most probable expansions with respect to abbreviations of a given abstract are decided by word-topic distribution, document-topic distribution, and word-link distribution estimated from document collection though the semantic dependency link topic model. The abstracts retrieved from the MEDLINE Entrez interface by the query relating 22 abbreviations and their 186 expansions were used as a data set. The link topic model correctly predicted expansions of abbreviations with the accuracy of 98.30%.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.36-39
• /
• 1999

본 논문에서는 다양성을 가진 웹문서의 범주를 결정짓는 웹문서 분류 시스템을 설계, 구축한다. 웹문서는 일관된 형식과 내용이 없이 만들어지기 때문에 문서의 범주를 결정하는 시스템을 구축하기는 쉬운 일이 아니다. 제안한 웹문서 분류 시스템은 잡음 처리에 적합한 신경망 방식을 적용하여 다양한 내용의 웹문서의 범주를 결정짓는다. 본 시스템은 한국어 문장을 분석하는 한국어 형태소 해석기, 단어의 의미를 획득하는 개념 획득기, 단어의 사용된 의미를 고르는 애매성 해소기, 그리고 문서의 범주를 결정하는 신경망 범주 결정기로 구성된다. 본 시스템은 단어의 의미를 이용하여 문서를 표현하고 분석하는 개념 중심의 문서 분류 시스템이다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2014.11a
• /
• pp.841-844
• /
• 2014

텍스트 자동 요약은 수많은 텍스트 데이터를 처리함에 있어 중요한 연구 분야이다. 이중 추출요약은 현재 가장 많이 연구가 되고 있는 자동 요약 분야이다. 본 논문은 추출 요약의 선두 연구인 TextRank는 문장 간 유사도를 계산할 때 문장 내 단어 간의 의미적 유사성을 충분히 고려하지 못하였다. 본 연구에서는 의미적 유사성을 고려한 새로운 단어 간 유사도 측정 방법을 제안한다. 추출된 문장 간 유사도는 그래프로 표현되며, TextRank의 랭킹 알고리즘과 동일한 랭킹 알고리즘을 사용하여 실험적으로 평가하였다. 그 결과 문장 간 유사성을 고려할 때 단어의 의미적 요소를 충분히 고려하여 정보의 유실을 최소화하여야 한다는 것을 실험 결과로써 확인할 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2002.10e
• /
• pp.300-305
• /
• 2002

자동 문서 요약 분야에서 대상 문서를 컴퓨터가 이해할 수 있는 형태로 어떻게 파악하고 구조화할 것인가는 중요한 이슈가 되어 왔다. 문서에 출현한 단어들은 Bag of Words 가정처럼 서로 독립적으로 존재하는 것이 아니라 문서가 쓰여진 의도에 따라 서로 간의 의미적, 혹은 지시적으로 연관되어 있다. 이러한 단어간의 연관성은 결속성(cohesion)이라고 표현하며, 이를 이용한 자동 방법으로 Barzilay의 어휘 체인(lexical chain)을 사용한 자동 방법이 대표적이다. 본 연구에서는 단어간의 연관성과 영문 시소러스인 워드넷(wordnet)에서 단어의 위치 정보를 사용하여 어휘 체인의 성능을 개선하였고, 대상 문서의 개념을 어휘 체인에 기반해 표현하여 자동의 성능을 개선하는 방안을 제시한다.

• The Journal of Society for e-Business Studies
• /
• v.19 no.3
• /
• pp.107-123
• /
• 2014

Current text mining techniques suffer from the problem that the conventional text representation models cannot express the semantic or conceptual information for the textual documents written with natural languages. The conventional text models represent the textual documents as bag of words, which include vector space model, Boolean model, statistical model, and tensor space model. These models express documents only with the term literals for indexing and the frequency-based weights for their corresponding terms; that is, they ignore semantical information, sequential order information, and structural information of terms. Most of the text mining techniques have been developed assuming that the given documents are represented as 'bag-of-words' based text models. However, currently, confronting the big data era, a new paradigm of text representation model is required which can analyse huge amounts of textual documents more precisely. Our text model regards the 'concept' as an independent space equated with the 'term' and 'document' spaces used in the vector space model, and it expresses the relatedness among the three spaces. To develop the concept space, we use Wikipedia data, each of which defines a single concept. Consequently, a document collection is represented as a 3-order tensor with semantic information, and then the proposed model is called text cuboid model in our paper. Through experiments using the popular 20NewsGroup document corpus, we prove the superiority of the proposed text model in terms of document clustering and concept clustering.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.669-672
• /
• 2005

단어가 지니는 의미를 이미지로 처리하면 그 단어의 이미지가 단순화되면서 높은 인식률을 가질 수 있다는 장점을 지닌다. 이러한 장점을 이용하여 언어장애인들을 위한 유용한 보완대체 의사소통 학습도구에 하나로 이미지 전자 사전을 구축하고자 한다. 우선 동사와 조합되는 용어들의 패턴들을 면밀히 조사하여 그 패턴들을 영역과 자질의 카테고리로 분류하고, 그 카테고리에 속하는 기본 데이터들을 정리하여 분류된 데이터를 하위범주화 방식을 통해 검색을 보다 용이하게 하였다. 더욱이 언어장애인들이 많이 쓰이는 단어를 조사하고, 그 단어를 중심으로 한 모듈을 이용하여, 각각에게 해당되는 이미지를 수집함으로 단어들의 의미를 표현하고 인식할 수 있도록 하는 인터페이스를 구축하는데 중점을 두었다. 또한 언어장애인이 직접 명사와 동사를 조합하여 그 완성여부를 검토할 수 있는 학습기능을 추가함으로 인해 보다 실생활에 유용하고 교육적인 이미지 전자 사전을 구축하였다.

• Cross-Cultural Studies
• /
• v.48
• /
• pp.135-191
• /
• 2017

The purpose of this study was to select words with "shared cultural charge" that are unique in French culture and to study cultural content hidden in these words. It also explores the cultural phenomenon of same French borrowed words used in the Korean language. The study was conducted from two perspectives: perspective of internal French culture defined by Galisson and inter-cultural perspective. The first section of this study introduces the theory "lexiculture" and definition of the words "shared cultural charge." In the following section, among main items of 795 borrowed words in the Korean language, we examined seven words in areas such as clothing, food, and housing. We studied content of the French culture according to the following three categories: (1) dictionary definition, (2) cultural phenomena, (3) special phenomenon in idiomatic expression. Our study illustrated a special connotation beyond the dictionary definition of words. In the next section, we examined the birth of a new cultural phenomenon and process of acquiring a new meaning in the Korean language. Finally, we analyzed differences and similarities between linguistic and cultural elements in both cultures. In this study, we provide basic data for inter-cultural education between France and Korea.

• Journal of the Korean Society for Library and Information Science
• /
• v.53 no.3
• /
• pp.247-271
• /
• 2019

Uncertainty in scientific knowledge means an uncertain state where propositions are neither true or false at present. The existing studies have analyzed the propositions written in the academic literature, and have conducted the performance evaluation based on the rule based and machine learning based approaches by using the corpus. Although they recognized that the importance of word construction, there are insufficient attempts to expand the word by analyzing the meaning of uncertainty words. On the other hand, studies for analyzing the structure of networks by using bibliometrics and text mining techniques are widely used as methods for understanding intellectual structure and relationship in various disciplines. Therefore, in this study, semantic relations were analyzed by applying Word2Vec to existing uncertainty words. In addition, WordNet, which is an English vocabulary database and thesaurus, was applied to perform a network analysis based on hypernyms, hyponyms, and synonyms relations linked to uncertainty words. The semantic and lexical relationships of uncertainty words were structurally identified. As a result, we identified the possibility of automatically expanding uncertainty words.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.361-363
• /
• 2018

FAQ 시스템은 주어진 질문과 가장 유사한 질의를 찾아 이에 대한 답을 제공하는 시스템이다. 질의 간의 유사도를 측정하기 위해 문장을 벡터로 표현하며 일반적으로 TFIDF, Okapi BM25와 같은 방법으로 계산한 단어 가중치 벡터를 이용하여 문장을 표현한다. 하지만 단어 가중치 벡터는 어휘적 정보를 표현하는데 유용한 반면 단어의 의미적인(semantic) 정보는 표현하기 어렵다. 본 논문에서는 이를 보완하고자 딥러닝을 이용한 문장 임베딩을 구축하고 단어 가중치 벡터와 문장 임베딩을 조합한 문장 유사도 계산 모델을 제안한다. 또한 문장 임베딩 구현 시 self-attention 기법을 적용하여 문장 내 중요한 부분에 가중치를 주었다. 실험 결과 제안하는 유사도 계산 모델은 비교 모델에 비해 모두 높은 성능을 보였고 self-attention을 적용한 실험에서는 추가적인 성능 향상이 있었다.

• Annual Conference on Human and Language Technology
• /
• 1999.10e
• /
• pp.231-236
• /
• 1999

시간표현은 문장에서 다른 명사와 결합하여 복합어를 이루는 경우가 있고, 용언과 결합하여 시간 부사의 역할을 하는 경우가 있는데, 이는 구문 분석에 있어서 중의적 해석이 두드러지며, 그 결과 구문 분석의 오류를 빈번히 야기하기도 한다. 본 논문에서는 이러한 시간 관계의 표현을 대량의 말뭉치로부터 획득하고 이들을 부분문법(local grammar)으로 표현한 후, 이것을 FST(Finite State Transducer)를 이용하여 부분 구문분석을 하고자 한다. 이를 위해 5천만 어절의 말뭉치에서 259개의 시간 단어를 추출하였고, 시간 단어들의 의미적 또는 기능적 사용에 의해서 26개의 어휘 범주로 분류하고 각 범주들의 결합관계를 일반화하였다. 실험을 통하여 인식을 위한 시간표현의 결합관계는 최고 97.2%의 정확률을 보였고, 품사태깅에 있어서는 평균 96.8%의 정확률을 보였다. 이는 시간 표현의 결합관계가 부분 구문분석에 있어서 유용한 정보임을 보여준다.