• KIPS Transactions on Software and Data Engineering
• /
• v.7 no.7
• /
• pp.259-266
• /
• 2018

In this paper, we propose a method to classify a document using a Recurrent Neural Network by extracting features considering word sense and contexts. Word2vec method is adopted to include the order and meaning of the words expressing the word in the document as a vector. Doc2vec is applied for considering the context to extract the feature of the document. RNN classifier, which includes the output of the previous node as the input of the next node, is used as the document classification method. RNN classifier presents good performance for document classification because it is suitable for sequence data among neural network classifiers. We applied GRU (Gated Recurrent Unit) model which solves the vanishing gradient problem of RNN. It also reduces computation speed. We used one Hangul document set and two English document sets for the experiments and GRU based document classifier improves performance by about 3.5% compared to CNN based document classifier.

• Journal of the Korean Institute of Intelligent Systems
• /
• v.24 no.5
• /
• pp.470-476
• /
• 2014

A point of interest is a specific point location such as a cafe, a gallery, a shop, or a park. It consists of a name, a category, a location, and so on. Its information is necessary for location-based application, above all category is basic information. However, category information should be automatically gathered because it costs high to gather it manually. In this paper, we propose a novel method to estimate category of POIs automatically using an inner word and local context. An inner word is a word that contains POI's name. Their name sometimes expose category information. Thus, their name is used as inner word information in estimating category of POIs. Local context information means words around a POI's name in a document that mentioned the name. The context include information to estimate category. The evaluation of the proposed method is performed on two data sets. According to the experimental results, proposed model using combination inner word and local context show higher accuracy than that of model using each.

• Annual Conference on Human and Language Technology
• /
• 1998.10c
• /
• pp.425-429
• /
• 1998

본 논문은 문맥에서 추출한 가중치 정보를 이용한 한국어 동사의 의미 중의성 해소 모델을 제안한다. 중의성이 있는 단어가 쓰인 문장에서 그 단어의 의미 결정에 영향을 주는 단어들로 의미 결정자 벡터를 구성하고, 사전에서 그 단어의 의미 항목에 쓰인 단어들로 의미 항목 벡터를 구성한다. 목적 단어의 의미는 두 벡터간의 유사도 계산에 의해 결정된다. 벡터간의 유사도 계산은 사전에서 추출된 공기 관계와 목적 단어가 속한 문장에서 추출한 거리와 품사정보에 기반한 가중치 정보를 이용하여 이루어진다. 4개의 한국어 동사에 대해 내부실험과 외부실험을 하였다. 내부 실험은 84%의 정확률과 baseline을 기준으로 50%의 성능향상, 외부 실험은 75%의 정확률과 baseline을 기준으로 40 %의 성능향상을 보인다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.41 no.3
• /
• pp.67-77
• /
• 2004

The recent research has been focused on fusion of audio and visual features for reliable speech recognition in noisy environments. In this paper, we propose a neural network based model of robust speech recognition by integrating audio, visual, and contextual information. Bimodal Neural Network(BMNN) is a multi-layer perception of 4 layers, each of which performs a certain level of abstraction of input features. In BMNN the third layer combines audio md visual features of speech to compensate loss of audio information caused by noise. In order to improve the accuracy of speech recognition in noisy environments, we also propose a post-processing based on contextual information which are sequential patterns of words spoken by a user. Our experimental results show that our model outperforms any single mode models. Particularly, when we use the contextual information, we can obtain over 90% recognition accuracy even in noisy environments, which is a significant improvement compared with the state of art in speech recognition. Our research demonstrates that diverse sources of information need to be integrated to improve the accuracy of speech recognition particularly in noisy environments.

• Journal of KIISE:Software and Applications
• /
• v.33 no.7
• /
• pp.636-645
• /
• 2006

A tenn with more domain specific information has higher level of term specificity. We propose new specificity calculation methods of terms based on information theoretic measures using compositional and contextual information. Specificity of terms is a kind of necessary conditions in tenn hierarchy construction task. The methods use based on compositional and contextual information of terms. The compositional information includes frequency, $tf{\cdot}idf$, bigram and internal structure of the terms. The contextual information of a tenn includes the probabilistic distribution of modifiers of terms. The proposed methods can be applied to other domains without extra procedures. Experiments showed very promising result with the precision of 82.0% when applied to the terms in MeSH thesaurus.

• Annual Conference on Human and Language Technology
• /
• 2013.10a
• /
• pp.27-32
• /
• 2013

본 논문은 잘 알려지지 않은 언어 쌍에 대해서 병렬말뭉치(parallel corpus)로부터 자동으로 이중언어 사전을 추출하는 방법을 제안하였다. 이 방법은 중간언어(pivot language)를 매개로 하고 문맥 벡터를 생성하기 위해 공개된 단어 정렬 도구인 Anymalign을 사용하였다. 그 결과로 초기사전(seed dictionary)을 사용한 문맥벡터의 번역 과정이 필요 없으며 통계적 방법의 약점인 낮은 빈도수를 가지는 어휘에 대한 번역 정확도를 높였다. 또한 문맥벡터의 요소 값으로 특정 임계값 이상을 가지는 양방향 번역 확률 정보를 사용하여 상위 5위 이내의 번역 정확도를 크게 높였다. 본 논문은 두 개의 서로 다른 언어 쌍 한국어-스페인어 그리고 한국어-프랑스어 양방향에 대해서 각각 이중언어 사전을 추출하는 실험을 하였다. 높은 빈도수를 가지는 어휘에 대한 번역 정확도는 이전 연구에서 보인 실험 결과에 비해 최소 3.41% 최대 67.91%의 성능 향상을 보였고 낮은 빈도수를 가지는 어휘에 대한 번역 정확도는 최소 5.06%, 최대 990%의 성능 향상을 보였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2022.11a
• /
• pp.88-90
• /
• 2022

영어 교육 시장이 증대되면서 영어 학습을 효과적으로 지원하는 다양한 학습 시스템들이 개발되고 있다. 영어문장을 구성하는 기본적인 단위는 어휘로 문장 전체의 의미를 파악하기 위해서는 어휘의 의미를 이해하는 것이 필수적이다. 따라서 영어 어휘 능력 향상을 위한 다양한 영어 어휘 학습 시스템들이 개발되고 있으나, 어휘가 사용되는 문맥을 고려하거나 동시에 학습하면 효과적인 어휘 등 어휘 학습에 효과적인 교수학습 방법의 원리가 적용된 영어 어휘 학습 시스템에 대한 연구는 미비한 상황이다. 본 논문에서는 n 개의 영어 단어가 하나의 그룹으로 동시에 제시되면서 그 n개의 영어 단어가 모두 포함된 예문을 제공하는 지능형 영어 어휘 학습 시스템을 설계한다. 임의로 n 개의 영어 어휘가 주어졌을 경우 문맥에 맞게 영어 예문을 자동으로 생성하는 지능형 영어 문장 생성 모델이 본 연구의 핵심이다. 또한, 어휘 능력 평가에서 기존 어휘 학습 시스템과 같이 단순히 어휘를 얼마나 암기하고 있는지에 대한 평과 결과만을 제시하는 것이 아니라, 그룹별 취약 어휘 분석을 통해 효과적인 그룹 어휘 선택 규칙을 파악할 수 있는 기반을 마련하고자 한다. 본 논문에서 제안한 지능형 영어 어휘 학습 시스템을 통해 영어 어휘 학습자들의 학습 능력 향상에 도움이 될 것으로 기대한다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.54-59
• /
• 2020

사실 불일치 교정은 기계 요약 시스템이 요약한 결과를 실제 사실과 일치하도록 만드는 작업이다. 실제 요약 생성연구에서 가장 공통적인 문제점은 요약을 생성할 때 잘못된 사실을 생성하는 것이다. 이는 요약 모델이 실제 서비스로 상용화 하는데 큰 걸림돌이 되는 부분 중 하나이다. 본 논문에서는 원문으로부터 개체명을 가져와 사실과 일치하는 문장으로 고치는 방법을 제안한다. 이를 위해서 언어 모델이 개체명에 대한 문맥적 표현을 잘 생성할 수 있도록 학습시킨다. 그리고 학습된 모델을 이용하여 원문과 요약문에 등장한 개체명들의 문맥적 표현 비교를 통해 적절한 단어로 교체함으로써 요약문의 사실 불일치를 해소한다. 제안 모델을 평가하기 위해 추상 요약 데이터를 이용해 학습데이터를 만들어 학습하고, 실제 시나리오에서 적용가능성을 검증하기 위해 모델이 요약한 요약문을 이용해 실험을 수행했다. 실험 결과, 자동 평가와 사람 평가에서 제안 모델이 비교 모델보다 높은 성능을 보여주었다.

• The Journal of the Acoustical Society of Korea
• /
• v.17 no.7
• /
• pp.42-49
• /
• 1998

본 논문에서는 전화망 환경에서 음성 인식 성능을 개선하기 위한 특징 벡터 추출 단계에서의 처리 방법들을 연구하였다. 먼저, 고립 단어 인식 시스템에서 채널 왜곡 보상 방 법들을 단어 모델과 문맥 독립 음소 모델에 대하여 인식 실험을 하였다. 켑스트럼 평균 차 감법, RASTA 처리, 켑스트럼-시간 행렬을 실험하였으며, 인식 모델에 따른 각 알고리즘의 성능을 비교하였다. 둘째로, 문맥 독립 음소 모델을 이용한 인식 시스템의 성능 향상을 위하 여 정적 특징 벡터에 대하여 주성분 분석 방법(principal component analysis)과 선형 판별 분석(linear discriminant analysis)과 같은 선형 변환 방법을 적용하여 분별력이 높은 벡터 공간으로 변환함으로써 인식 성능을 향상시켰다. 또한 선형 변환 방법을 켑스트럼 평균 차 감법과 결합하여 더욱 뛰어난 성능을 보여주었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.07b
• /
• pp.478-480
• /
• 2005

기네스 기록과 같은 기록정보는 사용자가 질의응답 시스템에 자주 질문할 수 있는 내용이지만, 구성단어의 수가 적고 일반적인 단어로 구성되는 기록정보 문장의 특성으로 인해 전통적인 질의응답 시스템에서는 정답을 제시하기 힘든 정보이다. 그러므로 기록정보만을 위한 접근방법이 필요하다. 우리는 기록정보는 특정 문맥에 의해 쓰여지는 경우가 많다는 가정 하에, 문맥 정보를 반영할 수 있는 템플릿을 정의하고, 이 템플릿에 의해서 기록정보를 색인하여 정답을 제시하는 시스템을 제안한다. 템플릿은 거리, 형태소, 형태 소품사, 정답유형, 구문 정보의 5가지 제약정보를 나타낼 수 있게 구성된다. 전통적인 백과사전 QA 시스템과 제안 시스템을 비교하여 평가한 결과, 제안한 방법이 기록정보 QA 시스템에 효과적임을 알 수 있었다.