• Annual Conference on Human and Language Technology
• /
• 2017.10a
• /
• pp.298-300
• /
• 2017

본 논문에서는 단순하지만 효과적인 단어 표현 방법인 Bags of Features에 대한 비교 실험을 수행한다. Bags of Features는 어휘집의 크기에 제한이 없으며, 문자 단위의 정보를 반영하고, 벡터화 과정에서 신경망 구조에 의존하지 않는 단어 표현 방법이다. 영어 품사 부착 실험을 사용하여 실험한 결과, one-hot 인코딩을 사용한 모델과 대비하여 학습 데이터에 존재하지 않는 단어의 경우 49.68%, 전체 부착 정확도는 0.96% 향상이 관찰되었다. 또한, Bags of Features를 사용한 모델은 기존의 영어 품사 부착 분야의 최첨단 모델들 중 학습 데이터 외의 추가적인 데이터를 활용하지 않는 모델들과 비견할 만한 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.1-6
• /
• 1997

본 논문에서는 인지적 텍스트 이해 모형을 제시하고 이에 기반한 자동 요약 시스템을 구현하였다. 문서는 정보의 단순한 집합체가 아닌 정형화된 언어 표현 양식으로서 단어의 의미적 정보와 함께 표현 양식, 문장의 구조와 문서의 구성을 통해 정보를 전달한다. 요약 목적의 텍스트 이해 및 분석 과정을 위해 경제 분야 기사 1000건에 대한 수동 요약문을 분석, 이해 모델을 정립하였고. 경제 분야 기사 1000건에 대한 테스트 결과를 토대로 문장간의 관계, 문서의 구조에서 요약 정보 추출에 사용되는 정보를 분석하였다. 본 텍스트 이해 모형은 단어 빈도수에 의존하는 통계적 모델과 비교해 볼 때, 단어 간의 관련성을 찾아내고, 문서구조정보에 기반한 주제문 추출 및 문장간의 관계를 효과적으로 사용함으로서 정보를 생성한다. 그리고 텍스트 이해 과정에서 사용되는 요약 지식과 구조 분석정보의 상관관계를 체계적으로 연결함으로서 자동정보 추출에서 야기되는 내용적 만족도 문제를 보완한다.

• 한국어정보학회:학술대회논문집
• /
• 2017.10a
• /
• pp.298-300
• /
• 2017

본 논문에서는 단순하지만 효과적인 단어 표현 방법인 Bags of Features에 대한 비교 실험을 수행한다. Bags of Features는 어휘집의 크기에 제한이 없으며, 문자 단위의 정보를 반영하고, 벡터화 과정에서 신경망 구조에 의존하지 않는 단어 표현 방법이다. 영어 품사 부착 실험을 사용하여 실험한 결과, one-hot 인코딩을 사용한 모델과 대비하여 학습 데이터에 존재하지 않는 단어의 경우 49.68%, 전체 부착 정확도는 0.96% 향상이 관찰되었다. 또한, Bags of Features를 사용한 모델은 기존의 영어 품사 부착 분야의 최첨단 모델들 중 학습 데이터 외의 추가적인 데이터를 활용하지 않는 모델들과 비견할 만한 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.28-33
• /
• 1997

이 논문에서는 문장 유사도 측정 기법과 말뭉치 정보를 이용한 문서요약 시스템을 구현하였다. 문서 요약은 문서에서 문장 단위로 단어를 추출하여 문장을 단어의 벡터로 표현하고, 문서 내 단어의 출현빈도와 말뭉치 내 단어의 사용빈도를 이용하여 각 문장의 중요도를 계산한다. 그리고 중요도가 높은 상위 몇 위의 문장을 요약문장으로 추출한다. 실험 결과, 문서내 단어빈도의 중요도를 낮추고, 말뭉치내 일반 사용빈도를 단어의 가중치에 추가했을 때 가장 좋은 효율을 보였다. 또 요약하고자 하는 문서와 유사한 말뭉치를 사용 했을 때 높은 효율을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2015.10a
• /
• pp.206-208
• /
• 2015

온라인을 통해 접하게 되는 잘못된 우리말 표현과 외국어 중심 교육 등으로 인하여 학생들의 한국어 능력, 특히 글쓰기 능력에 우려가 높아지고 있다. 본 논문에서는 잘 작성된 말뭉치에서 얻어진 데이터에 기반한 한국어 글쓰기 도우미 시스템을 제안한다. 시스템은 작성 중인 문맥에 맞은 단어를 추천하는 용언/체언 추천과 입력 문장의 주요 단어가 포함된 말뭉치의 문장을 제시하는 유사 문장 추천, 문서의 단어가 문서의 문맥 단어와 조화로운지를 확인하는 어휘 응집성 검사, 단어 중복도를 확인하기 위한 단어 빈도 검사 기능을 제공한다. 시스템에서는 사용자가 말뭉치를 추가하면 색인을 구축할 수 있어 원하는 분야에 맞는 추천과 검사 기능을 제공할 수 있다.

• Journal of KIISE:Software and Applications
• /
• v.28 no.1
• /
• pp.52-63
• /
• 2001

필기 단어 인식 방법에는 낱자별 분할 및 낱자 단위 인식을 통해 인식하는 방법과 단어 사전을 이용하여 단어와 영상을 직접 비교하는 방법이 있다. 이 중 후자는 인식 대상이 되는 단어들이 작은 수의 어휘로 제한되었을 대 매우 효과적이다. 본 논문에서는 입력 영상이 주어졌을 때 자모를 순차적으로 탐색하고 그 결과의 최적 조합을 찾아 인식하는 사전을 이용한 필기 한글 단어 인식 방법을 제안한다. 입력 영상은 사전의 각 단어와의 매칭을 통해 인식된다. 단어는 필기 순서로 정렬된 자모열로 표현하고 입력 영상은 획들의 집합으로 표현한다. 단어의 자모들은 입력 영상으로부터 추출된 획들의 집합으로부터 단계적으로 탐색된다. 각 단계에서는 전 단계까지의 매칭 상태와 탐색하려는 자모의 형태로부터 자모가 존재할 것이라고 기대되는 정합 기대 영역을 설정한 후 그 안에서 자모 탐색기를 이용해 자모를 찾는다. 자모 탐색기는 획들의 집합으로 이루어진 복수의 자모 후보와 그 점수를 출력한다. 각 단계마다 생성된 자모 후보들은 최적의 단어 매칭을 찾기 위한 탐색 공간을 이룬다. 본 연구에서는 단어 사전을 trie로 구성하고, 탐색 과정에서 dynamic programming을 이용하여 효과적으로 탐색을 수행하였다. 또한 인식 속도를 향상시키기 위해 산전 축소, 탐색 공간 축소 등 다양한 지식을 이용하였다. 제안하는 방법은 무제약으로 쓰여진 필기 단어도 인식 할 수 있을 뿐 아니라, 동적 사전을 이용하기 때문에 사전의 내용이 변하는 환경에서도 적용할 수 있다. 인식 실험에서는 39개의 단어로 이루어진 사전에 대하여 613개의 단어 영상에 대해 실험한 결과 98.54%의 높은 인식률을 보임으로써 제안하는 방법이 매우 효과적임을 확인하였다. 아니라 곰팡이 균주도 실제 praxis에 적합하게 개발시킬수 있다. 따라서 앞으로 발효육제품제조에 있어 starter culture가 갖는 의미는 매우 중요하며 특히 짧은 숙성기간을 거치는 발효소시지의 제조에 있어서는 필수불가결한 공정의 한 분야로 자리잡게 될 것이다.큰 차이 없었으나 이중포장과 진공포장은 상당히 효과적임을 알 수 있었다.로는 18%에 비하여 22%가 더 적합한 것으로 생각되었다.$0.15{\sim}0.35%$이었다.irc}C$에서 $13.49{\times}10^{-3}$이었다. 이 값들을 Arrhenius식에 대입하여 구한 활성화 에너지는 24.795 kJ/Kmol이었다. 이 값으로부터 결정한 살균 포장약주 명가의 상용 저장 수명은 $10^{\circ}C$에서 2년, $20^{\circ}C$에서 1년 4개월, $25^{\circ}C$에서 1년 2개월 이었다. 서울의 매월 평균 온도를 기준으로 계산할 때 본제품의 상용저장기간은 1년 8개월이었다.로 반죽이 호화되고 가열시간이 그 이상으로 증가할 때도 반죽의 호화가 약간은 진행되지만 $90^{\circ}C$ 이상의 가열온도에서는 가열시간 0.5분 이내에 반죽의 호화가 급속히 일어나고 가열 시간을 증가시켜도 더이상의 호화는 일어나지 않았다. 같은 조건에서는 waxy corn starch 반죽의 호화 속도가 corn starch보다 더 빠른 것으로 나타났다. 대표적으로 52% 수분함량에서 반응속도상수(k)와 가열온도(T)사이의 관계식은 corn starch의 경우 $logk=11.1140-4.1226{\times}10^3(1/T)

• Digital Contents
• /
• no.5 s.72
• /
• pp.74-76
• /
• 1999

90년대 중반 이후 국내에 본격적으로 등장한 가장 유명한 단어중의 하나가 아마 벤처란 단어일 것이다. 특히 국제 통화기금의 지원을 받게 된 이 후부터는 벤처 산업, 벤처 기업만이 황량한 우리 경제를 살릴 수 있는 유일한 대안이라는 다소 경직된 표현으로 국민적 관심사가 되고 있을 정도이다. 그러나 DB 업계를 포함한 많은 기업들은 벤처 자금의 활용할 방법에 대한 지식이 부족한 상태이다. 이 글에서는 DB업체를 포함한 벤처기업의 벤처 캐피탈 활용방법에 대해 살펴본다.

• Smart Media Journal
• /
• v.7 no.4
• /
• pp.24-29
• /
• 2018

Text analysis technique for natural language processing in deep learning represents words in vector form through word embedding. In this paper, we propose a method of constructing a document vector and classifying it into spam and normal text message, using word embedding and deep learning method. Automatic spacing applied in the preprocessing process ensures that words with similar context are adjacently represented in vector space. Additionally, the intentional word formation errors with non-alphabetic or extraordinary characters are designed to avoid being blocked by spam message filter. Two embedding algorithms, CBOW and skip grams, are used to produce the sentence vector and the performance and the accuracy of deep learning based spam filter model are measured by comparing to those of SVM Light.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.259-263
• /
• 2021

상호참조해결은 주어진 문서에서 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델이 주로 연구되었으나, 512 토큰 이상의 긴 문서를 처리하기 위해서는 512 토큰 이하로 문서를 분할하여 처리하기 때문에 길이가 긴 문서에 대해서는 상호참조해결 성능이 낮아지는 문제가 있다. 본 논문에서는 512 토큰 이상의 긴 문서를 위한 BERT 기반의 end-to-end 상호참조해결 모델을 제안한다. 본 모델은 긴 문서를 512 이하의 토큰으로 쪼개어 기존의 BERT에서 단어의 1차 문맥 표현을 얻은 후, 이들을 다시 연결하여 긴 문서의 Global Positional Encoding 또는 Embedding 값을 더한 후 Global BERT layer를 거쳐 단어의 최종 문맥 표현을 얻은 후, end-to-end 상호참조해결 모델을 적용한다. 실험 결과, 본 논문에서 제안한 모델이 기존 모델과 유사한 성능을 보이면서(테스트 셋에서 0.16% 성능 향상), GPU 메모리 사용량은 1.4배 감소하고 속도는 2.1배 향상되었다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.13 no.5
• /
• pp.37-47
• /
• 2013

Text Mining is a research area of retrieving high quality hidden information such as patterns, trends, or distributions through analyzing unformatted text. Basically, since text mining assumes an unstructured text, it needs to be represented as a simple text model for analyzing it. So far, most frequently used model is VSM(Vector Space Model), in which a text is represented as a bag of words. However, recently much researches tried to apply a graph-based text model for representing semantic relationships between words. In this paper, we survey research trends of graph-based text representation models for text mining. Additionally, we also discuss about future models of graph-based text mining.