• 제목/요약/키워드: term extraction

검색결과 340건 처리시간 0.025초

Evaluation of English Term Extraction based on Inner/Outer Term Statistics

  • Kang, In-Su
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권4호
    • /
    • pp.141-148
    • /
    • 2020
  • 용어추출은 도메인 텍스트 모음으로부터 도메인 용어 목록을 인식하는 작업이다. 용어추출의 기존 효과적인 방법들은 비교사 방식으로 동작하며, 후보 용어 집합을 추출하는 작업과 후보 용어에 용어중요도를 할당하는 작업을 주요 단계로 포함한다. 후보 용어의 용어중요도 계산과 관련하여 본 논문에서는 후보 용어의 내부 및 외부용어집합을 활용한다. 내부용어집합은 후보 용어에 포함된 다른 짧은 용어들의 집합이며, 외부용어집합은 후보 용어가 포함된 다른 긴 용어들의 집합이다. 본 논문에서는 후보 용어의 내부 혹은 외부용어집합으로부터 후보 용어의 용어 강도를 계산하는 다양한 강도 함수들을 제시하고, 이들 용어 강도 값들과 C-value 점수를 결합하는 용어중요도 계산 방법을 소개한다. 생물학 및 전산언어학 분야 영어 데이터셋을 사용한 성능 평가에서는 제안된 방법의 용어추출 성능을 비교하고 분석한다. 제안된 방법은 생물학 및 전산언어학 분야 데이터셋에 대해 각각 최대 1%와 3% 차이의 성능 향상을 보였다.

주성분 보유수에 따른 중요 용어 추출의 비교 (Comparison of Significant Term Extraction Based on the Number of Selected Principal Components)

  • 이창범;옥철영;박혁로
    • 정보처리학회논문지B
    • /
    • 제13B권3호
    • /
    • pp.329-336
    • /
    • 2006
  • 문서를 구성하는 단어들은 서로 연관이 있다는 정보를 충분히 이용할 수 있는 다변량 분석 방법 중, 주성분분석(Principal Component Analysis)을 이용하여 중요 용어를 추출하고자 한다. 본 논문에서는 주성분분석의 분석 대상을 용어 사이의 공분산행렬이 아닌 상관행렬을 이용한다. 그리고, 중요 용어를 추출하기 위해서, 보유해야 할 주성분 개수와 주성분과 용어 사이의 상관계수에 대한 최적의 임계치를 찾고자 한다. 283건의 신문기사를 대상으로, 추출된 용어에 기반한 문장 추출 실험 결과, 첫 6개까지의 주성분과 상관계수 |0.4|라는 조건에서 가장 좋은 성능을 보였다.

Energy Minimization Based Semantic Video Object Extraction

  • 김동현;최성환;김봉조;신형철;손광훈
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2010년도 하계학술대회
    • /
    • pp.138-141
    • /
    • 2010
  • In this paper, we propose a semi-automatic method for semantic video object extraction which extracts meaningful objects from an input sequence with one correctly segmented training image. Given one correctly segmented image acquired by the user's interaction in the first frame, the proposed method automatically segments and tracks the objects in the following frames. We formulate the semantic object extraction procedure as an energy minimization problem at the fragment level instead of pixel level. The proposed energy function consists of two terms: data term and smoothness term. The data term is computed by considering patch similarity, color, and motion information. Then, the smoothness term is introduced to enforce the spatial continuity. Finally, iterated conditional modes (ICM) optimization is used to minimize energy function in a globally optimal manner. The proposed semantic video object extraction method provides faithful results for various types of image sequences.

  • PDF

용어 클러스터링을 이용한 단일문서 키워드 추출에 관한 연구 (A Study on Keyword Extraction From a Single Document Using Term Clustering)

  • 한승희
    • 한국문헌정보학회지
    • /
    • 제44권3호
    • /
    • pp.155-173
    • /
    • 2010
  • 이 연구에서는 용어 클러스터링을 이용하여 단일문서의 키워드를 추출하는 알고리즘을 제안하고자 한다. 단락단위로 분할한 단일문서를 대상으로 1차 유사도와 2차 분포 유사도를 산출하여 용어 클러스터링을 수행한 결과, 50단어 단락에서 2차 분포 유사도를 적용했을 때 가장 우수한 성능을 나타냈다. 이후, 용어 클러스터링결과를 이용하여 단일문서의 키워드를 추출하기 위해 단순빈도와 상대빈도의 조합을 통해 다양한 키워드 추출 공식을 도출, 적용한 결과, 단락빈도(pf)와 단어빈도$\times$역단락빈도($tf{\times}ipf$) 조건에서 가장 우수한 결과를 나타냈다. 이 결과를 통해, 본 연구에서 제안한 알고리즘은 좋은 키워드가 가져야 할 두 가지 조건인 주제성과 고른 빈도분포라는 측면에서 단일문서를 대상으로 효과적으로 키워드를 추출할 수 있음을 확인하였다.

Term Frequency-Inverse Document Frequency (TF-IDF) Technique Using Principal Component Analysis (PCA) with Naive Bayes Classification

  • J.Uma;K.Prabha
    • International Journal of Computer Science & Network Security
    • /
    • 제24권4호
    • /
    • pp.113-118
    • /
    • 2024
  • Pursuance Sentiment Analysis on Twitter is difficult then performance it's used for great review. The present be for the reason to the tweet is extremely small with mostly contain slang, emoticon, and hash tag with other tweet words. A feature extraction stands every technique concerning structure and aspect point beginning particular tweets. The subdivision in a aspect vector is an integer that has a commitment on ascribing a supposition class to a tweet. The cycle of feature extraction is to eradicate the exact quality to get better the accurateness of the classifications models. In this manuscript we proposed Term Frequency-Inverse Document Frequency (TF-IDF) method is to secure Principal Component Analysis (PCA) with Naïve Bayes Classifiers. As the classifications process, the work proposed can produce different aspects from wildly valued feature commencing a Twitter dataset.

An Ontology-based Knowledge Management System - Integrated System of Web Information Extraction and Structuring Knowledge -

  • Mima, Hideki;Matsushima, Katsumori
    • 한국전자거래학회:학술대회논문집
    • /
    • 한국전자거래학회 2005년도 e-Biz World Conference 2005
    • /
    • pp.55-61
    • /
    • 2005
  • We will introduce a new web-based knowledge management system in progress, in which XML-based web information extraction and our structuring knowledge technologies are combined using ontology-based natural language processing. Our aim is to provide efficient access to heterogeneous information on the web, enabling users to use a wide range of textual and non textual resources, such as newspapers and databases, effortlessly to accelerate knowledge acquisition from such knowledge sources. In order to achieve the efficient knowledge management, we propose at first an XML-based Web information extraction which contains a sophisticated control language to extract data from Web pages. With using standard XML Technologies in the system, our approach can make extracting information easy because of a) detaching rules from processing, b) restricting target for processing, c) Interactive operations for developing extracting rules. Then we propose a structuring knowledge system which includes, 1) automatic term recognition, 2) domain oriented automatic term clustering, 3) similarity-based document retrieval, 4) real-time document clustering, and 5) visualization. The system supports integrating different types of databases (textual and non textual) and retrieving different types of information simultaneously. Through further explanation to the specification and the implementation technique of the system, we will demonstrate how the system can accelerate knowledge acquisition on the Web even for novice users of the field.

  • PDF

기후변화시나리오를 이용한 미래 장기하상변동 및 골재 채취량 산정: 논산천을 사례로 (Estimation of Future Long-Term Riverbed Fluctuations and Aggregate Extraction Volume Using Climate Change Scenarios: A Case Study of the Nonsan River Basin)

  • 이대업;김민석;오현주
    • 자원환경지질
    • /
    • 제57권2호
    • /
    • pp.107-117
    • /
    • 2024
  • 본 연구에서는 기후변화에 따른 하상변동과 골재 채취량 산정을 위해 논산천 유역을 대상으로 기후변화시나리오 기반의 SWAT 모형을 이용한 강우-유출 모델링과 HEC-RAS 모형을 이용한 장기 하상변동 모델링을 수행하였다. SSP5-8.5 시나리오의 미래 전반기에 대한 강우-유출 및 유사량 해석결과 연강수량의 차이가 최대 600 mm 이상 발생함에 따라 해당 유역의 유사유출량 또한 연간 30,000 ton 이상 차이가 발생하는 것으로 나타났다. 또한, 장기 하상변동 모델링을 통해 논산천 하류 하도의 퇴적구간 및 골재채취 가능량을 산정한 결과 금강 합류부로 부터 약 4.6~6.9 km의 상류부 2.455 km 구간에 대해 골재채취가 가능할 것으로 나타났다. 이러한 결과를 통해 극한강우 또는 가뭄 등의 이상기후로 인한 기후위기의 위험성이 커질 수 있으며 이러한 변동성의 증가는 장기적인 골재채취에 영향을 줄 수 있음을 확인하였다. 따라서 향후 장기적인 골재채취 계획 및 정책 수립에 기후변화의 영향을 고려하는 것이 중요할 것으로 판단된다.

FastText 와 BERT 를 이용한 자동 용어 추출 (FastText and BERT for Automatic Term Extraction)

  • 최규현;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.612-616
    • /
    • 2021
  • 자연어 처리의 다양한 task 들을 잘 수행하기 위해서 텍스트 내에서 적절한 용어를 골라내는 것은 중요하다. 텍스트에서 적절한 용어들을 자동으로 추출하기 위해 다양한 모델들을 학습시켜 용어의 특성을 잘 반영하는 n 그램을 추출할 수 있다. 본 연구에서는 기존에 존재하는 신경망 모델들을 조합하여 자동 용어 추출 성능을 개선할 수 있는 방법들을 제시하고 각각의 결과들을 비교한다.

  • PDF

Cross-Domain Text Sentiment Classification Method Based on the CNN-BiLSTM-TE Model

  • Zeng, Yuyang;Zhang, Ruirui;Yang, Liang;Song, Sujuan
    • Journal of Information Processing Systems
    • /
    • 제17권4호
    • /
    • pp.818-833
    • /
    • 2021
  • To address the problems of low precision rate, insufficient feature extraction, and poor contextual ability in existing text sentiment analysis methods, a mixed model account of a CNN-BiLSTM-TE (convolutional neural network, bidirectional long short-term memory, and topic extraction) model was proposed. First, Chinese text data was converted into vectors through the method of transfer learning by Word2Vec. Second, local features were extracted by the CNN model. Then, contextual information was extracted by the BiLSTM neural network and the emotional tendency was obtained using softmax. Finally, topics were extracted by the term frequency-inverse document frequency and K-means. Compared with the CNN, BiLSTM, and gate recurrent unit (GRU) models, the CNN-BiLSTM-TE model's F1-score was higher than other models by 0.0147, 0.006, and 0.0052, respectively. Then compared with CNN-LSTM, LSTM-CNN, and BiLSTM-CNN models, the F1-score was higher by 0.0071, 0.0038, and 0.0049, respectively. Experimental results showed that the CNN-BiLSTM-TE model can effectively improve various indicators in application. Lastly, performed scalability verification through a takeaway dataset, which has great value in practical applications.

용어를 공유하는 패턴 쌍을 이용한 의미 관계 추출 (Semantic Relation Extraction using Pattern Pairs Sharing a Term)

  • 김세종;이용훈;이종혁
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제15권3호
    • /
    • pp.221-225
    • /
    • 2009
  • 대용량 코퍼스를 사용하여 온톨로지를 구축하는 것은 해당 코퍼스에서 등장하는 용어들과 이들 간의 의미관계를 보다 자동화된 방법으로 추출하는 것으로부터 시작한다. 이때 주로 사용하는 방법이 용어들 사이에서 나타나는 문자열을 일종의 패턴으로 취급하여 특정 패턴과 함께 나타나는 용어들을 해당 패턴에 할당된 의미 관계로 설정하는 방법이다. 하지만 기존의 패턴 기반 의미 관계 추출 방법은 한 문장만을 대상으로 패턴을 추출 및 적용하기 때문에 서로 떨어진 용어에 대한 의미 관계를 추출할 수 없다는 단점을 가지고 있다. 본 논문은 이러한 한계점에 착안하여, 의미 관계를 대표하는 각각의 용어를 하나씩 포함하고 기타 용어를 공유하고 있는 서로 떨어진 패턴 쌍을 추출하여 확장된 패턴을 생성하고 이를 의미 관계 추출에 적용하였다. 본 방법론은 is-${\alpha}$ 관계의 경우 기존 방법론 보다 7.5% 향상된 83.75%의 정확률을, part-of 관계의 경우에는 5% 향상된 동일한 83.75%의 정확률을 보였으며 상대적 재현율을 통해 실제 재현율의 향상 가능성도 함께 제시하였다.