• Title/Summary/Keyword: 용어추출

Search Result 365, Processing Time 0.028 seconds

Developing a Test-Bed Toolkit for Scientific Document Analysis (기술 문헌 분석 테스트베드 툴킷 개발)

  • Choi, Sung-Pil;Song, Sa-Kwang;Jung, Hanmin
    • Proceedings of the Korea Contents Association Conference
    • /
    • 2012.05a
    • /
    • pp.51-52
    • /
    • 2012
  • 본 논문은 논문, 특허, 연구보고서 등과 같은 다양한 과학기술문헌에 포함된 기술 지식을 효과적으로 추출하는데 필요한 기반 텍스트 분석 엔진들의 성능 평가 및 개선을 위한 테스트베드 툴킷을 소개한다. 이 툴킷은 과학기술분야의 전문용어를 비롯한 인명, 지명, 기관명 등을 자동으로 인식하는 기술개체인식엔진을 위한 테스트베드와 인식된 기술개체 간의 의미적 연관관계를 자동으로 추출하는 기술개체 간 관계추출 테스트베드 로 구성되어 있다.

  • PDF

Design of a Multiagent-based Comparative Shopping System (멀티 에이전트 기반 비교 쇼핑 시스템 설계)

  • 신주리;한상훈;이건명
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.122-124
    • /
    • 2000
  • 이 논문에서는 보다 효과적이고 편리한 서비스를 제공할 수 잇는 전자상거래를 위한 다중 에이전트 기반의 확장된 비교 쇼핑 시스템을 제안한다. 이 시스템은 웹 크로울링(web crawling)을 통해 비교 쇼핑 시스템의 대상이 되는 웹사이트들의 페이지 추출 정보를 입수한다. 각 쇼핑 사이트에서는 정보 추출을 위한 중심이 되는 랩퍼(wraper) 기술은 먼저 정보가 있는 페이지를 가려내고, 정보가 있다고 판명되는 페이지들에서 상품 정보의 위치 즉, 반복되는 패턴(pattern)을 추출하여 필요한 상품 기술 단위 정보를 뽑아내는 학습 알고리즘이며, 각 사이트에 맞게 만들어진 랩퍼 에이전트(wrapper agent)에 대해 유효성을 검사하는 방법론을 제시한다. 또한, 학습 시 필요한 지식(knowledge)으로서의 디렉토리(directory) 구성은 미리 만들어진 표준 카테고리(category)와 용어(terminology) 존재하에 제한적이나마 새로운 디렉토리 요소에 대해 자동으로 확장할 수 있는 방법론을 제안한다.

  • PDF

An XML Keyword Indexing Method Using on Lexical Similarity (단락을 분류에 따른 XML 키워드 가중치 결정 기법)

  • Jeong, Hye-Jin;Kim, Hyoung-Jin
    • Proceedings of the KAIS Fall Conference
    • /
    • 2008.05a
    • /
    • pp.205-208
    • /
    • 2008
  • 보다 효과적인 키워드 추출 및 키워드 가중치 결정을 위하여 문서의 내용뿐 아니라 구조를 이용하여 색인을 추출하는 연구가 이루어지고 있는데, 대부분의 연구들이 XML 단락별 중요도가 아닌, 문맥상의 단락에 대한 중요도를 계산하는게 일반적이다. 이러한 기존 연구들은 대부분이 객관적인 실험을 통해서 중요도를 입증하기보다는 일반적인 관점에서 단순한 수치로 중요도를 결정하고 있다. 본 논문에서는 웹 문서 관리를 위한 표준으로 자리잡아가고 있는 XML 문서의 자동색인을 위하여, 논문을 구성하는 주요 단락을 세분하고, 단락에서 추출된 용어의 가중치를 갱신해 가면서 최종 색인어 가중치를 계산하는 방법을 제안한다.

  • PDF

Feature Selection and Extraction for Document Classifier for If documents based on SVM (SVM기반 정보기술 문서분류를 위한 특성 선택 및 추출 기법)

  • 강윤희
    • Proceedings of the KAIS Fall Conference
    • /
    • 2001.11a
    • /
    • pp.75-78
    • /
    • 2001
  • 본 논문에서는 웹 문서의 자동 분류를 위한 특성 선택 및 추출기법을 기술한다. 최근 인터넷의 급속한 성장과 보급으로 전자우편과 웹을 통해 제공되어지는 정보의 양이 기하급수적으로 증가함에 따라 효율적인 문서 분류의 필요성이 증가하고 있다. 본 논문에서는 웹 디렉토리 내의 문서로부터 추출된 용어 집합을 기반으로 SVM을 사용하여 학습한 후 문서 분류를 수행한다. 본 실험의 문서는 정보통신 분야 디렉토리 서비스 시스템인 itfind로부터 수집된 문서를 대상으로 하였으며 3가지 시나리오에 따라 실험을 수행하여 각 시나리오 별로 재현율/정확율 및 오분류율을 성능 요소로 계산하였다. 본 실험은 학습 벡터 구성과정에서 잡음에 의해 다른 클래스의 문서 분류에 미치는 영향을 평가하여 SVM을 기반으로 한 문서 분류 기법이 강건함을 보였다.

Article Analytic and Summarizing Algorithm by facilitating TF-IDF based on k-means (TF-IDF를 활용한 k-means 기반의 효율적인 대용량 기사 처리 및 요약 알고리즘)

  • Jang, Minseo;OH, Sujin;Kim, Ung-Mo
    • Annual Conference of KIPS
    • /
    • 2018.05a
    • /
    • pp.271-274
    • /
    • 2018
  • 본 논문에서는 뉴스기사 데이터를 활용하여 대규모 뉴스기사를 소주제로 분류하는 군집 분석 방법을 제안한다. 또한, 분류된 뉴스기사를 사용자가 빠르게 이해하고 접할 수 있도록 핵심 문장을 추출하여 제공하는 방법을 제안한다. 분석 데이터는 포털 사이트 점유율 1위인 네이버의 경제 분야 뉴스기사를 크롤링하여 수집한다. 뉴스기사의 분석을 위해 전 처리를 통해 특수문자, 조사, 어미, 구두점 등의 불 용어 처리를 수행한다. 또한, k-means 알고리즘을 이용하여 대용량의 뉴스기사를 주제 별로 분류하는 것을 진행하며 그것을 토대로 핵심 문장을 추출한다. 추출된 핵심 문장은 분류된 뉴스기사의 주제를 나타내며 사용자에게 빠르게 정보를 전달하기 위해 활용한다. 본 논문의 연구 내용이 여러 언론사 사이트에 반영되면 사이트 품질과 사용자 만족도 향상에 기여할 수 있을 것으로 보인다.

Software Effort Estimation Based on UCP from Customer Requirements (고객 요구사항으로부터 UCP 기반 소프트웨어 공수 산정)

  • Park, Bo Kyung;Park, Young Sik;Kim, R. Young Chul
    • Annual Conference of KIPS
    • /
    • 2019.10a
    • /
    • pp.701-703
    • /
    • 2019
  • 현재의 소프트웨어는 매우 크고 복잡하다. 고품질 소프트웨어는 요구사항 단계부터 정확하게 분석해야 한다. 그러나 자연어 요구사항은 부정확하기 때문에 유스케이스 식별이 어렵다. 게다가, 기존 요구 사항 분석 방법은 객체와 용어 식별에 대한 정확한 기준이 없다. 따라서 분석 결과는 분석가마다 다르다. 본 논문에서는 자연어 요구사항으로부터 유스케이스 추출 및 소프트웨어 공수 산정 방법을 제안한다. 제안한 방법에서는 Goal Modeling과 Fillmore의 Case 메커니즘을 개선했다. 이 방법은 자연어 요구 사항을 단계별로 분석하여 유스케이스를 모델링한다. 또한 유스케이스 점수(Use Case Point)를 이용하여 소프트웨어의 공수를 산정(Effort Estimation)한다. 제안한 방법은 고품질 소프트웨어 개발을 위해 자연어 요구사항의 변경 없이 유스케이스 추출이 가능하다. 또한 추출된 유스케이스를 통해 UCP 기반의 공수 산정을 평가할 수 있다. 본 논문에서는 우체국 시스템의 사례에 적용하였다.

A Study on extraction for Korean-English word pair by using LCS algorithm (LCS알고리즘을 이용한 한-영 대역어 추출 연구)

  • Park, Eun-Jin;Yang, Seong-Il;Kim, Young-Kil
    • Annual Conference of KIPS
    • /
    • 2007.05a
    • /
    • pp.707-709
    • /
    • 2007
  • 매일 생성되는 웹 신문에서 독자가 접해보지 못한 단어는 독자의 이해를 돕기 위하여 괄호를 사용한다. 괄호를 사용하여 표기된 웹 신문의 한국어-영어 대역쌍은 특정 기사에는 출현빈도가 낮지만 전체적으로 여러 신문의 기사를 봤을 때, 최소한 한번 이상 출현하게 된다. 즉, 괄호 안의 동일한 영어 용어 두 개 이상의 문장을 최장일치법 알고리즘에 적용하면 한국어 단어 경계를 자동으로 인식할 수 있다. 본 논문에서는 이런 웹 신문의 괄호 표기 특성을 이용하여 한-영 대역어쌍을 추출하는 방법을 제안한다. 웹 신문 기사 43,648 건에서 최대 2,087개의 한-영 대역어를 추출하였다. 3 개의 서로 다른 테스트 그룹으로 실험한 결과 최대 84.2%의 정확도를 보였다.

A Study on the Retrieval Effectiveness of KoreaMed using MeSH Search Filter and Word-Proximity Search (검색용 MeSH 필터와 단어인접탐색 기법을 활용한 KoreaMed 검색 효율성 향상 연구)

  • Jeong, So-Na;Jeong, Ji-Na
    • Journal of the Korea Academia-Industrial cooperation Society
    • /
    • v.18 no.5
    • /
    • pp.596-607
    • /
    • 2017
  • This study examined the method for adding related to "stomach neoplasms" as filters to the Medical Subject Headings (MeSH) for search as well as a method for improving the search efficiency through a word-proximity search by measuring the distance of co-occurring terms. A total of 8,625 articles published between 2007 and 2016 with the major topic terms "stomach neoplasms" were downloaded from PubMed article titles. The vocabulary to be added to the MeSH for search were analyzed. The search efficiency was verified by 277 articles that had "Stomach Neoplasms" indexed as MEDLINE MeSH in KoreaMed. As a result, 973 terms were selected as the candidate vocabulary. "Gastric Cancer" (2,780 appearances) was the most frequent term and 7,376 compound words (88.51%) combined the histological terms of "stomach" and "neoplasm", such as "gastric adenocarcinoma" and "gastric MALT lymphoma". A total of 5,234 compounds words (70.95%), in which the co-occurring distance was two words, were found. The matching rate through the MEDLINE MeSH and KoreaMed MeSH Indexer was 209 articles (75.5%). The search efficiency improved to 263 articles (94.9%) when the search filters were added, and to 268 articles (96.7%) when the 13 word-proximity search technique of the co-occurring terms was applied. This study showed that the use of a thesaurus as a means of improving the search efficiency in a natural language search could maintain the advantages of controlled vocabulary. The search accuracy can be improved using the word-proximity search instead of a Boolean search.

A Comparative Study on Using SentiWordNet for English Twitter Sentiment Analysis (영어 트위터 감성 분석을 위한 SentiWordNet 활용 기법 비교)

  • Kang, In-Su
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.23 no.4
    • /
    • pp.317-324
    • /
    • 2013
  • Twitter sentiment analysis is to classify a tweet (message) into positive and negative sentiment class. This study deals with SentiWordNet(SWN)-based twitter sentiment analysis. SWN is a sentiment dictionary in which each sense of an English word has a positive and negative sentimental strength. There has been a variety of SWN-based sentiment feature extraction methods which typically first determine the sentiment orientation (SO) of a term in a document and then decide SO of the document from such terms' SO values. For example, for SO of a term, some calculated the maximum or average of sentiment scores of its senses, and others computed the average of the difference of positive and negative sentiment scores. For SO of a document, many researchers employ the maximum or average of terms' SO values. In addition, the above procedure may be applied to the whole set (adjective, adverb, noun, and verb) of parts-of-speech or its subset. This work provides a comparative study on SWN-based sentiment feature extraction schemes with performance evaluation on a well-known twitter dataset.

A Junk Mail Checking Model using Fuzzy Relational Products (퍼지관계곱을 이용한 내용기반 정크메일 분류 모델)

  • Park, Jeong-Seon;Kim, Chang-Min;Kim, Yong-Gi
    • Journal of KIISE:Software and Applications
    • /
    • v.29 no.10
    • /
    • pp.726-735
    • /
    • 2002
  • E-mail service has been a general method for communication as internet is widely used instead of post mails. Many companies have invested in e-mail advertisement as e-mail service is spread. E-mail advertisement has an advantage that it can consider personal characters. A lot of e-mail users have been given e-mails that they did not want to receive because their e-mail addresses were opened out to companies on internet. Therefore, they need junk mail checking systems and several e-mail service providers have supported junk mail filters. However, the junk mail filters can check the junk mail with constraint because they don't check the junk degree of mails by the contents of e-mail. This paper suggests a content-based junk mail checking model using fuzzy relational products. The process of the junk mail checking model using fuzzy relational products is as following: (1) analyzes semantic relation between junk words-base and e-mails, (2) checks the junk degree of the e-mail using the semantic relation, (3) checks the mails with SVJ(Standard Value of Junk) if those are junk mail or non-junk mail. The efficiency of the proposed technique is proved by comparing the junk degree of the e-mail and the number of junk mails that was checked by e-mail users and checked by the proposed junk mail checking model.