• Title/Summary/Keyword: 용어추출

Search Result 365, Processing Time 0.025 seconds

Text Similarity Decision System by Term Selection Method (용어 선별 기법에 의한 유사 문서 판별 시스템)

  • 장성호;강승식
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.04c
    • /
    • pp.534-536
    • /
    • 2003
  • 대부분의 정보 검색 시스템은 문서 내어서 추출된 모든 용어를 이용해서 문서간 유사도 계산이나 문서 분류, 문서 클러스터링 등에 활용한다. 그러나 실질적으로 문서 내외 모든 용어를 추출해야만 이러한 정보 검색 시스템을 활용할 수 있는 것은 아니며, 오히려 용어 빈도수 같은 가중치가 낮은 용어를 용어 추출에서 제외시킴으로써 모든 용어 추출로 인해서 발생하는 시간과 공간을 많이 소비하는 문제를 해결할 수 있다. 또한 정확하고 자동적인 문서 분류를 위한 문서 클러스터링보다 유사 문서 검색의 활용은 검색효율의 증가를 가져 올 수 있다. 본 논문에서는 유사 문서 판별 시스템을 이용해 용어 추출의 효율성을 실험하였으며, 모든 용어를 추출한 경우보다 중요 용어만 추출한 경우에 더 좋은 성능을 보였다.

  • PDF

Extracting Domain Related Multi-word Terms using Seeds (시드를 이용한 도메인 관련 복합어 추출 기법)

  • 조성원;최종필;김민구
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.166-168
    • /
    • 2004
  • 복합어 추출 기법은 최근 활발한 연구가 진행되고 있는 온톨로지 구축과 정보 검색에 중요한 기법으로 연구되어 왔다. 초기의 연구는 주로 언어학적인 필터 기법이나 통계적 기법을 사용하였지만, 최근 문맥정보와 의미 사전 등을 이용하여 용어를 추출하는 방법으로 발전해 오고 있다. 또한 정보검색 분야와 온톨로지 분야에서도 모든 용어를 추출하는 방법보다 문서 집합의 도메인에 적합하다고 판단되는 용어들을 추출하는 방법이 그 성능을 향상시킬 수 있다. 본 논문에서는 통계학적 방법을 이용하여 도메인에 적합한 시드 용어의 추출을 하고, 그 시드 용어를 이용해 가중치를 정제하는 방법과 시드 용어로부터 관련된 용어를 추출해 나가는 방법을 적용하여 문서 집합의 도메인에 맞는 용어들을 추출하고자 한다.

  • PDF

A terminology extraction system (전문용어 추출시스템)

  • 박정오;황도삼
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.04b
    • /
    • pp.381-383
    • /
    • 2000
  • 현재, 과학기술, 정치, 사회, 문화의 급격한 변화와 발전에 따라, 전문분야마다 새로운 전문용어가 빈번히 생성되거나 소멸되고 있다. 이러한 전문용어를 포함한 문서를 정확히 해석하기 위해서는 전문용어 전자사전이 필요하다. 전문용어 전자사전을 개발하는데는 수시로 생성되는 전문용어 표제어를 정확히 추출하는 것이 무엇보다 중요하다. 본 논문에서는 이러한 전문용어 표제어를 컴퓨터를 이용하여 추출하는 시스템을 개발하였다. 기본적으로 기존의 전문용어가 사용된 특정어구를 이용하여 전문용어를 추출한다. 또한, 전문용어의 어절 패턴을 이용하여 후보 전문 용어를 추출한 후, 전문용어를 구성할 수 있는 단어의 위치정보를 이용하여 전문용어를 추출하는 방법을 제안한다. 기존 전문용어 사전에 없는 단어에 대해서는 시소러스를 이용하여 유사 단어의 위치정보를 이용하는 방법을 이용하였다.

  • PDF

Mining Korean-English Terminologies by Pattern Generation in Internet (패턴생성을 통한 인터넷 문서의 한글-영문용어 추출)

  • 강재호;김종성;류광렬
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.148-150
    • /
    • 2003
  • 전문용어의 가짓수가 많고 생성빈도 또한 높은 분야에서 고품질의 정보검색과 기계번역 결과를 얻기 위해서는 상당 분량의 번역용어사전의 확보가 필수적이다. 이러한 분야에서 번역용어사전을 수작업으로 구축하는 것은 큰 부담이 된다. 본 논문에서는 이미 알고 있는 용어(원어)와 번역용어를 말뭉치에서 함께 표기한 부분을 찾아 패턴화하는 작업과, 생성된 패턴으로 추가의 용어-번역용어를 추출하는 작업을 반복하여 수행함으로써 번역용어사전을 자동으로 구축하는 방안을 제안한다. 인터넷 문서를 대상으로 본 제안방법을 적용해 본 결과 상당분량의 유효한 한글-영문용어들을 추출할 수 있었다.

  • PDF

Evaluation of English Term Extraction based on Inner/Outer Term Statistics

  • Kang, In-Su
    • Journal of the Korea Society of Computer and Information
    • /
    • v.25 no.4
    • /
    • pp.141-148
    • /
    • 2020
  • Automatic term extraction is to recognize domain-specific terms given a collection of domain-specific text. Previous term extraction methods operate effectively in unsupervised manners which include extracting candidate terms, and assigning importance scores to candidate terms. Regarding the calculation of term importance scores, the study focuses on utilizing sets of inner and outer terms of a candidate term. For a candidate term, its inner terms are shorter terms which belong to the candidate term as components, and its outer terms are longer terms which include the candidate term as their component. This work presents various functions that compute, for a candidate term, term strength from either set of its inner or outer terms. In addition, a scoring method of a term importance is devised based on C-value score and the term strength values obtained from the sets of inner and outer terms. Experimental evaluations using GENIA and ACL RD-TEC 2.0 datasets compare and analyze the effectiveness of the proposed term extraction methods for English. The proposed method performed better than the baseline method by up to 1% and 3% respectively for GENIA and ACL datasets.

Automatic Term Recognition using Domain Similarity and Statistical Methods (분야간 유사도와 통계기법을 이용한 전문용어의 자동 추출)

  • Oh, Jong-Hoon;Lee, Kyung-Soon;Choi, Key-Sun
    • Journal of KIISE:Software and Applications
    • /
    • v.29 no.4
    • /
    • pp.258-269
    • /
    • 2002
  • There have been many studies of automatic term recognition (ATR) and they have achieved good results. However, there are scopes to improve the performance of extracting terms still further by using the additional technical dictionaries. This paper focuses on the method for extracting terms using the hierarchy among technical dictionaries. Moreover, a statistical method based on frequencies, foreign words, and nested relations assists extracting terms which do not appear in dictionaries. Our method produces relatively good results for this task.

Performance Improvement of Information Retrieval System by means of Fuzzy Relational Product (퍼지관계곱을 이용한 정보검색시스템의 성능 개선)

  • 김창민;김용기
    • Journal of the Korean Institute of Intelligent Systems
    • /
    • v.10 no.3
    • /
    • pp.242-251
    • /
    • 2000
  • 퍼지관계 개념을 응용한 BK-퍼지정보검색기법은 형태론에 입각하는 기존의 정보검색기법과는 달리 문서와 용어의 상대적 의미에 근거한 정보검색 기법이다. 그러나 BK-퍼지정보검색기법은 높은 시간복잡도(time complexity)의 검색 연산을 내재하고 있어 실제 대용량의 정보 검색은 사실상 불가능하다. 본 논문에서는 BK-퍼지검색정보모델의 시간복잡도를 낮추기 위해, 축소용어집합(reduced term set)을 이용한 개선된 BK-퍼지정보검색모델(A-FIRM)을 제안한다. 개선된 BK-FIRM은 시스템 처리시간과 신뢰도 간 상층점(trade-off)을 제공한다. 축소용어집합은 용어집합의 부분집합으로서 검색결과의 신뢰도와 밀접한 관계를 가진다. 동일한 크기의 축소용어집합이 주어질 때, 보다 적절한 용어들로 구성된 축소용어집합이 보다 나은 검색 신뢰도를 이끈다. 따라서 보다 적절한 축소용어집합 구성을 위한 축소용어집합 추출방법이 요구된다. 본 논문에서는 축소용어집합 추출방법을 크게 무작위 추출, 규칙에 의한 추출, 인간에 의한 직관적 추출 방법으로 구분하고 검색결과의 신뢰도 변화 형태를 분석한다.

  • PDF

Automatic Term Recognition Through EM Algorithm (EM 알고리즘을 이용한 전문용어의 자동 추출)

  • 오종훈;김재호;최기선
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.487-489
    • /
    • 2003
  • 전문용어란 전문분야의 개념이 언어적으로 표현된 형태이다. 전문분야마다 분야 특성 적인 개념이 사용되므로, 전문용어는 전문분야를 특성화하는 단위로 사용된다. 따라서 전문분야문서에 대한 자연언어처리에서 전문용어를 효과적으로 처리하는 것은 매우 중요하다. 전문용어 추출은 분야 특성적인 전문용어를 해당 분야 문서에서 파악하는 작업을 말한다. 본 논문에서는 기계학습방법을 이용한 전문용어 자동 추출 기법을 제안한다. 본 논문의 기법은 전문분야 사전과 전문분야 문서를 이용하여 문서에서 나타나는 전문용어의 특성을 파악하고 이를 이용하여 전문용어를 추출한다. 본 논문의 기법은 70,000단어 수준의 영어 의학분야 300개 문서에 대하여 약 77%의 정확률로 전문용어를 추출하였다.

  • PDF

Automatic Extraction of Medical Term Definition from Texts (의학 전문용어의 정의문 자동 추출)

  • 김재호;배선미;신효식;최기선
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.04b
    • /
    • pp.922-924
    • /
    • 2004
  • 지식 정보의 확산에 따라 기존 전문분야 용어집에 수록되지 않은 용어의 수가 폭발적으로 증가하고 있다 이에 따라 용어집을 자동으로 구축하는 작업이 필요하게 되었다. 본 논문에서는 의학분야 코퍼스에서 주어진 전문용어에 대한 정의문을 자동으로 추출하는 방법을 제안한다. 우선, 정의문의 구문적 패턴과 용어의 어휘구성 패턴을 이용하여 용어의 상위개념을 추정한다. 상위개념별로 구축된 특성 어휘 목록을 이용하여 구문적 패턴으로 뽑힌 문장에 등장하는 어휘의 적합성 여부를 판단하여 정의문을 추출한다. 실험 결과 코퍼스에 정의 정보가 있는 48개의 용어에 대하여 71.43%의 정확률을 보인다.

  • PDF

A Method for Automatic Extract ion of Term Definition from Text (텍스트로부터 용어 정의문의 자동 추출 방법)

  • Shin, Hyo-Shik;Kim, Jae-Ho;Lee, Hae-Yun;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.292-299
    • /
    • 2002
  • 본 연구는 텍스트 코퍼스로부터 용어의 정의를 자동으로 추출하여 용어의 자동 추출기술과 통합하여 다목적의 용어뱅크를 구축하기 위한 목적으로부터 출발하였다. 지식정보의 확산에 따라 기존 전문분야 용어집에 수록되지 알은 용어의 수는 폭발적으로 증가하고 있다. 기존의 용어집 혹은 용어사전의 디지털화만으로는 새로운 전문용어의 포괄성에서 한계가 있는 것이다. 정보의 획득이라는 면에서 보면 이러한 한계를 극복하고 모든 용어에 대해서 즉시적으로 용어의 정의를 제공받는 것이 바람직하다. 자동으로 구축된 용어집의 응용은 여러 가지로 기대된다. 새로운 용어에 대한 의미 파악을 위해서는 물론, 확장된 전문용어집의 작성이나 전문분야 온톨로지의 구축 등에도 이용될 수 있다.

  • PDF