• 제목/요약/키워드: 단어 모호성

검색결과 49건 처리시간 0.023초

복합 단위 정보를 이용한 차트 파서 (Chart Parser Using Compound Unit Information)

  • 정한민;여상화;김태완;박동인
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.291-295
    • /
    • 1997
  • 본 논문은 복합 단위 정보를 이용하여 모호성을 감소시키고 자연스러운 대역어 정보를 제공할 수 있는 차트파서를 기술한다. 복합 단위 정보를 사용하는 파싱은 태깅과 구문 분석 과정 사이에서 여러 단어들을 하나의 단위로 만들어서 형태론적/구문적 모호성과 파스 트리의 수를 감소시킨다. 우리는 Bottom-up 차트 파싱을 사용하는데, 이는 모호성 있는 태깅 결과가 많을수록 파스 트리의 생성 시간과 수의 증가를 초래하므로 복합 단위를 사용하여 파서에 대한 입력 단어의 수 및 모호성을 감소시켜 안정적인 파싱 결과를 얻을 수 있게 한다. 실험 결과는 복합 단위 정보를 사용한 차트 파싱이 차트들의 크기와 파스 트리의 수를 50%까지 감소시킴을 보여준다.

  • PDF

한국어 품사 모호성 해서를 위한 통계적 모델 (A Stochastic Model for Leical Disambiguation in Korean)

  • 이상호
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1994년도 제11회 음성통신 및 신호처리 워크샵 논문집 (SCAS 11권 1호)
    • /
    • pp.71-74
    • /
    • 1994
  • 종래의 자연언어 처리 시스템에서는 품사 모호성이 그대로 구문 분석기의 입력으로 사용되었으나, 최근에와서 품사 모호성 해소에 관한 논의가 활발히 진행되고 있다. 본 논문에서는 품사 모호성 해소를 위한 두 개의 통계적 모델이 경로 기반 태깅 모델과 상태 기반 태깅 모델을 설명한다. 그리고하나의 최적 품사열만을 구할 경우 단어당 94% 내외의 정확률을 가지므로 N개의 최적 품사열을 구하는 다중 출력 태거에 대해 각각 설명한다.끝으로 한국어에 이러한 통계적 모델들을 적용한 결과와 발생되는 문제점들을 논한다.

  • PDF

한국어 텍스트의 개체 URI 탐지: 품사 태깅 독립적 개체명 인식과 중의성 해소 (A Non-morphological Approach for DBpedia URI Spotting within Korean Text)

  • 김영식;함영균;김지성;황도삼;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.100-106
    • /
    • 2014
  • URI spotting (탐지) 문제는 텍스트에 있는 단어열 중에서 URI로 대표되는 개체(entity)에 해당되는 것을 탐지하는 것이다. 이 문제는 두 개의 작은 문제를 순차적으로 해결하는 과제이다. 즉, 첫째는 어느 단어열이 URI에 해당하는 개체인가를 인식하는 것이고, 둘째는 개체 중의성 해소 문제로서 파악된 개체가 복수의 URI에 해당할 수 있는 의미적 모호성이 있을 때 그 URI중 하나를 선택하여 모호성을 해소하는 것이다. 이 논문은 디비피디아 URI를 대상으로 한다. URI 탐지 문제는 개체명 인식 문제와 비슷하나, URI(예를 들어 디비피디아 URI, 즉 Wikipedia 등재어)에 매핑될 수 있는 개체로 한정되므로 일반적인 개체명 인식 문제에서 단어열의 품사열이 기계학습의 자질로 들어가는 방법론과는 다른 자질을 사용할 수 있다. 이 논문에서는 한국어 텍스트를 대상으로 한국어 디비피디아 URI 탐지문제로서 SVM을 이용한 개체경계 인식 방법을 제시하여, 일반적 개체명 인식에서 나타나는 품사태거의 오류파급효과를 없애고자 한다. 또한 개체중의성 해소 문제는 의미모호성이 주변 문장들의 토픽에 따라 달라지므로, LDA를 활용하며 이를 영어 디비피디아 URI탐지에서 쓰인 방법들과 비교한다.

  • PDF

연관 관계와 TF*IDF를 이용한 검색 결과 Re-Ranking (Re-ranking for Search result using association relationship and TF*IDF)

  • 이정훈;전서현
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2010년도 한국컴퓨터종합학술대회논문집 Vol.37 No.1(C)
    • /
    • pp.349-352
    • /
    • 2010
  • 질의를 이용한 정보 검색 기술에서 단어 의미의 모호성에 의해 사용자가 검색 하고자 하는 주제 이외의 문서 까지 검색되고 있다. 이러한 문제는 모바일기기의 검색 환경에서 두드러진다. 모바일에서의 검색은 문서의 로딩속도가 느리며 작은 화면에 의해 스크롤이 잦다. 그러므로 원하는 검색 결과가 검색 첫 페이지 이외에 위치하거나, 또는 페이지 하단에 위치할 경우 검색 결과를 확인하는 대에 많은 시간과 노력이 필요하다. 이러한 문제를 해결하기위해선 단어 의미의 모호성을 해결하고 사용자가 검색하고자하는 주제의 검색결과를 검색 상위에 위치시킬 수 있는 방법을 필요로 한다. 이 연구에서는 연관 단어 추출과 TF*IDF를 이용하여, 검색결과를 re-ranking하는 방법을 제시한다.

  • PDF

의미네트워크를 이용한 단어의미의 모호성 해결방법 (A Word Sense Disambiguation Method with a Semantic Network)

  • 나동렬
    • 인지과학
    • /
    • 제3권2호
    • /
    • pp.225-248
    • /
    • 1992
  • 본 논문에서는 의미 네트워크에 기반을 둔 지식베이스를 이용하여 단어 의미의 모호성을 해소하는 방법들을 소개 한다. 기본이 되는 방법은 입력문자의 의미해석이 진행됨에 따라 수집되는 지식베이스내의 경로(path)들을 추적하여 이용하는 것이다. 이러한 경로들을 의미경로(semantic path)라고 부른다. 파싱과정에서 한 단어가 입력되면 이단어가 가질수 있는 의미 중에서 어느 의미 경로에도 이용되지 않은 것들이 제거된다. 각 제거는 의미 경로들을 통하여 전파되어 이미 입력된 다른 단어들의 의미의 제거를 유발한다. 이 박업은 더이상 제거되는 의미가 없을때 까지 반복 진행된느데 이를 recursive word sense removal 작업이라 부른다. 추상적인 개념의 구체화(conctetion) 작업도 단어 의미 모호성해소의 중요한 방법인데, 본 논문에서는 이를 경로조절작업(path adjustment operation)이라고 불리는 방법을 이용하여 확장시키는 방법을 소개한다. 의미사이의 연과성(semantic association)이나 구문분석으로부터의 정보를 위의 방법들과 관련지어 이용하는 방법도 살펴본다.

상위어 관계를 이용한 개념 계층의 생성 (Concept Hierarchy Creation Using Hypernym Relationship)

  • 신명근
    • 한국컴퓨터정보학회논문지
    • /
    • 제11권5호
    • /
    • pp.115-125
    • /
    • 2006
  • 개념 계층은 지식을 그룹화하여 다단계로 표현하며, 이는 자료의 분류, 저장 및 검색을 효율적으로 지원해 준다. 일반적으로 도메인 전문가의 수작업을 통해 개념 계층이 생성되었으며, 이는 생성과 유지에 많은 비용이 소요되면서도 일관성 유지가 어려운 단점이 있다. 본 논문은 미리 정의된 상위어 관계를 이용하여 문자형 자료의 개념 계층을 자동으로 생성하는 방법에 대한 연구이다. 개념 계층의 자동 생성을 위해서는, 다중 의미로 사용되는 단어에서 적절한 의미를 찾아 내어 모호성을 제거해야 하며, 외부 정보를 이용하여 모호성이 제거된 단어를 그룹화하고 계층을 생성하는 작업이 필요하다. 우리는 워드넷 (WordNet)의 다중 의미에 대한 설명 및 상위어 관계를 이용하여 모호성을 제거하고 개념 계층을 생성하는 방법을 제안 한다.

  • PDF

상호 정보를 이용한 어의 모호성 해소에 관한 연구 (A Study on Resolving Word Sense Ambiguity Using Mutual Information)

  • 전미선;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.369-373
    • /
    • 1994
  • 정보 검색 시스템의 정확성은 색인어의 정확성과 질의 해석의 정확성에 의존한다. 한국어 정보 검색분야에서는 한국어의 특성을 고려하는 것이 무엇보다 중요하다. 한국어의 문서 색인과 질의 해석시 야기되는 어의 모호성(word sense ambiguity)을 가지는 단어에 대해서는 어의 모호성을 해소한 정확한 색인과 질의 해석이 전제되어야 정확한 문서를 검색해낼 수 있다. 본 논문은 한국어 문서 색인시 동음이의어(homonym)에 의해 발생하는 어의 모호성을 해소하기 위한 방안에 대해 다루고 있으며 의미적 관련 정보를 이용할 것을 제안하고 타당성을 보이는 실험 결과를 제시한다.

  • PDF

잠재의미색인(LSI) 기법을 이용한 kNN 분류기의 자질 선정에 관한 연구 (Evaluation of the Feature Selection function of Latent Semantic Indexing(LSI) Using a kNN Classifier)

  • 박부영;정영미
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2004년도 제11회 학술대회 논문집
    • /
    • pp.163-166
    • /
    • 2004
  • 텍스트 범주화에 관한 선행연구에서 자주 사용되면서 좋은 성능을 보인 자질 선정 기법은 문헌빈도와 카이제곱 통계량 등이다. 그러나 이들은 단어 자체가 갖고 있는 모호성은 제거하지 못한다는 단점이 있다. 본 연구에서는 kNN 분류기를 이용한 범주화 실험에서 단어간의 상호 관련성이 자동적으로 유도됨으로써 단어 자체 보다는 단어의 개념을 분석하는 잠재의미색인 기법을 자질 선정 방법으로 제안한다.

  • PDF

영한 기계번역에서의 영어 품사결정 모델 (A Model of English Part-Of-Speech Determination for English-Korean Machine Translation)

  • 김성동;박성훈
    • 지능정보연구
    • /
    • 제15권3호
    • /
    • pp.53-65
    • /
    • 2009
  • 영한 기계번역에서 영어 단어의 품사결정은 번역할 문장에 사용된 어휘의 품사 모호성을 해소하기 위해 필요하다. 어휘의 품사 모호성은 구문 분석을 복잡하게 하고 정확한 번역을 생성하는 것을 어렵게 한다. 본 논문에서는 이러한 문제점을 해결하기 위해 어휘 분석 이후 구문 분석 이전에 품사 모호성을 해소하려 하였으며 품사 모호성을 해소하기 위한 CatAmRes 모델을 제안하고 다른 품사태깅 방법과 성능 비교를 하였다. CatAmRes는 Penn Treebank 말뭉치를 이용하여 Bayesian Network를 학습하여 얻은 확률 분포와 말뭉치에서 나타나는 통계 정보를 이용하여 영어 단어의 품사를 결정을 한다. 본 논문에서 제안한 영어 품사결정 모델 CatAmRes는 결정할 품사의 적정도 값을 계산하는 Calculator와 계산된 적정도 값에 근거하여 품사를 결정하는 POSDeterminer로 구성된다. 실험에서는 CatAmRes의 동작과 성능을 테스트 하기 위해 WSJ, Brown, IBM 영역의 말뭉치에서 추출한 테스트 데이터를 이용하여 품사결정의 정확도를 평가하였다.

  • PDF

문장 의도 분류와 개체명 인식을 활용한 개인정보 검출 및 비식별화 시스템 (Personal Information Detection and De-identification System using Sentence Intent Classification and Named Entity Recognition)

  • 서동국;김건우;김재영;이동호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.1018-1021
    • /
    • 2020
  • 최근 개인정보가 포함된 비정형 텍스트 문서들이 유출되거나 무분별하게 공개됨으로써 정보의 주체는 물론 기업들까지 피해를 받고 있다. 데이터를 공개 및 활용하기 위해 개인정보 검출 및 비식별화 과정이 필수적이지만 정형 데이터와는 달리 비정형 데이터의 경우 해당 과정을 자동으로 처리하는 데 한계가 있다. 이를 위해 딥러닝 모델들을 사용하여 자동화하려는 연구들이 있었지만 문장 내 단어의 모호성에 대한 고려 없이 단어 개체명 정보에만 의존하여 개인정보를 검출하는 형태로 진행되었다. 따라서 문장 내 단어들 중 식별 대상인 단어들도 비식별화 되어 데이터에 대한 유용성을 저해할 수 있다는 문제점을 남겼다. 본 논문에서는 문장의 의도 정보를 단어의 개체명 학습 과정에 부가적인 정보로 활용하는 개인정보 검출 모델과 개인정보 데이터의 유용성을 고려한 비식별화 기법을 제안한다.