• 제목/요약/키워드: 다의어 분석

검색결과 20건 처리시간 0.021초

모두의 말뭉치를 이용한 한국어 다의어 분별 (Korean Polysemy Word-Sense-Disambiguation using MoDu-Corpus)

  • 신준철;이주상;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.205-210
    • /
    • 2020
  • 한국어 자연어처리 분야가 발달하면서 동형이의어 분별을 한 단계 넘어선 다의어 분별의 중요성이 점점 상승하고 있다. 최근에 다의어가 태깅된 "모두의 말뭉치"가 발표되었고, 이 말뭉치는 다의어가 태깅된 최초의 공개 말뭉치로써 다의어 연구가 본격적으로 진행될 수 있음을 의미한다. 본 논문에서는 이 말뭉치를 학습하여 작동하는 다의어 분별의 초기 모델을 제시하며, 이 모델의 실험 결과는 차후 연구를 위한 비교 기준점이 될 수 있다. 이 모델은 딥러닝을 사용하지 않은 통계형으로 개발되었고, 형태소분석과 동형이의어 분별은 기존의 UTagger로 해결하고 말뭉치 자원 외에도 UWordMap을 사용하여 다의어 분별을 보조하였다. 이 모델의 정확률은 약 87%이며, 다의어 분별 전에 형태소분석 또는 동형이의어 분별 단계에서 오류가 난 것을 포함한다. 현재까지 공개된 이 말뭉치는 오직 명사만 다의어 주석이 있기 때문에 명사만 정확률 측정 대상이 되었다. 이 연구를 통하여 다의어 분별의 어려움과, 다의어 분별에는 동형이의어 분별과는 다른 방법이 필요하다는 것을 확인할 수 있었다.

  • PDF

어휘지도(UWordMap)를 활용한 명사와 용언의 다의어 중의성 해소 (Noun and Verb Polysemy Word Sense Disambiguation Using UWordMap)

  • 신준철;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.216-219
    • /
    • 2015
  • 컴퓨터를 이용하여 명사와 용언의 의미를 자동으로 분별하는 것은 기계번역이나 검색 등의 기술에서 아주 중요한 기반 기술이다. 최근에 동형이의어 분별에 대한 연구 결과로 약 96%의 정확률을 보이는 시스템이 개발되었으나, 다의어 분별에 대한 연구는 아직 초기 단계로 일부 어휘만을 한정하여 연구되고 있다. 본 논문에서는 어휘지도를 이용하여 다의어를 분별하는 방법을 연구하였고, 어휘지도에 등록된 모든 일반 명사와 용언을 대상으로 실험하였다. 제안된 알고리즘은 문장에서 나타나는 명사와 용언의 관계를 어휘지도에서 찾고, 그 정보를 기반으로 다의어를 분별하였다. 아직은 그 정확률이 실용적인 수준이라고 볼 수는 없지만, 전체 다의어를 대상으로 실험하였고, 그 실험 결과를 분석함으로써 앞으로의 다의어 분별 연구 방향에 도움될 것으로 판단된다.

  • PDF

LSA모형에서 다의어 의미의 표상 (Representation of ambiguous word in Latent Semantic Analysis)

  • 이태헌;김청택
    • 인지과학
    • /
    • 제15권2호
    • /
    • pp.23-31
    • /
    • 2004
  • 잠재의미분석은 단어 의미를 동일한 맥락 (문장/문서) 하에서 동시에 제시되는 단어들의 공기성(co-occurence)으로 정의한다. 이 분석에서 한 단어는 맥락들을 대표하는 측들로 구성된 다차원 상의 한 점으로 표상 되며, 단어 의미는 각 단어가 맥락 속에서 등장한 빈도로 정의된다. 이 다차원 의미공간은 SVD를 통하여 차원이 축소되어 추상된 의미를 표상 한다. 이 연구는 다의어의 표상이 가능하도록 LSA를 발전시켰다. 제안된 LSA는 축에 대한 해석이 가능하도록 축의 회전을 도입하였으며 다의어 표상을 가능하게 하였다. 시뮬레이션에서는, 먼저 LSA에 의해 산출된 단어-맥락 빈도표에서 다의어를 포함하고 있는 문서들만을 재 수집한 다음 문서들을 다의어 의미별로 분류하였다. 두 번째 단계에서는 다의어의 특정의미에 대한 표상을 분류된 단어-맥락 빈도표에서 비해당 의미에 대한 맥락들을 제거한 후 LSA를 적용하여 구성하였다. 시뮬레이션 결과는 다의어의 의미들을 LSA가 표상 할 수 있음을 보여주었다. 이는 축회전을 포함한 LSA가 다의어 다중의미를 표상 할 수 있고 실용적인 측면에서 웹검색 엔진에도 적용될 수 있음을 시사한다.

  • PDF

가중 문맥벡터와 X-means 방법을 이용한 변형 다의어스킵그램 (Modified multi-sense skip-gram using weighted context and x-means)

  • 정현우;이은령
    • 응용통계연구
    • /
    • 제34권3호
    • /
    • pp.389-399
    • /
    • 2021
  • 최근 자연어 처리 문제에서의 단어 임베딩은 아주 큰 주목을 받고 있는 연구 주제이며 스킵그램은 성공적인 단어 임베딩 기법 중 하나이다. 주변단어들 정보를 이용해서 단어들의 의미를 학습하여 단어 임베딩 벡터를 할당하며 텍스트 자료를 효과적으로 분석할 수 있게 한다. 그러나 벡터 공간 모델의 한계로 인해 기본적인 단어 임베딩 방법들은 모든 단어가 하나의 의미를 가지고 있다는 것을 가정한다. 다의어, 즉 하나 이상의 의미를 가진 단어가 실생활에서 존재 하기 때문에 Neelakantan 등 (2014)은 군집분석 기법을 이용하여 다의어의 여러 의미들에 해당하는 의미 임베딩 벡터를 찾기 위해 MSSG (multi-sense skip-gram)를 제안했다. 본 논문에서는 MSSG의 통계적 성능을 개선시킬 수 있는 변형된 MSSG 방법을 제안한다. 먼저, 가중치를 활용한 가중문맥 벡터를 제안한다. 나아가, 군집의 수, 즉 다의어의 의미 수를 자료에서 자동적으로 추정해주는 x-means 방법을 활용한 알고리즘을 제안한다. 본 논문에서 수행한 실증자료를 기반한 모의실험에서 제안한 방법은 기존 방법에 비해 우수한 성능을 보여주었다.

전문용어사전 표제어 기술형식에 대한 연구 (A Study on the Entry Description Format of Glossaries)

  • 강정미
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 1999년도 제6회 학술대회 논문집
    • /
    • pp.39-42
    • /
    • 1999
  • 우리나라에서 학문분야별로 출판된 전문용어사전의 표제어 기술형식은 매우 상이하다. 이러한 특징은 여러 분야의 전문용어사전을 참조해야 하는 이용자에게 많은 불편을 초래할 뿐만 아니라 표준화된 전자사전에 대한 요구를 충족시키지도 어렵다. 본 연구에서는 전자사전 표준화의 일환인 전문용어사전의 표제어 기술형식 표준화를 위한 기초작업의 일부로서 현재까지 우리나라기서 출판된 전문 용어사전을 대상으로 표제어의 기술형식에 대하여 기술요소, 기술요소의 순서, 띄어쓰기, 다의성을 갖는 용어의 구분, 배열 등에 대하여 조사 분석하였다.

  • PDF

확률적 문법규칙에 기반한 국어사전의 뜻풀이말 구문분석기 (A Parser of Definitions in Korean Dictionary based on Probabilistic Grammar Rules)

  • 이수광;옥철영
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제28권5호
    • /
    • pp.48-460
    • /
    • 2001
  • 국어사전의 뜻풀이말은 표제어의 의미를 기술할 뿐만 아니라, 상위/하위개념, 부분-전체개념, 다의어, 동형이의어, 동의어, 반의어, 의미속성 등의 많은 의미정보를 내재하고 있다. 본 연구는 뜻풀이말에서 다양한 의미정보를 획득을 위한 기본적인 도구로서 국어사전의 뜻풀이말 구문분석기를 구현하는 것을 목적으로 한다. 이를 위해서 우선 국어사전의 뜻풀이말을 대상으로 일정한 수준의 품사 및 구문 부착 말 뭉치를 구축하고, 이 말뭉치들로부터 품사 태그 중의성 어절의 빈도 정보와 통계적 방법에 기반한 문법규칙과 확률정보를 자동으로 추출한다. 본 연구의 뜻풀이말 구문분석기는 이를 이용한 확률적 차트파서이다. 품사 태그 중의성 어절의 빈도 정보와 문법규칙 및 확률정보는 파싱 과정의 명사구 중의성을 해소한다. 또한, 파싱 과정에서 생성되는 노드의 수를 줄이고 수행 속도를 높이기 위한 방법으로 문법 Factoring, Best-First 탐색 그리고 Viterbi 탐색의 방법을 이용한다. 문법규칙의 확률과 왼쪽 우선 파싱 그리고 왼쪽 우선 탐색 방법을 사용하여 실험한 결과, 왼쪽 우선 탐색 방식과 문법확률을 혼용하는 방식이 가장 정확한 결과를 보였으며 비학습 문장에 대해 51.74%의 재현률과 87.47%의 정확률을 보였다.

  • PDF

국어사전과 불교 언어: '불교' 영역의 전문용어 기술을 중심으로 (The Korean Dictionary and the Buddhist Language: Description of Popularity of Buddhism Terminologies)

  • 김한샘
    • 비교문화연구
    • /
    • 제45권
    • /
    • pp.195-218
    • /
    • 2016
  • 이 논문은 사전의 백과사전적 요소로서의 전문용어 기술을 불교 언어에 집중하여 살펴보았다. 불교 언어에 대한 선행 연구를 살펴보니 크게 언어 자체에 대한 철학적인 접근, 특정 승려의 언어관 탐색, 불교 언어에 대한 언어학적 고찰 등으로 나누어 볼 수 있다. 불교 언어에 대한 언어학적 고찰은 특정 불경을 분석한 연구와 불교 영역 전반에서 쓰이는 어휘에 대한 연구로 나뉘는데 기존 국어사전에서의 불교 어휘를 살펴보니 인명, 지명, 책명, 역사, 불교' 등의 전문 영역 분류에 걸쳐서 분포하였다. 전문용어의 일반어화가 진행된 경우 전문용어로서의 의미와 일반어로서의 의미를 각각 다의어로 기술하되 어느 것을 먼저 배열하느냐로 개별 어휘의 일반어화의 진행 정도를 확인할 수 있는데 불교 어휘의 경우 불교용어로만 쓰이는 단의어가 가장 많았고 일반어로서의 용법이 우선인 것, 불교용어로서의 용법이 우선인 것의 순으로 나타났으며 일반어로 기술되어 있으나 불교 용어에서 비롯된 어휘도 있었다. 한 사전 안에서 언어 단위에 따라 전문 영역 표지가 달라지는 경우, 사전별로 불교 전문용어 여부에 대한 판단이 다른 경우, 기존의 학술적인 연구 결과와 사전의 기술 내용이 상충되는 경우 등 섬세한 검증을 필요로 하는 사례는 향후 종교 전문가와 언어 전문가, 사전 전문가의 협업을 통해 해결해 나가야 할 것이다.

코퍼스를 통한 고등학교 영어교과서의 어휘 분석 (Usage analysis of vocabulary in Korean high school English textbooks using multiple corpora)

  • 김영미;서진희
    • 영어어문교육
    • /
    • 제12권4호
    • /
    • pp.139-157
    • /
    • 2006
  • As the Communicative Approach has become the norm in foreign language teaching, the objectives of teaching English in school have changed radically in Korea. The focus in high school English textbooks has shifted from mere mastery of structures to communicative proficiency. This paper will study five polysemous words which appear in twelve high school English textbooks used in Korea. The twelve text books are incorporated into a single corpus and analyzed to classify the usage of the selected words. Then the usage of each word was compared with that of three other corpora based sources: the BNC(British National Corpus) Sampler, ICE Singapore(International Corpus of English for Singapore) and Collins COBUILD learner's dictionary which is based on the corpus, "The Bank of English". The comparisons carried out as part of this study will demonstrate that Korean text books do not always supply the full range of meanings of polysemous words.

  • PDF

한국어 비대격 동사의 사건구조 (The Event Structure of Korean Unaccusative Verbs)

  • 이준규;이정민
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 춘계 학술대회
    • /
    • pp.108-113
    • /
    • 2000
  • 자동사의 두 하위부류, 비대격(unaccusative) 동사와 비능격 (unergative)동사는 Perlmutter(1978)의 비대격 가설 (Unaccusative Hypothesis) 이후 여러 관점에서 활발히 노의 되어왔다. 한국어에서는 사건구조적 측면에서 두 부류가 차이를 보이며, 이런 사실은 인간의 인지작용과 밀접한 관련을 맺는다. 사건구조를 과정(process)사건과 상태(state)로 가정할 때 비능격 동사는 과정사건이, 비대격 동사는 상태사건이 부각된다. 비대격 동사도 두 가지 부류로 나뉠 수 있는데, '도착하다'처럼 과정사건이 언어표현에서 중시되지 않고 결과적인 상태부분만 중요시 되는 유형(unacc_type_1)과 '녹다'처럼 과정사건도 중시되는 사건 구조를 지닌 유형(unacc_type_2)이다. 결국 비대격 동사는 결과상태를 중시하는 사건구조를 중요시 하지만 과정사건의 지각 정도에 따라 다른 양상을 보인다. 한편 비대격 동사는 사동사와도 밀접한 연관 관계를 지닌다. 많은 논의에서 비대격/사동의 교체를 논리적 다의어로 보고 분석을 시도해 왔다. 따라서 사동사를 중심으로 분석한 경우와 비대격 동사를 중심으로 분석한 경우가 있다. 본고에서는 사동분석(causative analysis)은 한국어 기술에는 적절치 않다고 판단한다. 사동분석에서 도입하는 행동주의 사건유발부분이 반드시 비대격 동사의 표현에 필수적인 것은 아니기 때문이다. 끝으로 Pustejovsky(1995)의 생성어휘부(Generative Lexicon) 이론을 한국어에 맞게 확장·수정한 이정민·강범모·남승호(1997)의 모형에 따라 두 가지 유형의 비대격 동사의 어휘 의미구조를 표상한다.

  • PDF

대화형 질의 처리 에이전트를 이용한 지능형 정보검색 (Intelligent Information Retrieval Using Interactive Query Processing Agent)

  • 이현영;이기오;한용기
    • 한국컴퓨터산업학회논문지
    • /
    • 제4권12호
    • /
    • pp.901-910
    • /
    • 2003
  • 대부분의 상업용 정보검색 시스템은 사용자의 질의 형태로 불리언 질의를 채용했다. 불리언 질의는 빠른 검색을 필요로 하는 검색엔진에는 유용할지라도 불리언 연산자로 사용자의 요구를 정확하게 표현하기는 어렵다. 따라서 사용자에게 편리한 자연어 질의를 이용하는 검색 엔진에 대한 연구가 있어왔다 문서를 검색하기 위해서 사용자는 자신의 요구를 정확하게 표현해야 하며 사용자의 요구도 적절해야 한다. 따라서 본 논문에서는 자연어를 이용한 대화형 질의 처리 에이전트를 제안한다. 이 에이전트는 사용자와 점진적인 대화를 통해 사용자의 요구를 정확하게 표현한다. 사용자가 자연어 질의를 입력하면 에이전트는 질의를 분석하고 적절한 키워드를 추출하여 불리언 질의어를 생성한다. 추출된 키워드가 동의어이거나 다의어이면 사용자와 대화를 통해서 키워드를 한정하거나 확장한다. 이렇게 함으로써 사용자의 요구를 보다 구체적으로 표현하여 시스템의 성능을 향상시킨다. 따라서 본 시스템은 정보검색에서 정확률을 향상시킬 수 있다.

  • PDF