• Title/Summary/Keyword: 어휘 처리

Search Result 684, Processing Time 0.024 seconds

Accurate Unlexicalized Korean Parsing (고성능 비어휘정보 한국어 구문분석)

  • Oh, Jin-Young;Cha, Jeong-Won
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2010.06c
    • /
    • pp.295-298
    • /
    • 2010
  • 본 논문에서는 어휘정보를 사용하는 한국어 구문분석 성능과 거의 비슷한 성능을 내는 비어휘정보 한국어 의존 구문분석에 대해서 설명한다. 본 논문에서는 어휘정보를 대신해서 품사정보와 어절 구문태그 정보를 사용하고 CRFs를 사용하여 레이블링 방법으로 구문분석 한다. 자질을 변경하여 어절 처음에 나타나는 용어 정보와 뒤 어절의 용언 정보를 추가하였다. 본 논문에서 제시하는 실험 결과(어절:85.73%, 문장:43.86%)는 현재 최고의 성능을 내는 어휘정보 사용 한국어 구문분석과 비슷하다. 본 논문에서 제안한 비어휘정보 구문분석 방법은 어휘정보 구문분석에 비해 모델 사이즈가 작고 처리방법이 간단하여 쉽게 다른 도메인에 적용이 가능할 것으로 기대한다.

  • PDF

Query Context Information-Based Translation Models for Korean-Japanese Cross-Language Informal ion Retrieval (한-일 교차언어검색에서의 질의 문맥 정보를 이용한 대역어 변환 확률 모델)

  • Lee, Gyu-Chan;Kang, In-Su;Na, Seung-Hoon;Lee, Jong-Hyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2005.10a
    • /
    • pp.97-104
    • /
    • 2005
  • 교차언어 검색 과정에서는 질의나 문서의 언어를 일치시키기 위한 변환 과정이 필수적이며, 이런 변환 과정에서 어휘의 중의성으로 인해 하나의 어휘에 대응하는 다수의 대역어가 생성됨으로써 사용자의 정보 욕구를 왜곡시켜 검색의 성능을 저하시킬 수 있다. 본 논문에서는 어휘 중의성 문제를 해결하기 위해서 질의의 문맥 정보를 이용하여 변환 질의의 확률을 구함으로써 중의성을 해소하는 방식을 제시하고, 질의의 길이, 중의도, 중의성을 가진 어휘의 비율 등에 따라서 성능이 어떻게 변하는지 비교함으로써 이 방법의 장점과 단점을 분석한다. 또한 현재의 단점을 보완하기 위한 차후 연구 방향을 제시한다.

  • PDF

Assisting semantic parsing-based QA system with lexico-semantic pattern query template (Semantic parsing 기반 지식 베이스 질의응답 시스템의 어휘-의미 패턴 질의 템플릿을 통한 보완)

  • Shim, Hyosup;Park, Seonyeong;Lee, Gary Geunbae
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.255-258
    • /
    • 2014
  • 본 논문에서는 semantic parsing과 사전 정의된 어휘-의미 패턴 질의 템플릿 방법론을 결합하여 자연어 질의로부터 RDF 지식베이스에 질의하기 위한 SPARQL 쿼리를 생성하는 방법을 제안한다. semantic parsing 접근법은 문장의 표현과 분리된 형식적 의미표현만을 포착해내므로, paraphrase 혹은 의미 변화와 무관한 어순의 변화에 강인하지만, 일부 자연어 질의문장에는 단순한 의미 및 구조를 갖는 문장도 적합한 형식적 의미표현을 생성하지 못하는 단점이 있다. 따라서 이 연구에서는 이러한 단순한 문장에 있어서는 사전 정의된 질의 템플릿을 사용하여 적합한 쿼리를 생성하되, 적합한 템플릿을 선택하는데 있어 해당 질의문장의 어휘-의미적 유형을 포착하고 해당 정보를 이용하는 방법을 이용하였으며 이를 통해 주 방법론의 약점을 보완하는 제한적인 효과를 얻을 수 있었다.

  • PDF

moHANA: Morphological Hangul Analyzer using Multi-Dimensional Analysis Dictionary (moHANA: 다차원 해석 사전을 기반으로 한 한국어 형태소 분석기)

  • Seo, SeungHyeon;Kang, In-Ho;Kim, JaeDong
    • Annual Conference on Human and Language Technology
    • /
    • 2007.10a
    • /
    • pp.99-106
    • /
    • 2007
  • 본 연구는 국어의 모든 언어적 특성을 기술하고 이를 실제 형태소 분석에 적용할 수 있도록 다차원 해석 사전을 이용하는 형태소 분석 시스템인 moHANA(Morphological Hangul Analyzer)에 관한 연구이다. moHANA의 해석 사전은 태그정보 사전, 어휘 사전 그리고 문법 사전으로 구성된다. 태그정보 사전은 기존 형태소 해석기의 일차원적인 품사 정보와 달리 어류 태그정보, 형태적 정보, 통사적 정보, 의미적 정보 및 화용 정보의 5 차원 벡터 정보로 작성된다. 어휘 사전은 어휘와 그 어휘가 가질 수 있는 태그정보를 우선 순위에 기반하여 순서열로 가지며, 문법 사전은 특수 문법 연산자를 이용하여 태그정보 사전에 정의된 각각의 태그가 연결 가능한지 여부를 규정하는 문법이 구축되어 있다. 형태소가 가지는 태그정보를 다차원으로 정의하고 이에 따른 문법 규칙의 표현을 통해 보다 자세한 형태소 분석 및 새로운 형태소 태그의 삽입과 삭제의 용이함을 얻을 수 있다.

  • PDF

Unit of Lexical Access in Korean Polysyllabic Word Recognition (한국어 다(多)음절 단어재인에서의 어휘접근단위)

  • Yim, Hyung-Wook;Lim, Heui-Seok;Kwon, Yu-An;Nam, Ki-Chun
    • Annual Conference on Human and Language Technology
    • /
    • 2004.10d
    • /
    • pp.229-231
    • /
    • 2004
  • 본 연구는 다(多)음절 한국어 단어재인에서의 어휘접근단위(unit of lexical access)를 알아보고자 했다. 이를 위해 Taft(1987)가 영어 어휘접근단위를 알아보고자 했을 때 사용한 실험 패러다임을 이용하였다. 실험 결과 반응시간에서는 조건간 통계적으로 유의미한 차이를 보이지 않았지만, BOSS 조건의 반응시간이 짧은 경향성을 보였고, 반응률에 있어서도 BOSS를 지지하는 결과를 보여주었다. 물론, 반응 오류가 많은 등 Taft(1987)의 패러다임을 한국어에 적용하기에 부적절했던 점이 있었지만, 적어도 다음절 단어 어휘접근 시 BOSS가 역할을 하고 있다는 것은 알아 볼 수 있었다.

  • PDF

Automatic Summarization based on Lexical Chains considering Word Assocication (단어간의 연관성을 고려한 어휘 체인 기반 자동 요약)

  • Song, Young-In;Han, Kyoung-Soo;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.300-305
    • /
    • 2002
  • 자동 문서 요약 분야에서 대상 문서를 컴퓨터가 이해할 수 있는 형태로 어떻게 파악하고 구조화할 것인가는 중요한 이슈가 되어 왔다. 문서에 출현한 단어들은 Bag of Words 가정처럼 서로 독립적으로 존재하는 것이 아니라 문서가 쓰여진 의도에 따라 서로 간의 의미적, 혹은 지시적으로 연관되어 있다. 이러한 단어간의 연관성은 결속성(cohesion)이라고 표현하며, 이를 이용한 자동 방법으로 Barzilay의 어휘 체인(lexical chain)을 사용한 자동 방법이 대표적이다. 본 연구에서는 단어간의 연관성과 영문 시소러스인 워드넷(wordnet)에서 단어의 위치 정보를 사용하여 어휘 체인의 성능을 개선하였고, 대상 문서의 개념을 어휘 체인에 기반해 표현하여 자동의 성능을 개선하는 방안을 제시한다.

  • PDF

A data-driven approach for lexicon selection for probabilistic language model (확률적 언어 모델을 위한 자료 기반 어휘 구축)

  • Ryu, Sung-Ho;Kim, Jin-Hyung
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.3-8
    • /
    • 2002
  • 한국어를 대상으로 하는 확률적 언어 모델에서는 대부분의 경우 형태소를 기본 어휘로서 사용하고 있다. 그러나, 이러한 모델들은 학습 및 검증을 위하여 사람에 의하여 형태소 분석이 이루어진 말뭉치를 필요로 한다. 또한, 형태소의 자동 분석은 현재 표준말을 중심으로 이루어져 있어 그 적용 분야에도 한계가 있다. 본 논문에서는 한국어의 특징을 고려하여 확률적 언어 모델의 구축에 적합한 어휘의 선택 기준에 대하여 고찰하고, 통계적인 기준을 통하여 확률적 언어 모델의 어휘를 구축하는 방법을 제안한다.

  • PDF

Movie Corpus Emotional Analysis Using Emotion Vocabulary Dictionary (감정 어휘 사전을 활용한 영화 리뷰 말뭉치 감정 분석)

  • Jang, Yeonji;Choi, Jiseon;Park, Seoyoon;Kang, Yejee;Kang, Hyerin;Kim, Hansaem
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.379-383
    • /
    • 2021
  • 감정 분석은 텍스트 데이터에서 인간이 느끼는 감정을 다양한 감정 유형으로 분류하는 것이다. 그러나 많은 연구에서 감정 분석은 긍정과 부정, 또는 중립의 극성을 분류하는 감성 분석의 개념과 혼용되고 있다. 본 연구에서는 텍스트에서 느껴지는 감정들을 다양한 감정 유형으로 분류한 감정 말뭉치를 구축하였는데, 감정 말뭉치를 구축하기 위해 심리학 모델을 기반으로 분류한 감정 어휘 사전을 사용하였다. 9가지 감정 유형으로 분류된 한국어 감정 어휘 사전을 바탕으로 한국어 영화 리뷰 말뭉치에 9가지 감정 유형의 감정을 태깅하여 감정 분석 말뭉치를 구축하고, KcBert에 학습시켰다. 긍정과 부정으로 분류된 데이터로 사전 학습된 KcBert에 9개의 유형으로 분류된 데이터를 학습시켜 기존 모델과 성능 비교를 한 결과, KcBert는 다중 분류 모델에서도 우수한 성능을 보였다.

  • PDF

Lexico-semantic interactions during the visual and spoken recognition of homonymous Korean Eojeols (한국어 시·청각 동음동철이의 어절 재인에 나타나는 어휘-의미 상호작용)

  • Kim, Joonwoo;Kang, Kathleen Gwi-Young;Yoo, Doyoung;Jeon, Inseo;Kim, Hyun Kyung;Nam, Hyeomin;Shin, Jiyoung;Nam, Kichun
    • Phonetics and Speech Sciences
    • /
    • v.13 no.1
    • /
    • pp.1-15
    • /
    • 2021
  • The present study investigated the mental representation and processing of an ambiguous word in the bimodal processing system by manipulating the lexical ambiguity of a visually or auditorily presented word. Homonyms (e.g., '물었다') with more than two meanings and control words (e.g., '고통을') with a single meaning were used in the experiments. The lemma frequency of words was manipulated while the relative frequency of multiple meanings of each homonym was balanced. In both experiments using the lexical decision task, a robust frequency effect and a critical interaction of word type by frequency were found. In Experiment 1, spoken homonyms yielded faster latencies relative to control words (i.e., ambiguity advantage) in the low frequency condition, while ambiguity disadvantage was found in the high frequency condition. A similar interactive pattern was found in visually presented homonyms in the subsequent Experiment 2. Taken together, the first key finding is that interdependent lexico-semantic processing can be found both in the visual and auditory processing system, which in turn suggests that semantic processing is not modality dependent, but rather takes place on the basis of general lexical knowledge. The second is that multiple semantic candidates provide facilitative feedback only when the lemma frequency of the word is relatively low.

The Cerebral activation of Korean visual word recognition in Ventral stream (한글 시각단어재인의 초기처리과정에 대한 대뇌 활성화 양상 : 'VWFA(visual word from area)'를 중심으로)

  • Sohn, Hyo-Jeong;Jung, Jae-Beom;Pyun, Sung-Bum;Song, Hui-Jin;Lee, Jae-Jun;Min, Sung-Ki;Chang, Yong-Min;Nam, Ki-Chun
    • Proceedings of the Korean Society for Cognitive Science Conference
    • /
    • 2006.06a
    • /
    • pp.119-123
    • /
    • 2006
  • 문자는 의사소통의 중요한 매개체 중 하나로 사람이 문자를 인식할 때, 글자의 크기나 모양, 위치, 글 자체 등의 매우 다양한 지각적인 변화에 의한 영향을 크게 받지 않는다. 이는 문자에 대한 처리가 다른 사물과는 다소 다르게 일어나며 머릿속에 추상적인 형태(abstract form)로 저장되어 있음을 의미한다. 이러한 처리과정은 시각단어재인 과정에서 어휘 지식에 접근하기 위한 중요한 단계로 여겨지면서 이와 관련된 대뇌 영역의 국재화 양상에 대한 연구들이 진행되고 있다. 본 연구에서는 한글 시각단어재인에 있어 Cohen과 Dehaene 등이 'visual word form area'주장하고 있는 좌측 ventral occipito-tempoarl region의 대뇌 활성화 양상을 살펴보았다. 실험 결과, 좌측 'VWFA'는 어휘의 친숙성에 우뇌의 대측 지점은 어휘성(lexicality)에 민감한 것으로 나타났다.

  • PDF