• 제목/요약/키워드: 의미 분류

검색결과 2,204건 처리시간 0.027초

개념 기반 문서 분류를 위한 단어 애매성 해소 (Word Ambiguity Resolution for Concept-based Text Classification)

  • 강원석;황도삼
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 가을 학술발표논문집 Vol.27 No.2 (2)
    • /
    • pp.167-169
    • /
    • 2000
  • 문서 분류 시스템은 문서에 나타난 용어나 개념의 출현 정보를 이용한다. 개념 기반문서분류는 용어를 사용하지 않고 문서의 단어에 나타난 의미를 이용한다. 단어가 중의성을 가지는 경우 그 뜻을 정확히 가리지 않으면 문서에 출현하지 않은 의미를 이용하게 되므로 문서 분류 시스템의 성능이 저하된다. 본 논문은 개념 기반 문서분류를 위하여 단어 애매성 해소를 시도하였다. 문서에 출현된 의미 정보를 이용하여 의미들간의 공기정보를 구하고 이를 이용하여 단어의 애매성을 해소하였다. 단어의 의미정보는 시소러스 도구를 통해 획득하고 의미들간의 공기정보는 의미들간의 동시 출현 정보를 획득하여 구축하였다. 본 시스템은 문서 분류 등 자연어처리 분야에 이용할 수 있어 효용가치가 높다.

  • PDF

KorBERT 기반 빈칸채우기 문제를 이용한 텍스트 분류 (Text Classification using Cloze Question based on KorBERT)

  • 허정;이형직;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.486-489
    • /
    • 2021
  • 본 논문에서는 KorBERT 한국어 언어모델에 기반하여 텍스트 분류문제를 빈칸채우기 문제로 변환하고 빈칸에 적합한 어휘를 예측하는 방식의 프롬프트기반 분류모델에 대해서 소개한다. [CLS] 토큰을 이용한 헤드기반 분류와 프롬프트기반 분류는 사전학습의 NSP모델과 MLM모델의 특성을 반영한 것으로, 텍스트의 의미/구조적 분석과 의미적 추론으로 구분되는 텍스트 분류 태스크에서의 성능을 비교 평가하였다. 의미/구조적 분석 실험을 위해 KLUE의 의미유사도와 토픽분류 데이터셋을 이용하였고, 의미적 추론 실험을 위해서 KLUE의 자연어추론 데이터셋을 이용하였다. 실험을 통해, MLM모델의 특성을 반영한 프롬프트기반 텍스트 분류에서는 의미유사도와 토픽분류 태스크에서 우수한 성능을 보였고, NSP모델의 특성을 반영한 헤드기반 텍스트 분류에서는 자연어추론 태스크에서 우수한 성능을 보였다.

  • PDF

중첩 분할된 양방향 LSTM 기반의 한국어 프레임넷의 프레임 분류 및 논항의 의미역 분류 (Frame-semantics and Argument Disambiguation of Korean FrameNet using Bi-directional LSTM)

  • 함영균;신기연;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.352-357
    • /
    • 2018
  • 본 논문에서는 한국어 프레임넷 분석기를 구축하기 위하여 한국어 프레임넷 데이터를 가공하여 공개하고, 한국어 프레임 분류 및 논항의 의미역 분류 문제를 해결하기 위한 방법을 제안한다. 프레임넷은 단어 단위가 아닌 단어들의 범위로 구성된 범위에 대해 어노테이션된 코퍼스라는 점에 착안하여, 어휘 및 논항의 내부 의미 정보와 외부 의미 정보, 그리고 프레임과 각 의미역들의 임베딩을 학습한 중첩 분할된 양방향 LSTM 모델을 사용하였다. 이를 통해 한국어 프레임 분류에서 72.48%, 논항의 의미역 분류에서 84.08%의 성능을 보였다. 또한 본 연구를 통해 한국어 프레임넷 데이터의 개선 방안을 논의한다.

  • PDF

나이브 베이즈 분류기를 이용한 의미제약이 강화된 한국어 복합명사 의미 분석 (A Semantic Analysis of Korean Compound Nouns with Enforced Semantic Constraints using a Na${\ddot{i}}$ve Bayes Classifier)

  • 이용훈;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2011년도 제23회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.102-106
    • /
    • 2011
  • 본 논문에서는 사전 원어정보를 이용한 기존 방법에 나이브 베이즈 분류기를 추가로 이용하는 의미제약 기술에 대하여 소개한다. 의미제약은 의미 분석의 전처리 단계로서 부분적으로 중의성을 해소하여 입력된 복합명사의 분석 정확도 뿐만 아니라 전체적인 분석시간의 단축에도 큰 도움을 준다. 나이브 베이즈 분류기를 이용하는 방법은 사전의 의존성으로 인해 제약할 수 없는 2-gram을 대상으로 제약을 시도한다. 분류기를 위한 학습데이터는 의미 태깅된 기분석 2-gram사전을 이용하여 U-WIN의 관계정보와 사전 그리고 패턴들에 의해 생성된다. 원어정보로 해결하지 못하는 34.63%의 2-gram중 2.83%에 대해 추가로 제약에 성공 하였다.

  • PDF

한국어 명사 의미 계층 구조 구축 (Construction of A Semantic Hierarchy of Korean Nouns)

  • 조평옥;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.129-135
    • /
    • 1997
  • 한국어 명사들을 의미별로 분류하여 계층화시킨 '한국어 명사 의미 계층 구조'는, 한국어 문장을 처리할 때 한국어의 의미 정보를 제공할 수 있는 매우 중요한 정보들 중의 하나이다. 본 논문에서는, 국어 사전의 명사에 대한 뜻풀이말을 이용하여 bottom-up 방식으로 '한국어 명사 의미 계층 구조'를 구축하였다. 본 논문에서 구축한 '한국어 명사 의미 계층 구조'는, tree가 43개, node가 12,833개, terminal node가 10,347 개이며, 깊이가 17인 하나의 forest이다. 이것의 제 1, 2 계층(level 1,2)에서의 분류 형태는 top-down 방식에 의한 기존의 분류들과 매우 다른 모습인 반면에, 제 3 계층 이하에서의 분류 형태는 의미소성(意味素性)에 의한 기존의 분류와 거의 일치하는 모습을 나타낸다.

  • PDF

온라인 오피니언 문서 분류를 위한 한국어 형용사 의미 극성 사전 (Lexicon of Semantic-Polarity of Korean Adjectives for the Classification of On-line Opinion Documents)

  • 안애림;심승혜;남지순
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.166-171
    • /
    • 2010
  • 본 논문은 한국어 온라인 리뷰 문서의 오피니언 분류(Opinion Classification)에 있어 그 핵심 키워드가 형용사 (Adjective) 범주라는 점을 고려하여, 한국어 형용사를 <문맥에 의존하지 않는 절대 극성>과, <문맥에 의존하여 극성이 바뀌는 상대극성>으로 대분류한 뒤 그 각각의 의미 극성을 하위 분류하는 작업을 수행하였다. 기존의 연구에서 특징적인 오피니언 어휘 수십개에 의존하여 자동 분류를 시도하고자 하였던 문제점을 극복하기 위해서는 한국어 형용사 전체 범주에 대한 체계적인 극성 분류가 이루어져야 할 필요가 있으며, 여기서 특히 상세히 주목받지 못했던 상대 극성 어휘에 대한 본격적인 의미 분류가 요구된다. 본 연구에서 제시하는 형용사의 극성 분류는 기존의 이론 언어학적 형용사 의미 분류와 달리 온라인 오피니언 문서에서 도메인에 따라 나타나는 특징적 의미 유형을 결정하고, 이를 기준으로 온라인 오피니언 문서의 극성 판별에 효과적으로 적용할 수 있는 사전을 구축하였다는 점에서 의의를 가진다.

  • PDF

개념분류기법을 적용한 한국에 명사분류 (Korean Noun Clustering Via Incremental Conceptual Clustering)

  • 정연수;조정미;김길창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1995년도 제7회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.50-55
    • /
    • 1995
  • 많은 언어관계들이 의미적으로 유사한 단어들의 집합에 적응된다. 그러므로 단어들을 의미가 비슷한 것들의 집합으로 분류하는 것은 아주 유용한 일이다. 본 논문에서는 말뭉치로부터의 동사와 명사의 분포정보를 이용하여 명사들을 분류하고자 한다. 한국어에서는 명사마다 문장에서 그 명사를 특정한 격으로 사용할 수 있는 동사들이 제한되어 있다. 그러므로 본 논문에서는 말뭉치에서 나타나는 명사와 그 명사를 특정한 격으로 사용하는 동사들의 분포정보로부터 명사들을 분류하는 방법을 제시한다. 형태소 해석된 50만 단어 말뭉치에서 가장 빈도수가 높은 명사 85단어를 대상으로 실험하였다. 명사와 동사의 구문정보를 사용하므로 의미적으로는 다르지만 쓰임이 비슷한 단어들도 같은 부류로 분류되었다. 의미적으로 애매성을 가지는 명사들의 경우도 실험결과를 나쁘게하는 요인이 되었다. 그리고, 좀더 좋은 결과를 얻기 위해서는 동사들도 의미가 유사한 것들로 분류한 후, 명사와 동사의 분포정보가 아닌 명사와 동사들의 집합의 분포정보를 이용하는 것도 종은 방법이 될 것이다.

  • PDF

온톨로지의 개념구조에 의한 웹페이지의 의미적 분류 (Semantic Classification of Web Pages using Ontology Concept Structure)

  • 송무희;임수연;박승배;강동진;이상조
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.487-489
    • /
    • 2005
  • 본 논문에서는 온톨로지의 개념구조를 이용한 웹페이지의 의미적 분류방법을 제안한다. 웹 문서들이 가지는 용어 정보들과 어휘들 간의 개념 구조를 파악하여 온톨로지를 확장시키면서 이를 문서분류에 적용하여 의미적 분류가 이루어지게 한다. 문서 분류는 문서들을 가장 잘 표현할 수 있는 자질들을 정하고 이러한 자질들을 통해 미리 정의된 2개 이상의 카테고리에 문서의 내용을 파악하여 가장 관련이 있는 카테고리로 할당하는 것이다. 본 논문에서는 웹 문서에서 추출한 용어 정보들의 유사도와 온톨로지 카테고리의 유사도를 계산하여 웹 문서를 분류하여 문서 분류를 위한 실험데이터나 학습과정 없이 바로 실시간으로 문서분류가 이루어지며, 결과적으로 온톨로지와 문서들이 가지는 고유한 의미와 관계의 식별을 통하여 보다 더 정확하게 문서분류를 가능하게 해준다.

  • PDF

어휘 유사 문장 판별을 위한 BERT모델의 학습자료 구축 (Methodology of Developing Train Set for BERT's Sentence Similarity Classification with Lexical Mismatch)

  • 정재환;김동준;이우철;이연수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.265-271
    • /
    • 2019
  • 본 논문은 어휘가 비슷한 문장들을 효과적으로 분류하는 BERT 기반 유사 문장 분류기의 학습 자료 구성 방법을 제안한다. 기존의 유사 문장 분류기는 문장의 의미와 상관 없이 각 문장에서 출현한 어휘의 유사도를 기준으로 분류하였다. 이는 학습 자료 내의 유사 문장 쌍들이 유사하지 않은 문장 쌍들보다 어휘 유사도가 높기 때문이다. 따라서, 본 논문은 어휘 유사도가 높은 유사 의미 문장 쌍들과 어휘 유사도가 높지 않은 의미 문장 쌍들을 학습 자료에 추가하여 BERT 유사 문장 분류기를 학습하여 전체 분류 성능을 크게 향상시켰다. 이는 문장의 의미를 결정짓는 단어들과 그렇지 않은 단어들을 유사 문장 분류기가 학습하였기 때문이다. 제안하는 학습 데이터 구축 방법을 기반으로 학습된 BERT 유사 문장 분류기들의 학습된 self-attention weight들을 비교 분석하여 BERT 내부에서 어떤 변화가 발생하였는지 확인하였다.

  • PDF

ARGUMENT STRUCTURE ALTERNATIONS IN ENGLISH AND KOREAN

  • 김미숙
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 2001년도 학술대회 논문집
    • /
    • pp.59-73
    • /
    • 2001
  • 이 논문은 영어와 한국어에서 논 항구조의 교체를 허용하는 처소격 동사들의 통사구조와 의미를 비교 분석해 보려고 한다. 지금까지 연구가 논항구조의 교체를 허용하는 이런 동사들이 통사적 유사성에만 국한되어 연구가 되었을 뿐 여러 다른 통사적 형식에서 보여지는 차이점이나 논항 교체 동사들의 의미적 차이점과 같은 중요한 현상들에 대한 많은 연구가 되어지지 않았다. 따라서 첫 번째로 이 논문에서는 Pinker (1989)에 제시한 논항 교체 동사들의 의미적 분석을 구체적으로 소개하고, 이런 교체 동사들의 의미적 유사성과 차이점으로 구분한 Pinker의 의미분류들을 자세히 알아본다. 또한 Pinker가 교체동사들의 의미적 분류를 위해 사용한 통사적 기준인 논항 생략 (PP-omission test)을 소개한다. 두 번째로 영어의 논항 교체 동사들에 해당하는 한국어 동사들의 통사적 형태를 알아봄으로써 영어와 한국어에서의 통사적 유사성과 차이점을 알아본다. 세 번째로 영어와 한국어에서 나타나는 통사적 차이점의 설명을 위해 Pinker가제시한 의미 분류들을 수정한 새로운 분류를 제시한다 마지막으로 Jackendoff (1996)에서 제시된 의미적 설명이 영어의 논항 교체 동사에 해당하는 한국어 동사들의 통사적 형태들의 다양성을 설명할 수 있음을 보여준다

  • PDF