• 제목/요약/키워드: 의미자질

검색결과 213건 처리시간 0.022초

한국어 어휘의미망을 활용한 Conditional Random Fields 기반 한국어 개체명 인식 (Conditional Random Fields based Named Entity Recognition Using Korean Lexical Semantic Network)

  • 박서연;옥철영;신준철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.343-346
    • /
    • 2020
  • 개체명 인식은 주어진 문장 내에서 OOV(Out of Vocaburary)로 자주 등장하는 고유한 의미가 있는 단어들을 미리 정의된 개체의 범주로 분류하는 작업이다. 최근 개체명이 문장 내에서 OOV로 등장하는 문제를 해결하기 위해 외부 리소스를 활용하는 연구들이 많이 진행되었다. 본 논문은 의미역, 의존관계 분석에 한국어 어휘지도를 이용한 자질을 추가하여 성능 향상을 보인 연구들을 바탕으로 이를 한국어 개체명 인식에 적용하고 평가하였다. 실험 결과, 한국어 어휘지도를 활용한 자질을 추가로 학습한 모델이 기존 모델에 비해 평균 1.83% 포인트 향상하였다. 또한, CRF 단일 모델만을 사용했음에도 87.25% 포인트라는 높은 성능을 보였다.

  • PDF

레스토랑 영역에서의 자질기반 대화시스템 구현 (Implementation of Feature-based Dialog System in Restaurant domain)

  • 양현석;김동주;설용수;정성훈;김한우
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.425-428
    • /
    • 2011
  • 서비스 로봇과 펫 로봇 등 사람과 직접 상호작용하는 로봇기술의 필요성이 증가하고 있다. 대화시스템은 자연언어처리 기술을 활용하여 음성인식 기술과의 결합을 통해 현재 로봇에서 주로 사용되고 있는 버튼과 터치스크린 위주의 HRI(Human-Robot Interface)보다 자연스러운 HRI를 제공한다. 이러한 자연스러운 HRI를 수행할 수 있는 로봇을 구성하기 위해서는 로봇이 서비스를 제공할 실제 영역에 맞는 대화시스템의 연구가 필요하다. 본 논문에서는 자질사전, 단일화 문법(unification grammar), 대화 흐름도(dialogue flow diagram)를 사용한 레스토랑 영역의 자질기반(feature-based) 대화시스템을 제시한다. 자질 정보는 형태소, 시제, 어휘의 의미구조 등을 나타내며 화행(speech act) 결정에 사용하고 문장 자질과 구문 자질을 파서에서 활용한다. 자질기반 대화시스템을 통하여 레스토랑 영역에서 사용자 화행 이해 및 주문, 안내 등의 서비스를 성공적으로 수행할 수 있음을 보인다.

단어 의미와 자질 거울 모델을 이용한 단어 임베딩 (A Word Embedding used Word Sense and Feature Mirror Model)

  • 이주상;신준철;옥철영
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권4호
    • /
    • pp.226-231
    • /
    • 2017
  • 단어 표현은 기계학습을 사용하는 자연어 처리 분야에서 중요하다. 단어 표현은 단어를 텍스트가 아닌 컴퓨터가 분별할 수 있는 심볼로 표현하는 방법이다. 기존 단어 임베딩은 대량의 말뭉치를 이용하여 문장에서 학습할 단어의 주변 단어를 이용하여 학습한다. 하지만 말뭉치 기반의 단어 임베딩은 단어의 등장 빈도수나 학습할 단어의 수를 늘리기 위해서는 많은 양의 말뭉치를 필요로 한다. 본 논문에서는 말뭉치 기반이 아닌 단어의 뜻풀이와 단어의 의미 관계(상위어, 반의어)를 이용하며 기존 Word2Vec의 Skip-Gram을 변형한 자질거울모델을 사용하여 단어를 벡터로 표현하는 방법을 제시한다. 기존 Word2Vec에 비해 적은 데이터로 많은 단어들을 벡터로 표현 가능하였으며 의미적으로 유사한 단어들이 비슷한 벡터를 형성하는 것을 확인할 수 있다. 그리고 반의어 관계에 있는 두 단어의 벡터가 구분되는 것을 확인할 수 있다.

가변길이 윈도우를 이용한 통계 기반 동형이의어의 중의성 해소 (Statistical Word Sense Disambiguation based on using Variant Window Size)

  • 박기태;이태훈;황소현;이현아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.40-44
    • /
    • 2012
  • 어휘가 갖는 의미적 중의성은 자연어의 특성 중 하나로 자연어 처리의 정확도를 떨어트리는 요인으로, 이러한 중의성을 해소하기 위해 언어적 규칙과 다양한 기계 학습 모델을 이용한 연구가 지속되고 있다. 의미적 중의성을 가지고 있는 동형이의어의 의미분별을 위해서는 주변 문맥이 가장 중요한 자질이 되며, 자질 정보를 추출하기 위해 사용하는 문맥 창의 크기는 중의성 해소의 성능과 밀접한 연관이 있어 신중히 결정되어야 한다. 본 논문에서는 의미분별과정에 필요한 문맥을 가변적인 크기로 사용하는 가변길이 윈도우 방식을 제안한다. 세종코퍼스의 형태의미분석 말뭉치로 학습하여 12단어 32,735문장에 대해 실험한 결과 용언의 경우 평균 정확도 92.2%로 윈도우를 고정적으로 사용한 경우에 비해 향상된 결과를 보였다.

  • PDF

오픈도메인 질의문 자동 분류를 위한 주석 말뭉치 구축 연구 (A study on the Construction of Annotated corpora for the Automatic Classification of Open Domain Queries)

  • 안애림;이서진;최동현;김응균;남지순
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.309-314
    • /
    • 2019
  • 본 연구는 오픈도메인 자연어 질의문 유형을 '질문 초점(Question Focus)'에 따라 분류하고, 기계학습 기반 질의문 유형 분류기의 성능 향상을 위한 주석 말뭉치 구축을 목표로 한다. 오픈도메인 질의문 분석을 통해 의문사 등의 키워드 기반 질의문 유형 분류의 한계를 설명하고, 질의문 내의 비명시적인 의미자질을 고려한 질문 초점 기반 질의문 유형 분류 기준을 정의하였다. 이 기준에 따라 구축된 112,856 문장의 주석 말뭉치를 기계학습(CNN) 기반 문장 분류 시스템의 학습 데이터로 사용하여 실험한 결과 F1-Score 97.72%성능을 보였다. 또한 이를 카카오 오픈도메인 질의응답시스템에 적용하여 질의문 확장을 위한 의미 자질로 사용하였고 그 결과 전체 시스템 성능을 1.6%p 향상시켰다.

  • PDF

SVM을 사용한 한국어 종속절의 의존관계 분석 (Analyzing Dependency of Korean Subordinate Clauses Using Support Vector Machine)

  • 김상수;박성배;이상조
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.148-155
    • /
    • 2006
  • 한국어 구문 분석에서 가장 어려운 작업들 중에 하나는 종속절의 의존관계 파악이다. 본 논문에서는 이를 해결하기 위해서 종속절의 의존관계를 걸을 구성하는 서술어부(동사와 어미)의 관련 정보의 유무에 따라 의존관계가 성립한다고 가정했다. 즉 각각의 절들의 서술부의 관련 정보의 유무로 보고, 이진 분류 문제로 이 문제를 해결하였다. 사용한 자질은 정적 자질(static feature)와 동적 자질(dynamic feature)를 구성되어 있다. 정적 자질은 동사와 어미에서 표면적인 어휘 정보이고 이는 단어, POS 테그 및 위치 정보들이다. 동적 자질은 문장에서 절이 가지는 문법적인 형태를 의미하고, 이를 추출하기 위해 간단한 규칙을 만들고 이를 바탕으로 CKY 차트 파서를 통하여 추출하였다. 기계학습 방법으로는 이진 분류 문제에서 널리 사용되는 SVM을 사용하였다. 실험 결과 어휘 정보들 중에서 어미의 정보만 사용하였을 경우는 64.4%의 정확도를 보였고 문법적인 정보인 동적 자질을 사용한 경우는 73.5%로 어휘 정보만을 사용한 경우 보다 9.1%의 성능 향상됨을 보였다

  • PDF

한국어 음소열 기반 워드 임베딩 기술 (Korean Phoneme Sequence based Word Embedding)

  • 정의석;송화전;이성주;박전규
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.225-227
    • /
    • 2017
  • 본 논문은 한국어 서브워드 기반 워드 임베딩 기술을 다룬다. 미등록어 문제를 가진 기존 워드 임베딩 기술을 대체할 수 있는 새로운 워드 임베딩 기술을 한국어에 적용하기 위해, 음소열 기반 서브워드 자질 검증을 진행한다. 기존 서브워드 자질은 문자 n-gram을 사용한다. 한국어의 경우 특정 단음절 발음은 단어에 따라 달라진다. 여기서 음소열 n-gram은 특정 서브워드 자질의 변별력을 확보할 수 있다는 장점이 있다. 본 논문은 서브워드 임베딩 기술을 재구현하여, 영어 환경에서 기존 워드 임베딩 사례와 비교하여 성능 우위를 확보한다. 또한, 한국어 음소열 자질을 활용한 실험 결과에서 의미적으로 보다 유사한 어휘를 벡터 공간상에 근접시키는 결과를 보여 준다.

  • PDF

한국어 음소열 기반 워드 임베딩 기술 (Korean Phoneme Sequence based Word Embedding)

  • 정의석;송화전;이성주;박전규
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.225-227
    • /
    • 2017
  • 본 논문은 한국어 서브워드 기반 워드 임베딩 기술을 다룬다. 미등록어 문제를 가진 기존 워드 임베딩 기술을 대체할 수 있는 새로운 워드 임베딩 기술을 한국어에 적용하기 위해, 음소열 기반 서브워드 자질 검증을 진행한다. 기존 서브워드 자질은 문자 n-gram을 사용한다. 한국어의 경우 특정 단음절 발음은 단어에 따라 달라진다. 여기서 음소열 n-gram은 특정 서브워드 자질의 변별력을 확보할 수 있다는 장점이 있다. 본 논문은 서브워드 임베딩 기술을 재구현하여, 영어 환경에서 기존 워드 임베딩 사례와 비교하여 성능 우위를 확보한다. 또한, 한국어 음소열 자질을 활용한 실험 결과에서 의미적으로 보다 유사한 어휘를 벡터 공간상에 근접시키는 결과를 보여 준다.

  • PDF

세대간 장단 차이에 따른 운율 변화 연구

  • 김선주
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 2000년도 3월 학술대회지
    • /
    • pp.198-204
    • /
    • 2000
  • 본 연구는 한국어에서 의미를 분화시키는 기능을 담당해오던 장/단의 상실로 인해 운율자질들에 어떠한 변화가 일어났는지 알아보는 것을 목적으로 한다. 먼저 길이의 대립적 기능의 소실로 인해 젊은 세대에서 액센트를 구성하는 길이의 기능이 상실되고 있지는 않는지 알아보았다. 이와 더블어 길이, 세기, 고저의 운율행동 양상이 세대간에 차이를 보이는지 살펴보았다. 실험은 장/단의 변별력을 지니는 60대 화자와 변별력을 상실한 20대 화자를 비교하여, 운율자질들의 수치를 측정하고 높은 수치의 음절 위치를 기술하였다. 실험결과 두 세대 모두에서 길이는 상대적 돋들림을 보여 액센트를 결정하는 자질의 역할을 하는 것으로 나타났다. 그러나 운율자질들의 성격에 있어서는 세대간에 차이를 보였는데, 길이에 있어서는 60대에 비해서 20대의 돋들리는 정도가 줄어든 것을 볼 수 있었다. 또 세기와 고저는 60대 화자들에게서는 이렇다할 경향성을 발견할 수 없었지만 20대화자들에서는 2번째 음절의 수치가 고정적으로 높아지는 일정할 경향을 발견할 수 있었다.

  • PDF

용어 클러스터링의 성능 평가 (Performance Evaluation for Word Clustering)

  • 박은진;김재훈;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.43-49
    • /
    • 2005
  • 이 논문에서는 전자 사전의 뜻 풀이말을 이용하여 용어를 자동 분류하는 용어 클러스터링 시스템을 설계하였다. 클러스터링 성능에 영향을 미치는 요소로 자질 선택 자질 표현 그리고 유사도 측정 등이 있다. 이 논문에서는 이러한 요소들이 용어 클러스터링에 미치는 영향을 평가해보았다. 클러스터링 결과를 객관적으로 비교하기 위해서 용어 클러스터링 결과와 한국어 의미 계층망에서 추출한 정답 클러스터를 비교하였다 실험 결과, 용어의 뜻 풀이말만 자질로 사용한 방법보다는 뜻 풀이말 자질을 확장하는 방법이 훨씬 더 좋은 결과를 보였다.

  • PDF