• 제목/요약/키워드: 한국어 말뭉치

검색결과 524건 처리시간 0.031초

Word2Vec를 이용한 단어 의미 모호성 해소 (Word Sense Disambiguation using Word2Vec)

  • 강명윤;김보겸;이재성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.81-84
    • /
    • 2015
  • 자연어 문서에 출현하는 단어에는 중의적 단어가 있으며, 이 단어에서 발생되는 의미 모호성은 대개 그 문맥에 따라 해소된다. 의미 모호성 해소 연구 중, 한국어 단어 공간 모델 방법은 의미 태그 부착 말뭉치를 이용하여 단어의 문맥 정보를 구축하고 이를 이용하여 모호성을 해결하는 연구로서 비교적 좋은 성능을 보였다. 본 연구에서는 Word2Vec를 이용하여 기존 연구인 한국어 단어 공간 모델의 단어 벡터를 효과적으로 축소할 수 있는 방법을 제안한다. 세종 형태 의미 분석 말뭉치로 실험한 결과, 제안한 방법이 기존 성능인 93.99%와 유사한 93.32%의 정확률을 보이면서도 약 7.6배의 속도 향상이 있었다.

  • PDF

구조화된 상세 정보를 제공하는 한국어 형태소 분석기: KMM (KMM: A Detailed Morphological Analysis for Korean)

  • 김수라
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.202-206
    • /
    • 2010
  • 이 논문에서는 한국어 형태소 분석기 KMM(Korean Malaga Morphology)을 소개하고자 한다. KMM의 개발 동기는 이후 자연언어 처리 단계의 기반으로 사용될 수 있을 뿐 아니라 이론 형태론 연구의 도구로도 사용될 수 있도록 상세한 형태 동사 의미 정보를 제공하는 것이었다. 이론적 틀은 좌연접 문법(Left-Associative Grammar)에 기초한 LA-MORPH이며, 좌연접 기반 문법 개발 도구인 MALAGA로 구현되었다. LA-MORPH에 기반한 KMM은 분석 실행중이 아닐 때에는 사전의 규모를 최소한으로 유지하다가 분석에 필요할 때에만 분석용 사전을 자동으로 생성한다. 형태소 분석은 분석용 사전에 근거하여, 매칭과 결합이라는 단순한 알고리즘만을 사용한다. KMM의 분석은 동사 어절의 경우, 시제, 서법, 문형, 대우법, 명사 어절의 경우 격정보, 수사 결합어절의 경우 추출된 수랑 정보 등과 같은 상세한 정보를 제시한다. 세종 말뭉치와 KIBS 말뭉치를 KMM 을 이용해서 분석한 결과 각각의 94.96%와 94.59%의 분석률과 88.4%와 90.7%의 정확도를 보였다.

  • PDF

많이 사용되는 한국어 문형 패턴용 조사기의 설계 및 구현 (Design and Implementation of Sentence Frame Analyzer for Korean)

  • 이상곤;소강춘
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2010년도 제22회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.123-126
    • /
    • 2010
  • 21C 세종계획 결과물의 태그된 말뭉치를 살펴보면 국어 정보화 측면에서 귀중한 자료가 많이 구축되어는 있으나 말뭉치를 효율적으로 이용할 수 있는 저작 도구가 대단히 부족하다. 본 논문에서는 태그 정보의 조사자가 입력하는 태그의 여러 조합을 다양하게 검색하고 잘못 부착된 태그열 오류가 발견되면 즉시 수정하여 자료의 무결성을 보장하고, 한국어에서 많이 출현하는 문형 패턴을 검색할 수 있는 저작 도구를 설계하고 구현하였다.

  • PDF

부분 분석 결과를 공유하는 한국어 형태소 분석 (Korean Morphological Analysis Sharing Partial Analyses)

  • 이상호
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 1994년도 제11회 음성통신 및 신호처리 워크샵 논문집 (SCAS 11권 1호)
    • /
    • pp.75-79
    • /
    • 1994
  • 한국어 어절의 모든 가능한 형태소 분석 결과는 형태소 격자 구조로 대응된다. 즉, 형태소 분석과정은 형태소 격자 구조를 만드는 과정과 동일하다고 말할 수 있다. 기존의 방법들은 여러개의 가능한 분석 결과에 중복되는 형태소들을 그대로 저장하여 자료 관리의 비효율성이 있었다. 본 논문에서 설명하는 형태소 분석기는 형태소 분석의 중간 결과를 공유하여, 자료의 중복 저장을 피했고, 모든 가능한 형태소 분석 결과를 형태소 격자 구조의 가능한 모든 경로로 대응하였다. 한편, 형태소 배열 규칙은 품사 태깅된 말뭉치로부터 자동으로 추출되었다. 또한, 사전도 품사 태깅된 말뭉치로부터 자동으로 구축되었으며, 굴절된 형태소는 등록되지 않는다. 그러나 불규칙 및 축약 현상에 관한 정보는 수동으로 추가되었다. 불규칙 및 축약 현상의 발생 가능 위치는 한글 자소 패턴에 의해서 찾아지고, 이들 현상의 처리는 절차적인 방법에 의해 해결되었다.

  • PDF

어절패턴 사전을 이용한 새로운 한국어 형태소 분석기 (A New Korean Morphological Analyzer using Eojeol Pattern Dictionary)

  • 홍진표;차정원
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2008년도 한국컴퓨터종합학술대회논문집 Vol.35 No.1 (C)
    • /
    • pp.279-284
    • /
    • 2008
  • 본 연구에서는 어절패턴을 이용하는 새로운 방식의 한국어 형태소 분석기 KGuru-MA에 대해서 설명한다. KGuru-MA는 품사 부착 말뭉치에서 개방어를 생략하여 어절 패턴을 반자동으로 학습하여 어절 패턴 사전과 형태소 확률 정보 사전을 구성한 후, 이 사전을 이용하여 형태소를 분석한다. 본 형태소 분석기는 어절패턴을 사용하여 형태소 분석하기 때문에 기존 형태소 분석기에 존재하는 접속검사 과정이 생략된다. 또한, 형태소 분석 과정이 기존의 형태소 분석기에 비해 단순하여 기초 자연언어 처리 시스템이 가지는 강건성을 보장한다. 본 연구는 "21세기 세종기획 3차년도 말뭉치"를 이용한 실험 결과, 기존 형태소 분석기 못지 않은 성능을 보였다.

  • PDF

형태소 깎는 노인: 국어사 자료를 위한 형태분석 보조기 (The POS Elderly: Semi-automatic annotation tool for Historical Korean)

  • 김미경;박수지;이상아
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.39-43
    • /
    • 2016
  • '형태소 깎는 노인'은 국어사 자료를 처리하는 고성능 자동 형태분석기의 개발이 난항을 겪고 있는 상황에서 수동으로 형태분석 작업을 하는 연구자들을 지원하기 위하여 개발된 형태분석 보조기이다. 인간과 기계의 분업을 통해 인간의 피로를 최대한 줄이고, 단순 반복 형태에 대해서는 정답을 확실하게 제안할 수 있다는 것이 특징이다. 국어사 자료에는 한국어 정보처리를 위해 필요한 어휘 사전이 없으므로, 문법형태소 사전을 만들어 이를 단서로 조사/어미부와 어간부를 구분하도록 하였다. 이를 통해 구축된 소규모 형태분석 말뭉치들이 장기적으로는 자동 형태분석기의 성능 개선에 일조할 수 있을 것으로 기대한다.

  • PDF

2-포아송 모형의 한국어 문헌 적용성 (Applicability of Two-Poisson Model to Korean Literature)

  • 최대식;정영미
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 1999년도 제6회 학술대회 논문집
    • /
    • pp.9-12
    • /
    • 1999
  • 통계적 확률이론에 근거한 포아송 모형을 색인어 선정 기반으로 활용하고자 하는 2-포아송 함수와 3-포아송 함수 및 다중 포아송 함수에 대한 단계적 발전 과정을 살펴보았다. 아울러, 2-포아송이 한국어 문헌의 색인어 선정에 유용한지 알아보기 위해 한국어 말뭉치 데이터베이스 내 문헌 50개를 실험 대상으로 단어의 장서빈도와 문헌빈도를 이용하여 z값을 산출해 보았다.

  • PDF

문장 표현 언어 VAR(Verb Activate to Relation) 설계 (Design of Sentence Representation Language VAR (Verb Activate to Relation))

  • 김경서;송만석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1992년도 제4회 한글 및 한국어정보처리 학술대회
    • /
    • pp.119-128
    • /
    • 1992
  • 컴퓨터가 자연 언어를 이해하기 위해 가장 필요로 하는 것은 단어에 대한 정보다. 단어는 문장 안에서 나름대로의 정보를 지니고 사용된다. 사람들이 실제 생활에서 사용하는 문장을 대량으로 모아 둔 것을 말뭉치(Corpus)라 한다. 그러므로, 단어가 인간 언어 생활에서 사용되면서 지니는 정보를 찾기 위해서는 말뭉치를 들여다보는 것이 필요하다. 본 논문에서는 문장이 갖고 있는 정보 중 많은 것을 표현할 수 있는 언어, VAR를 설계한다. 그리고 말뭉치를 VAR로 표현해서 관리하면서 언어학자 및 전산학자가 좋은 지식 기반(Knowledge Base)를 만들 수 있는 기초를 제공한다.

  • PDF

MovieDic 말뭉치를 이용한 대화 참여 모델의 구성 (Construction of Dialog Engagement Model using MovieDic Corpus)

  • 구상준;유환조;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2016년도 제28회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.249-251
    • /
    • 2016
  • 다중 화자 대화 시스템에서, 시스템의 입장에서 어느 시점에 참여해야하는지를 아는 것은 중요하다. 이러한 참여 모델을 구축함에 있어서 본 연구에서는 다수의 화자가 대화에 참여하는 영화 대본으로 구축된 MovieDic 말뭉치를 사용하였다. 구축에 필요한 자질로써 의문사, 호칭, 명사, 어휘 등을 사용하였고, 훈련 알고리즘으로는 Maximum Entropy Classifier를 사용하였다. 실험 결과 53.34%의 정확도를 기록하였으며, 맥락 자질의 추가로 정확도 개선을 기대할 수 있다.

  • PDF

정보검색 기술을 이용한 비교사 학습 기반 문서 분류 시스템 개발 (Developing a Text Categorization System Based on Unsupervised Learning Using an Information Retrieval Technique)

  • 노대욱;이수용;나동열
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2006년도 제18회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.98-106
    • /
    • 2006
  • 문서분류기의 개발에 있어 교사학습기법을 이용할 경우 많은 양의 사람에 의한 범주 부착 말뭉치가 필요하다. 그러나 이의 구축은 많은 시간과 노력을 필요로 한다. 최근 이러한 범주 부착 말뭉치 대신 원시말뭉치와 범주마다 약간의 씨앗 정보를 이용하여 학습을 수행하여 문서분류기를 개발하는 방법론이 제시되었다. 본 논문에서는 이 방법론 하에서 다른 연구에서의 결과보다 좋은 성능을 나타내는 비교사 학습 기법을 소개한다. 본 논문에서 제시하는 기법의 특징은 씨앗 단어에서 출발하여 평균상호정보를 이용하여 다른 대표단어 및 그들의 가중치를 학습한 다음, 정보검색에서 많이 사용하는 기술을 이용하여 그 가중치를 갱신하는 것이다. 그리고 이 과정을 반복 수행하여 최종적으로 높은 성능의 시스템을 개발할 수 있음을 제시하였다.

  • PDF