• Title/Summary/Keyword: 한국어 말뭉치

Search Result 523, Processing Time 0.021 seconds

Automatic Generation of Vocabulary Problem for Learning Korean as a Foreign Language (외국인의 한국어 학습을 위한 어휘 문제 자동 생성)

  • Kim, Seong-Uk;Lim, JaeHyun;Kim, Yein;Lee, Hyun Ah
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.247-250
    • /
    • 2014
  • 국내에서 거주하는 외국인들을 대상으로 한 여러 정책들이 만들어지고 있다, 그에 따른 한국어 교육의 수요는 증가하고 있지만 그에 적합한 한국어 교육시스템의 자동화 및 발전은 미약하다. 본 논문에서는 사전예문과 획득이 용이한 말뭉치를 가공하여 적절한 수준의 문제를 자동으로 생성하는 방법을 제안한다. 자동문제생성에서는 말뭉치와 사전 예문에서 문제와 보기문항을 생성하고, 보기 리스트를 생성한다. 웹문서 검색빈도를 이용하여 생성된 보기리스트의 적합성을 분석하여 정제된 보기 리스트를 획득한다. 얻어진 보기들을 임의로 선택하여 출력함으로써 사용자들이 다양한 문제를 접할 수 있도록 한다.

  • PDF

Korean Named-entity Recognition Using CNN-CRFs (CNN-CRFs를 이용한 한국어 개체명 인식기)

  • You, Yeon-Soo;Park, Hyuk-Ro
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.78-80
    • /
    • 2019
  • 개체명 인식 연구에서 우수한 성능을 보이고 있는 bi-LSTM-CRFs 모델은 처리 속도가 느린 단점이 있고, CNN-CRFs 모델은 한국어 말뭉치를 사용하여 제대로 분석되지 않았다. 본 논문에서는 한국어 개체명 인식 말뭉치를 이용한 CNN-CRFs 모델의 음절 단위 한국어 개체명 인식 방법을 제안한다. 실험 결과 bi-LSTM-CRFs 모델보다 CNN-CRFs 모델의 F1 score가 0.4% 높았고, 27.5% 빠른 처리 속도를 보였다.

  • PDF

The Extraction of Korean Noun Phrases based on Dependency Patterns (의존관계 패턴에 기반한 한국어 명사구의 추출)

  • Seungshik Kang;Sangmo Lee;Minhaeng Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.615-617
    • /
    • 2023
  • 이 연구는 한국어 명사구를 말뭉치로부터 추출하는 방법의 하나로 의존관계 패턴에 기반한 접근방법을 제안하는 것을 목적으로 한다. 이 방법론을 활용한 경우에 명사구 추출의 정확성을 높일 수 있다. 이 논문에서는 한국어 법령 의존 말뭉치를 구축하는 단계부터 상위 명사구 목록을 생성하기 까지 거치는 5단계에 대해 상세하게 논의하는 한편, 의존구조 검색시스템을 통해 의존관계 패턴을 추출하는 절차에 대해 기술하고 이 작업을 수행하기 위한 검색식들의 특성들에 대해 검토한다.

  • PDF

Morphological Analyzer of Yonsei Univ., morany: Morphological Analysis based on Large Lexical Database Extracted from Corpus (연세대 형태소 분석기 morany: 말뭉치로부터 추출한 대량의 어휘 데이터베이스에 기반한 형태소 분석)

  • Yoon, Jun-Tae;Lee, Chung-Hee;Kim, Seon-Ho;Song, Man-Suk
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10d
    • /
    • pp.92-98
    • /
    • 1999
  • 본 논문에서는 연세대학교 컴퓨터과학과에서 연구되어 온 형태소 분석 시스템에 대해 설명한다. 연세대학교 자연 언어 처리 시스템의 기본적인 바탕은 무엇보다도 대량의 말뭉치를 기반으로 하고 있다는 점이다. 예컨대, 형태소 분석 사전은 말뭉치 처리에 의해 재구성 되었으며, 3000만 어절로부터 추출되어 수작업에 의해 다듬어진 어휘 데이터베이스는 형태소 분석 결과의 상당 부분을 제한하여 일차적인 중의성 해결의 역할을 담당한다. 또한 복합어 분석 역시 말뭉치에서 얻어진 사전을 바탕으로 이루어진다. 품사 태깅은 bigram hmm에 기반하고 있으며 어휘 규칙 등에 의한 후처리가 보강되어 있다. 이렇게 구성된 형태소 분석기 및 품사 태거는 구문 분석기와 함께 연결되어 이용되고 있다.

  • PDF

Construction of an Artificial Training Corpus for The Quality Estimation Task based on HTER Distribution Equalization (번역 품질 예측을 위한 HTER 분포 평준화 기반 인조 번역 품질 말뭉치 구축 방법)

  • Park, Junsu;Lee, WonKee;Shin, Jaehun;Han, H. Jeung;Lee, Jong-hyeok
    • Annual Conference on Human and Language Technology
    • /
    • 2019.10a
    • /
    • pp.460-464
    • /
    • 2019
  • 번역 품질 예측은 기계번역 시스템이 생성한 번역문의 품질을 정답 번역문을 참고하지 않고 예측하는 과정으로, 번역문의 사후 교정을 위한 번역 오류 검출의 역할을 담당하는 중요한 연구이다. 본 논문은 문장 수준의 번역 품질 예측 문제를 HTER 구간의 분류 문제로 간주하여, 번역 품질 말뭉치의 HTER 분포 불균형으로 인한 성능 제약을 완화하기 위해 인조 사후 교정 말뭉치를 이용하는 방법을 제안하였다. 결과적으로 HTER 분포를 균등하게 조정한 학습 말뭉치가 그렇지 않은 쪽에 비해 번역 품질 예측에 더 효과적인 것을 보였다.

  • PDF

Extending Korean PropBank for Korean Semantic Role Labeling and Applying Domain Adaptation Technique (한국어 의미역 결정을 위한 Korean PropBank 확장 및 도메인 적응 기술 적용)

  • Bae, Jangseong;Lee, Changki
    • Korean Journal of Cognitive Science
    • /
    • v.26 no.4
    • /
    • pp.377-392
    • /
    • 2015
  • Korean semantic role labeling (SRL) is usually performed by a machine learning and requires a lot of corpus. However, the Korean PropBank used in Korean SRL system is less than PropBank. It leads to a low performance. Therefore, we expand the annotated corpus and verb frames for Korean SRL system to expand the Korean PropBank corpus. Most of the SRL system have a domain-dependent performance so, the performance may decrease if domain was changed. In this paper, we use the domain adaptation technique to reduce decreasing performance with the existing corpus and the small size of new domain corpus. We apply the domain adaptation technique to Structural SVM and Deep Neural Network. The experimental result show the effectiveness of the domain adaptation technique.

Syllables-based Named Entity Extraction and Automatic Corpus Construction using Bidirectional Dynamic LST (Bidirectional Dynamic LSTM 을 이용한 음절 단위 개체명 추출 및 자동화된 말뭉치 구축)

  • Oh, Sungsik;Lim, Changdae;Ahn, Keeho;Park, Weijin
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.317-320
    • /
    • 2017
  • 개체명 인식은 자연어 문장에서 장소, 제작물, 사람 등 분류를 통한 의미 부여가 가능한 단어를 파악하는 기술로서 의미 분석을 위한 핵심 기술이다. 현재 많은 개체명 분석 관련 연구들은 형태소 분석 결과에 의존적인 형태를 갖고 있어서, 형태소 분석 결과의 정확성이 개체명 분석 결과의 성능에 영향을 미치고 있다. 본 연구에서는 형태소 분석 과정을 거치지 않는 음절 기반의 개체명 분석 기술을 제안하여 형태소 분석의 정확도가 낮은 통신어, 신조어 분석 성능을 향상하였다. 또한, 자동화된 방법으로 음절 단위 개체명 말뭉치 및 개체명 사전을 구축하는 프로세스를 정의하여 개체명 분석의 정확도 향상 및 인지 범주의 확대를 도모하였다. 본 연구에서 제안한 개체명 인식 기술은 한국어 개체명 표준에 기반한 129가지의 개체명 분류가 가능하며, 이는 자연어 처리 기술이 필요한 산업계에서 상용화하는데 큰 기여를 할 것으로 판단된다.

  • PDF

The POS Elderly: Semi-automatic annotation tool for Historical Korean (형태소 깎는 노인: 국어사 자료를 위한 형태분석 보조기)

  • Kim, Migyeong;Park, Suzi;Lee, Sana
    • 한국어정보학회:학술대회논문집
    • /
    • 2016.10a
    • /
    • pp.39-43
    • /
    • 2016
  • '형태소 깎는 노인'은 국어사 자료를 처리하는 고성능 자동 형태분석기의 개발이 난항을 겪고 있는 상황에서 수동으로 형태분석 작업을 하는 연구자들을 지원하기 위하여 개발된 형태분석 보조기이다. 인간과 기계의 분업을 통해 인간의 피로를 최대한 줄이고, 단순 반복 형태에 대해서는 정답을 확실하게 제안할 수 있다는 것이 특징이다. 국어사 자료에는 한국어 정보처리를 위해 필요한 어휘 사전이 없으므로, 문법형태소 사전을 만들어 이를 단서로 조사/어미부와 어간부를 구분하도록 하였다. 이를 통해 구축된 소규모 형태분석 말뭉치들이 장기적으로는 자동 형태분석기의 성능 개선에 일조할 수 있을 것으로 기대한다.

  • PDF

Korean Head-Tail POS-Tagger by using Transformer (Transformer를 이용한 한국어 Head-Tail 품사 태거)

  • Kim, Jung-Min;Suh, Hyun-Jae;Kang, Seung-Shik
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.544-547
    • /
    • 2021
  • 한국어의 품사 태깅 문제는 입력 어절의 형태소 분석 후보들로부터 통계적으로 적절한 품사 태그를 가지는 후보들을 찾는 방식으로 해결하여 왔다. 어절을 형태소 단위로 분리하고 품사를 부착하는 기존의 방식은 품사태그 정보를 딥러닝 feature로 사용할 때 문장의 의미를 이해하는데 복잡도를 증가시키는 요인이 된다. 본 연구에서는 품사 태깅 문제를 단순화 하여 한 어절을 Head와 Tail이라는 두 가지 유형의 형태소 토큰으로 분리하여 Head와 Tail에 대해 품사를 부착한다. Head-Tail 품사 태깅 방법을 Sequence-to-Sequence 문제로 정의하여 Transformer를 이용한 Head-Tail 품사 태거를 설계하고 구현하였다. 학습데이터로는 KCC150 말뭉치의 품사 태깅 말뭉치 중에서 788만 문장을 사용하고, 실험 데이터로는 10만 문장을 사용하였다. 실험 결과로 토큰 정확도는 99.75%, 태그 정확도는 99.39%, 토큰-태그 정확도는 99.31%로 나타났다.

  • PDF

Automatic Tension Classification from Lecture Show Transcripts (강연의 자막을 이용한 긴장도 자동 분류)

  • Yoon, Seungwon;Yang, Wonsuk;Park, Jong C.
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.204-209
    • /
    • 2018
  • 긴장이라는 측면은 의사소통을 하거나 글을 읽을 때 사람에게 항상 영향을 주고 있다. 긴장의 개념은 자연언어처리 분야에서 광범위한 의미로 사용되어 왔는데, 본 논문은 이런 개념 중 강연과 같은 한 방향 대화에서 화자의 말에 대하여 청중이 가지는 긴장도에 집중하여 이를 정량화하는 방법을 제안한다. 한 명의 저자에 의해 서술된 문서에 긴장도 개념을 적용함에 있어, 한 방향 대화에서의 긴장도를 정량화하는 본 연구는 긴장도 개념을 일반 문서에 적용할 때에 보다 용이하게 활용될 것으로 예상한다. 본 연구에서는 먼저 화자의 말에 대한 청중의 긴장도가 주석되어 있는 새로운 말뭉치를 구축하였다. 또한 문맥을 고려하여 긴장도를 예측할 수 있는 모델과 이에 따른 긴장도 분류 성능에 대한 실험 결과를 통하여 자동 긴장도 분류가 계산적으로 가능하다는 것을 보인다.

  • PDF