• 제목/요약/키워드: 한국어자료

검색결과 410건 처리시간 0.02초

자연어 생성 모델을 이용한 준지도 학습 기반 한국어 사실 확인 자료 구축 (Semi-Supervised Data Augmentation Method for Korean Fact Verification Using Generative Language Models)

  • 정재환;전동현;김선훈;강인호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.105-111
    • /
    • 2021
  • 한국어 사실 확인 과제는 학습 자료의 부재로 인해 연구에 어려움을 겪고 있다. 본 논문은 수작업으로 구성된 학습 자료를 토대로 자연어 생성 모델을 이용하여 한국어 사실 확인 자료를 구축하는 방법을 제안한다. 본 연구는 임의의 근거를 기반으로 하는 주장을 생성하는 방법 (E2C)과 임의의 주장을 기반으로 근거를 생성하는 방법 (C2E)을 모두 실험해보았다. 이때 기존 학습 자료에 위 두 학습 자료를 각각 추가하여 학습한 사실 확인 분류기가 기존의 학습 자료나 영문 사실 확인 자료 FEVER를 국문으로 기계 번역한 학습 자료를 토대로 구성된 분류기보다 평가 자료에 대해 높은 성능을 기록하였다. 또한, C2E 방법의 경우 수작업으로 구성된 자료 없이 기존의 자연어 추론 과제 자료와 HyperCLOVA Few Shot 예제만으로도 높은 성능을 기록하여, 비지도 학습 방식으로 사실 확인 자료를 구축할 수 있는 가능성 역시 확인하였다.

  • PDF

한국어 형태소 분석을 위한 단어 유형 분류와 자료구조 (Word Classification and Data Structure for Korean Morphological Analysis)

  • 강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.241-245
    • /
    • 1996
  • 한국어 정보처리 시스템은 유형별로 다양한 형태의 형태소 분석 정보를 필요로 하는데 이를 위하여 한국어의 단어 유형을 분류하고 형태소 분석 결과를 효율적으로 저장하는 자료구조를 제안한다. 형태소 분석에 필요한 단어 유형은 일반적인 유형과 단순화된 유형으로 구분하여 비교하였으며, 이를 기반으로 형태소 분석을 위한 새로운 단어 구성 전이도를 제시하였다. 형태소 분석 결과를 저장하는 자료구조는 HAM에서 사용되고 있는 자료구조를 기반으로 응용시스템에서 필요로 하는 정보를 쉽게 사용할 수 있도록 보완하고 저장 공간의 효율성을 개선하였다.

  • PDF

코퍼스 규모에 따른 타입과 토큰의 상관성 연구 (The Statistical Relationship between Types and Tokens)

  • 양경숙;박병선;임준호
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.81-85
    • /
    • 2003
  • 이 논문의 목적은 코퍼스 크기에 따른 타입과 토큰간의 관계를 엄밀한 통계적 방법으로 그 특징을 밝히고자 하는 것이다. 지금까지 코퍼스를 구축하는 데 있어서, 자료의 다양성을 고려한 자료 균형성을 문제와 더불어 코퍼스 구축 규모의 문제는 매우 중요한 고려사항이었다. 이런 문제는 일찍이 영어 코퍼스를 중심으로 많은 연구가 진행된 바가 있지만 한국어를 대상으로 한 엄밀한 연구는 많이 이루어지지 않았다. 이 연구에서는 현재까지 구축한 현대 한국어 말뭉치 1억여 어절을 대상으로 말뭉치 크기 증가에 따른 타입과 토큰간의 통계적 관계를 3가지 모형에 대해 비교하였으며 최종적으로 ARIMA모형을 이용하여 그 함수적 관계를 밝혀보았다. 연구 결과에 따르면 한국어 자료는 약 1천만 어절의 토큰을 기준으로 타입의 변화가 다소 둔화되는 결과를 보인다. 연구에 의해 도출된 함수식을 이용하면 소규모의 자료를 이용하더라도, 대규모 자료에서의 타입수를 계산해 낼 수 있으므로, 더욱 다양하고 정확한 통계처리의 근거를 제시할 수 있게 된다.

  • PDF

한국어 대화체의 부 대화 유형 및 담화표지에 관한 연구 (A Study of Korean Subdialogues and Discourse Markers)

  • 이현호;임혜원;김영미;양영하
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.477-492
    • /
    • 1997
  • 본 연구에서는 한국어 대화체에 사용되는 담화표지와 부 대화의 유형을 분석하였다. 한국어 대화체에 사용되는 각종 담화표지에 대한 기존의 언어학적 연구를 정리하였고, 실제 한국어 대화자료를 녹취, 전사하여 연구에 필요한 데이터를 만들었으며, 이 데이터를 분석하여 한국어 대화체에서 관찰되는 부 대화의 유형을 분류하고자 하였다. 또한 각 부 대화와 담화표지들간의 관계를 규명하려는 시도를 하였다. 이것은 인간과 컴퓨터간의 특정 목적 대화를 구현하는 데도 중요한 역할을 한다. 특히 인간과 컴퓨터가 예약, 상담 등 특정 목적을 달성하기 위한 대화를 수행할 수 있는 프로그램을 구축하는 데 있어서, 인간이 실제로 사용하는 담화표지 및 의사소동 책략 등을 반영할 수 있게 해줄 것이다. 담화분석 연구자들이 실제 대화 자료를 분석하여 한국어 대화체의 기저에 흐르는 대화의 메카니즘을 다방면에서 종합적으로 정리하면 그 결과를 토대로 전산학 연구자들이 한층 바람직한 한국어 대화인지 모형을 만들어낼 수 있을 것으로 기대된다.

  • PDF

한국어 교육 멀티미디어 자료의 유형과 구축 방식 - 누리-세종학당의 '디지털 자료관' 구축을 위하여 - (Types and Construction Method of Multimedia Materials for the Korean Language Education: For the Construction of Digital Library on Nuri-Sejonghakdang)

  • 이현주;조태린
    • 한국어교육
    • /
    • 제23권1호
    • /
    • pp.25-45
    • /
    • 2012
  • The purpose of this article is to examine types and construction method of multimedia materials for the Korean language education, finally in order to construct digital library on Nuri-Sejonghakdang. Firstly, this article reviews some major concepts such as teaching material, multimedia, learning object, meta-data, reusability, etc. Secondly, various multimedia materials are divided into three types(namely, example material, explanation material, training and evaluating material) according to their characteristics as a learning objects. And then, this article tries to propose the classification-search system and meta-data elements for effective search and use of multimedia materials. Finally, this article is concluded by presenting the long-term plan of digital library construction on Nuri-Sejonghakdang and some follow-up task of this study.

심층학습을 이용한 음절태깅 기반의 외래어 인식 시스템 (Loanword Recognition Using Deep Learning)

  • 박호민;김창현;천민아;노경목;김재훈
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.71-75
    • /
    • 2017
  • 외래어란 외국어로부터 들어와 한국어에 동화되고 한국어로서 사용되는 언어이다. 나날이 우리의 언어사용 문화에서 외래어의 사용 비율은 높아져가는 추세로, 전문분야에서는 특히 두드러진다. 그러므로 더 효율적이고 효과적인 자연언어처리를 위해서 문서 내 외래어 인식은 중요한 전처리 과정이다. 따라서 본 논문에서는 bidirectional LSTM(이하 bi-LSTM)-CRF 모형의 심층학습을 이용한 음절태깅 기반의 외래어 인식 시스템을 제안한다. 제안하는 시스템의 외래어 인식 학습 과정은 다음과 같다. 첫째, 학습용 말뭉치 자료의 한글 음절들과 공백, 마침표(.)를 토대로 word2vec을 통해 학습용 피쳐(feature) 자료를 생성한다. 둘째, 학습용 말뭉치 자료와 학습용 피쳐 자료를 결합하여 bi-LSTM 모형 학습 자료를 구축한다. 셋째, bi-LSTM 모형을 거쳐 학습된 결과물을 CRF 모형에서 로그 가능도(log likelyhood)와 비터비(Viterbi) 알고리즘을 통해 학습 결과물을 내놓는다. 넷째, 학습용 말뭉치 자료의 정답과 비교한 뒤 모형 내부의 수치들을 조정한다. 다섯째, 학습을 마칠 때까지 반복한다. 본 논문에서 제안하는 시스템을 이용하여 자체적인 뉴스 수집 자료에 대해서 높은 정확도와 재현율을 기록하였다.

  • PDF

한국어 텍스트의 논증 구조 내 담화 관계의 자동 분류 연구 (An Automatic Classification of Discourse Relations in the Arguing Structure of Korean Texts)

  • 이상아;신효필
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2015년도 제27회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.59-64
    • /
    • 2015
  • 최근 온라인 텍스트 자료를 이용하여 대중의 의견을 분석하는 작업이 활발히 이루어지고 있다. 이러한 작업에는 주관적 방향성을 갖는 텍스트의 논증 구조와 중요 내용을 파악하는 과정이 필요하며, 자료의 양과 다양성이 급격히 증가하면서 그 과정의 자동화가 불가피해지고 있다. 본 연구에서는 정책에 대한 찬반 의견으로 구성된 한국어 텍스트 자료를 직접 구축하고, 글을 구성하는 기본 단위들 사이의 담화 관계를 정의하였다. 각 단위들 사이의 관계는 기계학습과 규칙 기반 방식을 이용하여 예측되고, 그 결과는 합성되어 하나의 글에 대응되는 트리 구조를 이룬다. 또한 텍스트의 구조상에서 주제문을 직접적으로 뒷받침하는 문장 혹은 절을 추출하여 글의 중요 내용을 얻고자 하였다.

  • PDF

형태소 깎는 노인: 국어사 자료를 위한 형태분석 보조기 (The POS Elderly: Semi-automatic annotation tool for Historical Korean)

  • 김미경;박수지;이상아
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2016년도 제28회 한글및한국어정보처리학술대회
    • /
    • pp.39-43
    • /
    • 2016
  • '형태소 깎는 노인'은 국어사 자료를 처리하는 고성능 자동 형태분석기의 개발이 난항을 겪고 있는 상황에서 수동으로 형태분석 작업을 하는 연구자들을 지원하기 위하여 개발된 형태분석 보조기이다. 인간과 기계의 분업을 통해 인간의 피로를 최대한 줄이고, 단순 반복 형태에 대해서는 정답을 확실하게 제안할 수 있다는 것이 특징이다. 국어사 자료에는 한국어 정보처리를 위해 필요한 어휘 사전이 없으므로, 문법형태소 사전을 만들어 이를 단서로 조사/어미부와 어간부를 구분하도록 하였다. 이를 통해 구축된 소규모 형태분석 말뭉치들이 장기적으로는 자동 형태분석기의 성능 개선에 일조할 수 있을 것으로 기대한다.

  • PDF

품사태그부착 코퍼스 구축을 위한 한국어 품사태깅 워크벤치 (The Korean Part-of-speech Tagging Workbench for Tagged Corpus Construction)

  • 박영찬;김남일;허욱;남기춘;최기선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1997년도 제9회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.94-101
    • /
    • 1997
  • 한국어의 언어분석을 위한 가공코퍼스의 하나인 품사부착 코퍼스는 형태소 언어분석의 기초가 되는 자료로서 각종 언어분석 모델의 학습자료와 관측자료 또는 검증자료로서 중요한 역할을 한다. 품사부착 코퍼스의 구축은 많은 노력과 시간이 요구되는 어려운 작업이다. 기존의 구축방법은 자동 태거의 결과를 일일이 사람이 확인해 가면 오류를 발견하고 수정하는 단순 작업이었다. 이러한 단순 작업은 한번 수정된 자동태거의 반복적 오류, 미등록어에 의한 오류 들을 계속적으로 수정해야하는 비효율성을 내포하고 있었다. 본 논문에서는 HMM기반의 자동 태거를 사용하여 1차적으로 한국어 문서를 자동 태깅한다. 자동 태깅 결과로부터 규칙기반의 오류 수정을 추가적으로 행한다. 이렇게 구축된 결과를 사용자에게 제시하여 최종 오류를 수정하고 이를 앞으로의 태깅작업에 반영하는 품사부착 워크벤치에 대해 기술한다.

  • PDF