• Title/Summary/Keyword: 언어획득

Search Result 236, Processing Time 0.034 seconds

Conceptual Clustering of Korean Concordances using Similarities between Morphemes (형태소 사이의 유사도를 이용한 용례의 의미별 분류)

  • Baek, Dae-Ho;Lee, Ho;Rim, Hae-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 1996.10a
    • /
    • pp.235-240
    • /
    • 1996
  • 본 논문에서는 정보 검색에서 사용하는 계층적 클러스터링 기법을 이용하여 용례들을 중심어의 의미에 따라 분류하고자 한다. 분류에 필요한 용례 사이의 유사도는 형태소 사이의 유사도를 이용하여 계산한다. 형태소 사이의 유사도 계산에는 상호 정보, 상호 정보의 유사도, 벡터 유사도 등을 사용한다. 품사 태깅된 17만 코퍼스에서 명사 4개와 동사 4개를 중심어로 사용하여 추출된 용례에 대해서 각 방법의 정확도를 실험한 결과 상호 정보와 상호 정보 유사도를 더한 값을 형태소 사이의 유사도로 사용한 방법이 90.16%의 정확도를 보였다. 제안된 방법에서 사용하는 정보들은 의미 태깅되지 않은 코퍼스에서 추출할 수 있기 때문에, 정보의 획득이 쉬운 장점이 있다.

  • PDF

Application of NLG technology to Weather Commentator System (기상해설 시스템 (Weather Commentator System)에서 자연언어 생성 기술의 적응)

  • Kim, Jung-Eun;Paik, Hae-Seung;Choi, Key-Sun
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2001.04b
    • /
    • pp.1025-1028
    • /
    • 2001
  • 본 논문은 기후자료로 제공되는 기상 데이터베이스로부터 사람이 이해할 수 있는 수준의 분석문을 생성하는 시스템에 자연언어 생성 기술을 적용한 연구에 관한 것이다. 기상청에서 제공되는 여러가지 자료들을 이용하여 기상관련 지식을 획득하였으며, 제한된 영역에서 잘 구조화된 템플릿을 정의하고 담화관계를 설정함으로써 관련 기상자료에 대한 해설문을 생성할 수 있었다. 실험 결과, 본 시스템은 비교적 좋은 성능을 나타냄을 알 수 있었다.

  • PDF

Representation of Local Grammar for Temporal Expression and Analysis of Temporal Phrase with FST (시간 표현에 대한 부분 문법 기술 및 FST를 이용한 시간 구문 분석)

  • Kim, Youn-Gwan;Yoon, Jun-Tae;Song, Man-Suk
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.231-236
    • /
    • 1999
  • 시간표현은 문장에서 다른 명사와 결합하여 복합어를 이루는 경우가 있고, 용언과 결합하여 시간 부사의 역할을 하는 경우가 있는데, 이는 구문 분석에 있어서 중의적 해석이 두드러지며, 그 결과 구문 분석의 오류를 빈번히 야기하기도 한다. 본 논문에서는 이러한 시간 관계의 표현을 대량의 말뭉치로부터 획득하고 이들을 부분문법(local grammar)으로 표현한 후, 이것을 FST(Finite State Transducer)를 이용하여 부분 구문분석을 하고자 한다. 이를 위해 5천만 어절의 말뭉치에서 259개의 시간 단어를 추출하였고, 시간 단어들의 의미적 또는 기능적 사용에 의해서 26개의 어휘 범주로 분류하고 각 범주들의 결합관계를 일반화하였다. 실험을 통하여 인식을 위한 시간표현의 결합관계는 최고 97.2%의 정확률을 보였고, 품사태깅에 있어서는 평균 96.8%의 정확률을 보였다. 이는 시간 표현의 결합관계가 부분 구문분석에 있어서 유용한 정보임을 보여준다.

  • PDF

A Method for Automatic Extract ion of Term Definition from Text (텍스트로부터 용어 정의문의 자동 추출 방법)

  • Shin, Hyo-Shik;Kim, Jae-Ho;Lee, Hae-Yun;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2002.10e
    • /
    • pp.292-299
    • /
    • 2002
  • 본 연구는 텍스트 코퍼스로부터 용어의 정의를 자동으로 추출하여 용어의 자동 추출기술과 통합하여 다목적의 용어뱅크를 구축하기 위한 목적으로부터 출발하였다. 지식정보의 확산에 따라 기존 전문분야 용어집에 수록되지 알은 용어의 수는 폭발적으로 증가하고 있다. 기존의 용어집 혹은 용어사전의 디지털화만으로는 새로운 전문용어의 포괄성에서 한계가 있는 것이다. 정보의 획득이라는 면에서 보면 이러한 한계를 극복하고 모든 용어에 대해서 즉시적으로 용어의 정의를 제공받는 것이 바람직하다. 자동으로 구축된 용어집의 응용은 여러 가지로 기대된다. 새로운 용어에 대한 의미 파악을 위해서는 물론, 확장된 전문용어집의 작성이나 전문분야 온톨로지의 구축 등에도 이용될 수 있다.

  • PDF

Improving Dialogue Intent Classification Performance with Uncertainty Quantification based OOD Detection (불확실성 정량화 기반 OOD 검출을 통한 대화 의도 분류 모델의 성능 향상)

  • Jong-Hun Shin;Yohan Lee;Oh-Woog Kwon;Young-Kil Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.517-520
    • /
    • 2022
  • 지능형 대화 시스템은 줄곧 서비스의 목표와 무관한 사용자 입력을 전달받아, 그 처리 성능을 의심받는다. 특히 종단간 대화 이해 생성 모델이나, 기계학습 기반 대화 이해 모델은 학습 시간대에 한정된 범위의 도메인 입력에만 노출됨으로, 사용자 발화를 자신이 처리 가능한 도메인으로 과신하는 경향이 있다. 본 연구에서는 대화 생성 모델이 처리할 수 없는 입력과 신뢰도가 낮은 생성 결과를 배제하기 위해 불확실성 정량화 기법을 대화 의도 분류 모델에 적용한다. 여러 번의 추론 샘플링이 필요 없는 실용적인 예측 신뢰도 획득 방법과 함께, 평가 시간대와 또다른 도메인으로 구성된 분포 외 입력 데이터를 학습에 노출시키는 것이 분포 외 입력을 구분하는데 도움이 되는지를 실험으로 확인한다.

  • PDF

Transfer learning of Entity linking based on Pseudo Entity Description and Entity Alignment (가상 엔터티 설명문 및 엔터티 정렬에 기반한 엔터티 링킹 전이학습)

  • Choi, Heyon-Jun;Na, Seung-Hoon;Kim, Hyun-Ho;Kim, Seon-Hoon;Kang, Inho
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.223-226
    • /
    • 2020
  • 엔터티 링킹을 위해서는 엔터티 링킹을 수행 할 후보 엔터티의 정보를 얻어내는 것이 필요하다. 하지만, 엔터티 정보를 획득하기 어려운 경우, 엔터티 링킹을 수행 할 수 없다. 이 논문에서는 이를 해결하기 위해 데이터셋으로부터 엔터티의 가상 엔터티 설명문을 작성하고, 이를 통해 엔터티 링킹을 수행함으로써 엔터티 정보가 없는 환경에서도 2.58%p밖에 성능 하락이 일어나지 않음을 보인다.

  • PDF

A Comparative Study on the Korean Text Extractive Summarization using Pre-trained Language Model (사전 학습 언어 모델을 이용한 한국어 문서 추출 요약 비교 분석)

  • Young-Rae Cho;Kwang-Hyun Baek;Min-Ji Park;Byung Hoon Park;Sooyeon Shin
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2023.11a
    • /
    • pp.518-521
    • /
    • 2023
  • 오늘날 과도한 정보의 양 속에서 디지털 문서 내 중요한 정보를 효율적으로 획득하는 것은 비용 효율의 측면에서 중요한 요구사항이 되었다. 문서 요약은 자연어 처리의 한 분야로서 원본 문서의 핵심적인 정보를 유지하는 동시에 중요 문장을 추출 또는 생성하는 작업이다. 이 중 추출요약은 정보의 손실 및 잘못된 정보 생성의 가능성을 줄이고 요약 가능하다. 그러나 여러 토크나이저와 임베딩 모델 중 적절한 활용을 위한 비교가 미진한 상황이다. 본 논문에서는 한국어 사전학습된 추출 요약 언어 모델들을 선정하고 추가 데이터셋으로 학습하고 성능 평가를 실시하여 그 결과를 비교 분석하였다.

Korean Co-reference Resolution End-to-End Learning using Bi-LSTM with Mention Features (언급 특질을 이용한 Bi-LSTM 기반 한국어 상호참조해결 종단간 학습)

  • Shin, Giyeon;Han, Kijong;Lee, Minho;Kim, Kuntae;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2018.10a
    • /
    • pp.247-251
    • /
    • 2018
  • 상호참조해결은 자연언어 문서 내에서 등장하는 명사구 언급(mention)과 이에 선행하는 명사구 언급을 찾아 같은 개체인지 정의하는 문제이다. 특히, 지식베이스 확장에 있어 상호참조해결은 언급 후보에 대해 선행하는 개체의 언급이 있는지 판단해 지식트리플 획득에 도움을 준다. 영어권 상호참조해결에서는 F1 score 73%를 웃도는 좋은 성능을 내고 있으나, 평균 정밀도가 80%로 지식트리플 추출에 적용하기에는 무리가 있다. 따라서 본 논문에서는 한국어 문서에 대해 영어권 상호참조해결 모델에서 사용되었던 최신 모델인 Bi-LSTM 기반의 딥 러닝 기술을 구현하고 이에 더해 언급 후보 목록을 만들어 개체명 유형과 경계를 적용하였으며 품사형태를 붙인 토큰을 사용하였다. 실험 결과, 문자 임베딩(Character Embedding) 값을 사용한 경우 CoNLL F1-Score 63.25%를 기록하였고, 85.67%의 정밀도를 보였으며, 같은 모델에 문자 임베딩을 사용하지 않은 경우 CoNLL F1-Score 67.92%와 평균 정밀도 77.71%를 보였다.

  • PDF

Analysis on Mathematically Gifted Middle School Students' Characteristic of Mathematical Thinking and Verbal Expression in the Study of Parallel Lines in Non-Euclidean Disc Model using Dynamic Geometry Software (GSP를 사용한 비유클리드 원판모델 학습에서 나타난 중학교 수학 영재들의 평행선에 관한 인식 및 언어 표현 방식 분석)

  • Hong, Seong Kowan
    • Journal of Educational Research in Mathematics
    • /
    • v.23 no.1
    • /
    • pp.53-74
    • /
    • 2013
  • The purpose of this paper is to analyze how mathematically gifted middle school students find out the necessary and sufficient condition for a certain hyperbolic line to be parallel to a given hyperbolic line in Non-Euclidean disc model (Poincar$\acute{e}$ disc model) using the Geometer's Sketchpad. We also investigated their characteristic of mathematical thinking and analyze how they express what they had observed while they did mental experiments in the Poincar$\acute{e}$ disc using computer-aided construction tools, measurement tools and inductive reasoning.

  • PDF

Extracting English-Korean Named-Entity Word-pairs using Wikipedia (위키피디아를 이용한 영-한 개체명 대역어 쌍 구축)

  • Kim, Eun-Kyung;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.101-105
    • /
    • 2009
  • 본 논문은 공통적으로 이용할 수 있는 웹 환경에서의 한국어 정보로 획득할 수 있는 정보의 양이 영어권 정보의 양보다 상대적으로 적다는 것을 토대로, 웹정보 이용의 불균형을 해소하고자 하는 목적으로부터 출발하였다. 최근에는 지식 정보의 세계화, 국제화에 따라 동일한 정보를 각국 언어로 제공하고자하는 연구가 꾸준히 증가하고 있다. 온라인 백과사전인 위키피디아 역시 현재 다국어로 제공이 되고 있지만 한국어로 작성된 문서는 영어로 작성된 문서의 5% 미만인 것으로 조사되었다. 본 논문에서는 위키피디아 내에서 제공하는 다국어간의 링크 정보와 인포박스 데이터를 활용하여 위키피디아 문서 내에서 개체명을 인식하고, 자동으로 개체명의 영-한 대역어 쌍을 추출하는 것을 목표로 한다. 개체명은 일반 사전에 등재 되지 않은 경우가 많기 때문에, 기계번역에서 사전 데이터 등을 활용하여 개체명을 처리하는 것은 쉽지 않으며 일반적으로 음차표기 방식을 함께 사용하여 해결하고 있다. 본 논문을 통해 위키피디아 데이터를 활용해 만들어진 영-한 개체명 대역어 사전을 구축하기 위해 사용된 기술은 추후 위키피디아 문서를 기계번역하는데 있어 동일한 방법으로 사용이 가능하며, 구축된 사전 데이터는 추후 영-한 자동 음차표기 연구의 사전 데이터로도 활용이 가능하다.

  • PDF