• Journal of the Korean Society for Library and Information Science
• /
• v.57 no.1
• /
• pp.93-114
• /
• 2023

Information extraction can facilitate the intensive analysis of documents by providing semantic triples which consist of named entities and their relations recognized in the texts. However, most of the research so far has been carried out separately for named entity recognition and relation extraction as individual studies, and as a result, the effective performance evaluation of the entire information extraction systems was not performed properly. This paper introduces two models of end-to-end information extraction that can extract various entity names in clinical records and their relationships in the form of semantic triples, namely pipeline and joint models and compares their performances in depth. The pipeline model consists of an entity recognition sub-system based on bidirectional GRU-CRFs and a relation extraction module using multiple encoding scheme, whereas the joint model was implemented with a single bidirectional GRU-CRFs equipped with multi-head labeling method. In the experiments using i2b2/VA 2010, the performance of the pipeline model was 5.5% (F-measure) higher. In addition, through a comparative experiment with existing state-of-the-art systems using large-scale neural language models and manually constructed features, the objective performance level of the end-to-end models implemented in this paper could be identified properly.

• Annual Conference on Human and Language Technology
• /
• 2018.10a
• /
• pp.243-246
• /
• 2018

최근 사용자 발화를 이해하고 그에 맞는 피드백을 생성할 수 있는 대화 시스템의 중요성이 증가하고 있다. 따라서 사용자 의도를 파악하기 위한 화행 분석은 대화 시스템의 필수적인 요소이다. 최근 많이 연구되는 심층 학습 기법은 모델이 데이터로부터 자질들을 스스로 추출한다는 장점이 있다. 발화 자체의 연속성과 화자간 상호 작용을 포착하기 위하여 CNN에 RNN을 결합한 CNN-RNN을 제안한다. 본 논문에서 제안한 계층 구조 어텐션 매커니즘 기반 CNN-RNN을 효과적으로 적용한 결과 워드 임베딩을 추가한 조건에서 가장 높은 성능인 91.72% 정확도를 얻었다.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.406-410
• /
• 2007

성대마이크는 디바이스의 특성상 환경 잡음을 최소화하는 장점이 있다. 그러나 고주파정보의 손실과 부분적인 포먼트 정보의 손실 때문에, 성대마이크를 이용한 명령어 인식기는 표준마이크를 이용한 명령어 인식기보다 낮은 성능을 보인다. 본 논문은 한국어 음운자질의 특성을 적용한 특징추출 알고리즘과 최적화된 인식모델을 이용하여 높은 성능을 갖는 명령어 인식시스템을 제안한다. 성대 울림 특성이 한국어 내의 분포 분석하여 성대 울림 정보만으로 명령어 인식기 개발이 가능함을 보이고 음성인식에 높은 성능을 보이는 Time Delay Neural Network(TDNN)[1]을 성대신호 명령어 인식에 최적화한 구조를 제안한다. 실험을 통해 찾은 최적 TDNN 구조를 성대신호에 적용한 했을 때 약 87%의 높은 성능을 보였다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.292-294
• /
• 2001

문서 클러스터링은 정보검색 시스템에서 검색과정의 효율성을 향상시키기 위해서 많이 사용된다. 기존의 K-means 클러스터링과 같은 거리-기반 접근 방법은 거리에 대한 척도를 정해야 하는 문제가 있고, 또한 전체 자질 공간에서 지역적 특성에 민감하기 때문에 문서 내에 노이즈가 존재할 경우 만족스러운 결과를 내지 못할 수 있다. 그리고 기본적으로 문서 데이터는 희소성(sparseness)을 가기 때문에 정규 분포를 가정한 mixture 모델을 적용하기도 어려움이 있다. 본 논문에서는 Helmoholtz machine에 의한 문서 클러스터링 방법을 제안한다. 제안되는 방법에서는 하나의 문서를 어떤 내재적인 요인(factor)들의 다양한 결합에 의한 결과로 가정하는데, 이 때의 요인은 주제어 집합 또는 적어도 의미적으로 유사한 단어들의 집합이다. 그리고 기본적으로 Helmholtz machine은 이진 데이터를 다루는데, 텍스트 문서에 나타나는 단어들의 빈도를 고려하기 위해 수정된 Helmholtz machine을 제시한다. TREC-8 adhoe 데이터와 20 Newsgroup 문서 집합에 대한 클러스터링 실험 결과, 제안된 방법이 K-means 알고리즘에 비해 우수한 성능을 보였으며 주제어 추출을 통해 문서 집합의 전체 내용 파악을 용이하게 하는 특성이 있었다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.411-418
• /
• 2000

Hausser (1999)와 이기용 (1999a, 1999c)에서는 데이터베이스 관리 시스템(DBMS)을 이용하여 자연언어의 의미를 다루는 데이터베이스 의미론을 제안하였다. 특히 이기용 (1999c)에서는 수형도(tree), 논리 형태(logical fomulas), 자질 구조(feature structure)와 같은 다양한 언어 표상 형식들을 관계형 데이터베이스 관리 시스템(DBMS)의 표상 형식인 테이블 형식으로 전환 가능함을 보임으로써 데이터베이스 의미론에 관계형 데이터베이스 관리 시스템을 도입할 수 있음을 제시하였다. 한편, Lee (2000)에서 제시한 데이터베이스 의미론 모형에서는 데이터베이스 관리 시스템과 사용자(end-user)를 연결하는 언어 정보 처리 시스템(LIPS; Linguistic Information Processing System)을 제안하였다. 이 언어 정보 처리 시스템은 사용자에 의해 입력된 언어 자료를 처리하여 그 분석 결과를 데이터베이스 관리 시스템에 전달하고, 이를 통해 구축된 데이터베이스에서 추출한 정보를 다시 사용자에게 전달하는 시스템이다. 이 논문은 한국어 '이, 히, 리, 기' 피동형을 전산처리 할 수 있도록, 데이터베이스 의미론에서 핵심 요소인 언어정보 처리 시스템과 데이터베이스 관리 시스템을 구현하는 것이 목적이다.

• Annual Conference on Human and Language Technology
• /
• 2002.10e
• /
• pp.343-350
• /
• 2002

본 논문에서는 구문패턴을 이용한 반자동 구문분석 말뭉치 구축도구를 제안한다. 일반적으로 구문분석 말뭉치를 구축하는 작업은 문법전문가의 많은 시간과 노력을 필요로 하고 있다. 본 논문은 구문분석 말뭉치를 구축할 때 수작업을 감소시켜 줄 수 있는 도구를 개발하기 위하여, 사용자가 정의하는 자질집합과 신뢰도를 바탕으로 구문패턴을 자동 추출하고 적용하는 방법을 제안한다. 소량의 말뭉치에서 실험한 결과, 구문패턴의 사용은 30%정도의 수작업을 감소시킬 수 있는 것으로 나타났다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.824-827
• /
• 2015

최근 자연어처리에 딥 러닝이 적용되고 있다. 딥 러닝은 기존의 기계학습 방법들과 달리, 자질 추출 및 조합 등과 같이 사람이 직접 수행해야 했던 부분들을 자동으로 처리할 수 있는 장점이 있다. 본 논문에서는 기존 상호참조해결에 적용했던 SVM 대신 딥 러닝을 이용할 것을 제안한다. 실험결과, 딥 러닝을 이용한 시스템의 성능이 57.96%로 SVM을 이용한 것보다 약 9.6%만큼 높았다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.199-202
• /
• 2021

의미역 결정은 입력된 문장 내 어절간의 의미 관계를 예측하기 위한 자연어처리 태스크이며, 핵심 서술어에 따라 상이한 의미역 집합들이 존재한다. 기존의 연구는 문장 내의 서술어의 개수만큼 입력 문장을 확장해 순차 태깅 문제로 접근한다. 본 연구에서는 확장된 입력 문장에 대해 구문 분석을 수행 후 추출된 문장 구조 정보를 의미역 결정 모델의 자질로 사용한다. 이를 위해 기존에 학습된 구문 분석 모델의 파라미터를 전이하여 논항의 위치를 예측한 후 파이프라인을 통해 의미역 결정 모델을 학습시킨다. ALBERT 사전학습 모델을 통해 입력 토큰의 표현을 얻은 후, 논항의 위치에 대응되는 표현을 따로 추상화하기 위한 계층형 트랜스포머 인코더 레이어 구조를 추가했다. 실험결과 Korean Propbank 데이터에 대해 F1 85.59의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.25-29
• /
• 2019

딥러닝을 이용한 한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식으로 나뉘어 연구되어 왔다. 전이 기반 방식은 입력 버퍼와 스택으로부터 자질을 추출하여 모델을 통해 액션을 결정하고 액션에 따라 파스트리를 생성해 나가는 상향식(Botton-Up)의 지역적 모델이고 그래프 기반 방식은 문장 내의 모든 단어에 대해 지배소, 의존소가 될 수 있는 점수를 딥러닝 모델을 통해 점수화하여 트리를 생성하는 전역적 모델이다. 본 논문에서는 Dual Decomposition을 이용하여 하이브리드 방식으로 전이 기반 파서와 그래프 기반 파서를 결합하는 방법을 제안하고 BERT 언어 모델을 반영하여 세종 데이터 셋에서 UAS 94.47%, LAS 92.58% 그리고 SPMRL '14 데이터 셋에서 UAS 94.74%, UAS 94.20%의 성능을 보여 기존 그래프 기반 파서의 성능을 더욱 개선하였다.

• Annual Conference on Human and Language Technology
• /
• 2019.10a
• /
• pp.115-119
• /
• 2019

딥러닝 모델은 자동으로 자질을 추출하고 추상화 하기 위해 깊은 은닉층을 가지며, 이전 연구들은 이러한 은닉층을 깊게 쌓는 것이 성능 향상에 기여한다는 것을 증명해왔다. 하지만 데이터나 태스크에 따라 높은 성능을 내는 깊이가 다르고, 모델 깊이 설정에 대한 명확한 근거가 부족하다. 본 논문은 데이터 셋에 따라 적합한 깊이가 다르다고 가정하고, 이를 확인하기 위해 모델 내부에 분류기를 추가하여 모델 내부의 학습 경향을 확인하였다. 그 결과 태스크나 입력의 특성에 따라 필요로 하는 깊이에 차이가 있음을 발견하였고, 이를 근거로 가변적으로 깊이를 선택하여 모델의 출력을 조절하여 그 결과 성능이 향상됨을 확인하였다.