• Proceedings of the Korea Information Processing Society Conference
• /
• 2000.10a
• /
• pp.379-382
• /
• 2000

본 논문은 정보검색을 위한 형태소분석기를 소개한다. 검색엔진의 속도향상을 지향한다면 형태소분석 알고리즘과 참조하는 사전의 구조를 어떻게 구성하는가에 따라 처리속도에 상당한 변화를 기대할 수 있으며, 본 논문에서는 알고리즘으로 최장일치법을 이용하고, 사전내부구조로 AVL+Trie 구조를 이용하여 사전참조의 속도향상을 기대하였다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.11a
• /
• pp.669-672
• /
• 2005

단어가 지니는 의미를 이미지로 처리하면 그 단어의 이미지가 단순화되면서 높은 인식률을 가질 수 있다는 장점을 지닌다. 이러한 장점을 이용하여 언어장애인들을 위한 유용한 보완대체 의사소통 학습도구에 하나로 이미지 전자 사전을 구축하고자 한다. 우선 동사와 조합되는 용어들의 패턴들을 면밀히 조사하여 그 패턴들을 영역과 자질의 카테고리로 분류하고, 그 카테고리에 속하는 기본 데이터들을 정리하여 분류된 데이터를 하위범주화 방식을 통해 검색을 보다 용이하게 하였다. 더욱이 언어장애인들이 많이 쓰이는 단어를 조사하고, 그 단어를 중심으로 한 모듈을 이용하여, 각각에게 해당되는 이미지를 수집함으로 단어들의 의미를 표현하고 인식할 수 있도록 하는 인터페이스를 구축하는데 중점을 두었다. 또한 언어장애인이 직접 명사와 동사를 조합하여 그 완성여부를 검토할 수 있는 학습기능을 추가함으로 인해 보다 실생활에 유용하고 교육적인 이미지 전자 사전을 구축하였다.

• Annual Conference on Human and Language Technology
• /
• 1992.10a
• /
• pp.503-510
• /
• 1992

복합어는 여러개의 단어가 하나의 의미론 나타내는 단어를 말한다. 이 논문에서는 번역시 구성단어들의 의미의 합이 아닌 다른 또 하나의 의미를 나타내는 단어를 대상으로 한다. 이러한 복합어는 구문해석 단계에서 많은 애매성의 원인이 되며, 유형에 따라 숙어 처럼 새로운 의미로 항상 같이 쓰이는 복합어와 복합어의 형성이 복잡하여 규칙으로서 단어를 이해할 필요가 있는 단어로 구분할 수 있다. 첫번째 유형은 단어의 형성이 단순하여 하나의 사전 엔트리로 등록될 수 있다. 이때 이들 복합어가 가지는 개별 어휘 규칙을 같이 사전에 등록하여 사전을 효과적 이용할 수 있다. 두번째 유형은 규칙에 의한 처리를 하여야 한다. 이러한 복합어에 대한 인식을 구문분석이전에 행함으로서 적은 노력으로 복합어로 인한 전체 문장의 애매성을 감소시키고, 문장내 단어의 수를 감소시킴으로서 전채 번역시스템의 효율을 증대하며, 복합어의 처리는 번역문을 자연스럽게 생성하는 데 큰 효과를 나타낸다.

• Annual Conference on Human and Language Technology
• /
• 1991.10a
• /
• pp.36-43
• /
• 1991

자연 언어 처리의 효율성은 대량의 정보를 담고 있는 사전을 잘 구성하는 데 있다. 사전을 잘 이용하기 위해서는 입력 어절에 대한 정확한 표제어(원형)를 효과적으로 찾아야한다. 입력 어절에 대한 표제어를 찾는 역할을 하는 형태소 분석기는 한 어절의 정보만 이용하기 때문에 입력 어절을 두 가지 이상의 표제어로 해석할 수 있다. 연세 대학교 사전편찬실이 갖고 있는 연세 말뭉치 I 에 대해 10% 이상의 어절이 두가지 이상으로 분석되는 중의성을 가진다. 이렇게 중의성을 가지는 어절이 그대로 구문 구조 분석기에 전달되면 중의성올 해결하기 위해 구운 구조 분석기의 처리 과정이 복잡해진다. 본 논문은 표제어의 중의성을 보이는 어절을 구문 구조 분석기에게 전달하기 전에 형태소 분석기와 구문 구조 분석기 사이에서 정확한 표제어를 찾는 방법을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.68-75
• /
• 2007

웹 2.0 시대에 사용자가 작성한 리뷰는 다양한 활용성을 갖는 가치있는 데이터이다. 특히 온라인 쇼핑몰에서의 상품평은 사용자의 구매 결정에 직접적인 영향을 미치는 중요한 정보이다. 본 논문에서는 실제 쇼핑몰 사이트에 있는 상품평을 분석하여 각 상품의 특징과 이에 대한 사용자의 의견을 요약하는 상품평 분석 시스템을 설계하고 구현하였다. 각 상품평을 분석하는 과정에서는 자연언어처리 기법과 의미 사전을 사용한다. 의미 사전에는 상품의 특징을 표현하는 어휘와 각 어휘들의 극성(Polarity) 정보들을 반자동으로 정의할 수 있도록 구현하였다. 이에 더하여 문맥에 따라 다른 의미를 갖는 어휘에 대한 처리 방법에 대해서도 논의한다. 실험은 2개 상품 분류의 63개 실제 리뷰를 대상으로 수행하였으며 결과로 평균 88.94%의 정확률, 47.92%의 재현율을 나타냈다.

• Annual Conference on Human and Language Technology
• /
• 2004.10d
• /
• pp.106-111
• /
• 2004

사람의 언어를 이해하는 자연언어처리 시스템을 개발하기 위해서는 의미처리를 위한 지식 베이스(knowledge base)가 필요하다. 지금까지 사람이 가진 지식 베이스를 컴퓨터에 도입하려는 많은 노력을 기울이고 있고 그 결과물로 온톨로지(ontology)와 시소러스(thesaurus)가 만들어지고 있다. 외국에서는 지식 베이스의 중요성을 알고 많은 연구를 수행하고 있으며 그 대표적인 사례들에는 Roget's Thesaurus, WordNet, EDR 개념사전, CYC, Euro WordNet 등이 있다. 이 중에서 가장 대표적이며 많은 활용을 보이는 것이 Princeton 대학의 WordNet이다. WordNet은 인간의 어휘지식에 대한 심리 언어학적인 연구의 결과물로써 심리학자와 언어학자들에 의해 10여 년 동안 구축되고 있는 영어에 대한 어휘데이터베이스이다. 본 논문에서는 WordNet을 기반으로 명사에 대해서 영한사전과 국어사전을 이용하여 구축한 한국어 워드넷을 소개하구 구축시 고려한 기본지침을 소개하도록 하겠다.

• Journal of the Earthquake Engineering Society of Korea
• /
• v.6 no.2
• /
• pp.39-50
• /
• 2002

Several pre-processing techniques for earthquake data from earthquake monitoring institutes in Korea including Korea Electric Power Research Institute are thoroughly reviewed. Among these techniques for removing an instrumental response, removing the non-causal ringing distortion by FIR filter, checking calibration status of seismic stations, and minimizing the window effect are introduced and applied to real data. It is also recommended that analysts evaluate S/N ratio in the frequency domain and consider the possibility of using the saturated earthquake data.

• Annual Conference on Human and Language Technology
• /
• 1990.11a
• /
• pp.3-10
• /
• 1990

언어 정보 처리가 정보과학의 가장 중요한 분야의 하나로 부상하면서 언어 정보 가치가 높은 실용성있는 우리말 사전의 필요성이 더욱 더 절실해지고 있으며, 또 우리 언어사회에 외래어가 지나치게 범람함으로써 고유 언어 문화를 위협할 정도가 되어 외래 신생어에 대한 대책이 긴요하다 하겠다. 그러므로 본 논문은 최신 전산 기술을 이용하여 우리말 어휘 뭉치를 대량 정보 처리함으로써 우리말 언어 세계를 신속하고 정확하게 반영하며, 실용성있고 사용하기 편리하며, 우리말 어휘 확장에 보조 역할을 해줄 하이퍼텍스트화된 우리말 전자사전을 제안하며 그 원형을 설계 및 구현하였다.

• Annual Conference on Human and Language Technology
• /
• 2020.10a
• /
• pp.437-440
• /
• 2020

최근 자연어 처리에서는 사전 학습과 전이 학습을 통하여 다양한 과제에 높은 성능 향상을 성취하고 있다. 사전 학습의 대표적 모델로 구글의 BERT가 있으며, 구글에서 제공한 다국어 모델을 포함해 한국의 여러 연구기관과 기업에서 한국어 데이터셋으로 학습한 BERT 모델을 제공하고 있다. 하지만 이런 BERT 모델들은 사전 학습에 사용한 말뭉치의 특성에 따라 이후 전이 학습에서의 성능 차이가 발생한다. 본 연구에서는 소셜미디어에서 나타나는 구어체와 신조어, 특수문자, 이모지 등 일반 사용자들의 문장에 보다 유연하게 대응할 수 있는 한국어 뉴스 댓글 데이터를 통해 학습한 KcBERT를 소개한다. 본 모델은 최소한의 데이터 정제 이후 BERT WordPiece 토크나이저를 학습하고, BERT Base 모델과 BERT Large 모델을 모두 학습하였다. 또한, 학습된 모델을 HuggingFace Model Hub에 공개하였다. KcBERT를 기반으로 전이 학습을 통해 한국어 데이터셋에 적용한 성능을 비교한 결과, 한국어 영화 리뷰 코퍼스(NSMC)에서 최고 성능의 스코어를 얻을 수 있었으며, 여타 데이터셋에서는 기존 한국어 BERT 모델과 비슷한 수준의 성능을 보였다.

• Annual Conference on Human and Language Technology
• /
• 2021.10a
• /
• pp.419-422
• /
• 2021

본 논문은 한국어와 영어 코퍼스 93GB를 활용하여 구축한 대형 사전학습기반 언어모델인 KE-T5를 소개한다. KE-T5는 한국어와 영어 어휘 64,000개를 포함하는 대규모의 언어모델로 다양한 한국어처리와 한국어와 영어를 모두 포함하는 번역 등의 복합언어 태스크에서도 높은 성능을 기대할 수 있다. KE-T5의 활용은 대규모의 언어모델을 기반으로 영어 수준의 복잡한 언어처리 태스크에 대한 연구들을 본격적으로 시작할 수 있는 기반을 마련하였다.