• Annual Conference on Human and Language Technology
• /
• 2001.10d
• /
• pp.130-137
• /
• 2001

최대 엔트로피 모델(maximum entropy model)은 여러 가지 자연언어 문제를 학습하는데 성공적으로 적용되어 왔지만, 두 가지의 주요한 문제점을 가지고 있다. 그 첫번째 문제는 해당 언어에 대한 많은 사전 지식(prior knowledge)이 필요하다는 것이고, 두번째 문제는 계산량이 너무 많다는 것이다. 본 논문에서는 텍스트 단위화(text chunking)에 최대 엔트로피 모델을 적용하는 데 나타나는 이 문제점들을 해소하기 위해 새로운 방법을 제시한다. 사전 지식으로, 간단한 언어 모델로부터 쉽게 생성된 결정트리(decision tree)에서 자동적으로 만들어진 규칙을 사용한다. 따라서, 제시된 방법에서의 최대 엔트로피 모델은 결정트리를 보강하는 방법으로 간주될 수 있다. 계산론적 복잡도를 줄이기 위해서, 최대 엔트로피 모델을 학습할 때 일종의 능동 학습(active learning) 방법을 사용한다. 전체 학습 데이터가 아닌 일부분만을 사용함으로써 계산 비용은 크게 줄어 들 수 있다. 실험 결과, 제시된 방법으로 결정트리의 오류의 수가 반으로 줄었다. 대부분의 자연언어 데이터가 매우 불균형을 이루므로, 학습된 모델을 부스팅(boosting)으로 강화할 수 있다. 부스팅을 한 후 제시된 방법은 전문가에 의해 선택된 자질로 학습된 최대 엔트로피 모델보다 졸은 성능을 보이며 지금까지 보고된 기계 학습 알고리즘 중 가장 성능이 좋은 방법과 비슷한 성능을 보인다 텍스트 단위화가 일반적으로 전체 구문분석의 전 단계이고 이 단계에서의 오류가 다음 단계에서 복구될 수 없으므로 이 성능은 텍스트 단위화에서 매우 의미가 길다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.419-423
• /
• 2000

성공적인 의사소통의 경우에 성(性)이, 이(理)와 명(命)으로 나타난 것이 같다. 진리(aletheia)가, 언어(logos)와 운명(moira)으로 나타난 것들이 일치하는 것이 성공적인 언화행위가 된다. 측정대상(melos)과 본체(ousia)가 구분되는 것은 언어와 운명의 괴리가 있을 수 있기 때문이다. 체계적인 언어처리의 지식기반을 측정대상에 한정한다. (1) 철학의 시작은 더 옳은 언어표현의 정의(definition)로 이전의 잘못 사용된 언어처리를 대체시키는 것으로 소크라테스는 보았다. [R. Crossman] (2)잘못을 지적하는 등에(Tabanidae)의 역할과 옳은 지식의 상기를 돕는 산파법(maieutics)이 소크라테스의 의미분석의 방법이다. [R. Crossman] (3) 언어를 통하여 진리를 추구한다는 입장(via language)에서 한 언어표현이 그 진리의 운명으로 나타남과 어긋날 때, 운명을 택하는 것은 조화 보다 더 안정의 우위를 인정하는 논리적인 입장으로 합리성 보다 실용(pragma)의 우위를 인정하는 것이다. [W. Quine] (4) 공동체의 공통규범의 추구는 그 언어 속의 공통의 형식 또는 법칙의 추구에 기초하는 것이 자연스럽다. 여기에서 그 언어사용은 그 기저의 법칙(underlying rule)에 개입한다는 입장에 기초한다. [J. Searle] (5) 진리의 언어표현과 운명적인 사태들 사이의 괴리를 처리하기 위하여 체계적인 언어표현의 대상(The Young Tableaux)과 실제(The continuum)의 구분을 수용한다. [AMS(2000)]언어표현의 대상은 나타난 것(顯)이고 실제에는 나타나지 않은 것도 있다. [伊川, 明道] (6) 이 나타난 것과 나타나지 않은 것에 간격이 없다는 것(顯微無間)은 그 의사소통이 성공적인 것이라는 것을 말한다. 따라서 그 언어의 표현완전성(functional completeness)은 언화행위가 성공적이라는 것이다. [J. Searle] (7) 수로 쓰인 것(象數)과 시로 쓰인 것(義理)이 하나인 것은 그 나타난 것과 나타나지 않은 것들 사이에 어떠한 틈도 없음을 말한다. [成中英] (8) 공통의 규범의 공통성 속에 규범적인 측면이 벌써 있다. 공통성에서 개인적이 아닌 공적인 규범으로의 전이는 규범, 가치, 규칙, 과정, 제도로의 전이라고 본다. [C. Morrison] (9) 우리의 언어사용에 신비적인 요소를 부인할 수가 없다. 넓은 의미의 발화의미(utterance meaning) 속에 신비적인 요소나 애정표시도 수용된다. 의미분석은 지금 한글을 연구하고, 그 결과에 의존하여서 우리의 실제의 생활에 사용하는 $\boxDr$한국어사전$\boxUl$등을 만드는 과정에서, 어떤 의미에서 실험되었다고 말할 수가 있는 언어과학의 연구의 결과에 의존하여서 수행되는 철학적인 작업이다. 여기에서는 하나의 철학적인 연구의 시작으로 받아들여지는 이 의미분석의 문제를 반성하여 본다.

• Journal of the Korean Society for information Management
• /
• v.8 no.2
• /
• pp.3-31
• /
• 1991

A prototype model of intelligent information retrieval system is presented with the definition of intelligent information retrieval. An intelligent information retrieval system for Korean documents was designed, and the system was implemented with Turbo Prolog 2.0 and Turbo Pascal 5.5. The characteristics of the system include natural language interface, user modeling, automatic indexing by case relationship, and multiple retrieval techniques.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2001.04b
• /
• pp.1025-1028
• /
• 2001

본 논문은 기후자료로 제공되는 기상 데이터베이스로부터 사람이 이해할 수 있는 수준의 분석문을 생성하는 시스템에 자연언어 생성 기술을 적용한 연구에 관한 것이다. 기상청에서 제공되는 여러가지 자료들을 이용하여 기상관련 지식을 획득하였으며, 제한된 영역에서 잘 구조화된 템플릿을 정의하고 담화관계를 설정함으로써 관련 기상자료에 대한 해설문을 생성할 수 있었다. 실험 결과, 본 시스템은 비교적 좋은 성능을 나타냄을 알 수 있었다.

• Proceedings of the Korean Society for Cognitive Science Conference
• /
• 2000.06a
• /
• pp.368-375
• /
• 2000

품사 태깅 시스템은 자연 언어 처리의 가장 기본이 되는 부분으로 상위 자연 언어 처리 분야인 구문분석, 의미분석의 전처리로 사용되거나, 기계번역, 정보검색이나 음성인식 및 합성등과 같은 많은 응용 시스템을 위해서도 필요하다. 이렇게 여러 가지 목적을 위해 품사 태깅 시스템은 존재하는데, 각각의 응용을 위해서 최적화된 태깅 시스템을 따로 구성하기도 하고, 하나의 태깅 시스템을 여러 가지 응용을 위해서 사용하기도 한다. 이때, 문제가 되는 것 중에 하나는 각 응용마다 요구하는 품사 태그 세트가 다르다는 것이다. 품사 태그세트가 고정되어 있다면 어떤 응용을 위해서는 사용되는 품사 태그세트가 너무 적어서 문제가 되고, 반대로 품사태그세트가 너무 많아서 시스템의 수행속도가 중요시되는 응용에서 성능저하의 요인이 되기도 한다. 본 논문에서는 하나의 태깅 시스템의 품사태그세트를 조절할 수 있도록 하여 몇 가지 응용시스템에 맞게 최적화 시킬 수 있는 방법론을 제시하고 실험을 통해서 시스템의 성능, 유지보수 및 시스템의 여러 리소스 관리 측면에서도 가장 효율적인 방법론임을 입증하고자 한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10c
• /
• pp.205-209
• /
• 2007

인터넷과 핸드폰의 보급으로 컴퓨터 사용자가 전자 메일 통한 통신 방법이 활발하다. 전자 메일의 사용은 개인적인 일은 물론 기업 사무, 광고 메일, 뉴스, 광고 메일 등 폭넓게 이용되고 있다. 전자 메일 클라이언트에 자연언어처리의 고급 기능의 탑재와 컴퓨터 바이러스 혹은 스팸 메일을 방지하는 고기능이 임베디드 되어야 한다. 자연언어처리 기법을 이용하여 전자 메일의 내용에 포함된 작성자의 "즐거움", "성남", "슬픔"등 인간의 복잡한 감정 표현을 송신과 수신 프로세서에서 이해시키며, 전자 메일을 송신하기 전문서의 내용 중에 불쾌한 표현을 제거하여 문서 교정을 독려하는 지능적인 전자 메일 클라이언트 시스템을 설계하였다.

• Annual Conference on Human and Language Technology
• /
• 1993.10a
• /
• pp.547-557
• /
• 1993

본 논문에서는 일-한 기계 번역 시스템에서 한국어 생성에 대한 효율적인 방법을 제안한다. 일본어와 한국어는 대부분의 문법 체계가 비슷하지만 어절 내, 특히 술부 내에서는 문법 형태소의 어순이 일치하지 않고 형태소간에도 일대일 대응이 불가능한 경우가 많다. 또한 일본어 용언에 부정의 조동사가 사용된 문장을 한국어로 번역할 때에도 부정의 뜻을 내포하는 한국어 용언이 존재하면 부정적 역어로 생성하여야 한다. 이러한 점으로 인하여 형태소 대 형태소를 일대일로 대응시켜 생성하면 자연스럽고 올바른 한국어 문장을 얻기 어렵다. 따라서 기본적으로 직접 번역 방시을 이용하면서 술부의 생성을 위하여 양상류 의미자질을 이용하는 방법을 제안한다. 본 논문에서 제안한 한국어 생성 방법은 기존의 방법보다 적은 사전 작업으로 간단하게 자연스러운 한국어 표현을 얻을 수 있었다.

• Annual Conference on Human and Language Technology
• /
• 2007.10a
• /
• pp.241-249
• /
• 2007

본 연구는 IT 인물 관련 텍스트 정보의 효율적인 검색을 위하여 문서 내에서 인물과 관련된 정보를 담고 있는 문장들이 어떠한 특징을 가지고 실현되는가를 살펴보고 언어적 속성을 어떻게 구조화하고 형식화할 것인가를 논의하는 것을 목적으로 한다. 언어적 속성 분석을 위해서 전자신문 내에서 인물 관련 코퍼스를 수집하고 이들의 분석을 통해 다음과 같이 문제가 되는 특징들을 확인하였다. 즉 외래어 음차 표기문제, 복합명사 및 명사구 그리고 서술 명사적 표현의 문제 등으로 요약된다. IT라는 특정 영역에 대해 텍스트 내에서의 어휘-통사적 패턴을 분석하고 언어적 특징에 대한 효율적 기술을 위해서는 LGG 부분 문법 그래프 모델을 활용하도록 한다. 본 연구는 특정 영역인 IT 관련 문서에서 자연언어 텍스트를 대상으로 정보 검색할 때 문제가 되는 다양한 언어학적 현상들을 다루며, 향후보다 확장된 영역에서의 효율적 언어 처리에 대한 방법론적 대안을 제시할 수 있을 것으로 기대된다.

• Annual Conference on Human and Language Technology
• /
• 1995.10a
• /
• pp.175-180
• /
• 1995

한국어는 교착어이기 때문에 형태소 해석은 자연언어 처리에서 매우 중요한 역할을 담당한다. 한국어 형태소 해석에서 주로 사용되는 정보는 두 형태소의 결합 가능 유무를 나타내는 접속정보이다. 이 접속정보는 단순한 품사정보에 의해서 표현되기 때문에 형태소 해석기의 과잉 해석의 원인이 된다. 이를 줄이기 위해 언어 지식의 일종인 포섭관계가 제안되었다[5]. 그러나, 포섭관계를 검사하기 위한 포섭조건들은 수작업에 의해서 작성되었다. 수작업으로 작성된 이들 조건들은 일관성 유지하기 어려울 뿐 아니라 완전한 조건들을 구하기도 어렵다. 따라서, 본 논문에서는 이와 같은 문제를 해소하기 위해서 품사 태깅된 말뭉치를 이용해서 포섭조건의 자동 추출방법을 제안한다.

• Annual Conference on Human and Language Technology
• /
• 1997.10a
• /
• pp.341-346
• /
• 1997

개념기반 분석방법은 발화문에서 발화자가 전달하고자 하는 중요한 부분만을 추출하여 개념어로 대표하여 분석하기 때문에 문장에서 발생하는 불필요한 여러 언어현상을 무시하고 주요 의미만 추출할 수 있는 강건함을 가장 큰 장점으로 갖는다. 한국어는 영어권 언어와는 달리 교착어와 부분 자유 어순의 특징을 가지기 때문에 구문정보를 이용하지 않는 순수 개념 기반의 분석기법을 한국어에 그대로 적용하면 문법의 복잡도가 증가하여 시스템 성능이 크게 저하된다. 본 논문에서 제시하는 구문정보를 이용한 개념기반의 분석방법은 순수 개념 기반의 분석기법이나 구문정보만을 사용하는 방법보다 모호성이 적고, 문법의 기술이 용이하며, 대화체 처리의 어려운 점들을 상당수 극복할 수 있다. 또한 분석루틴의 skip기능은 자연 발화문의 분석률을 높여주며, 어근으로부터 분리한 어미를 일정한 개념으로 분류함으로써 교착어의 특성으로 인한 문법의 복잡도를 해소하였고, 분석문법으로 부분 자유 어순에 따른 다양한 문장들을 수용할 수 있다.