• Title/Summary/Keyword: 자연 언어 처리

Search Result 430, Processing Time 0.026 seconds

Expanded Korean Chunking by $k$-NN ($k$-NN으로 확장된 한국어 단위화)

  • 박성배;장병탁;김영택
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10b
    • /
    • pp.182-184
    • /
    • 2000
  • 대부분의 자연언어처리에서 단위화는 구문 분석 이전의 매우 기본적인 처리 단계로, 텍스트 문장을 문법적으로 서로 관련된 단위로 분할하는 것이다. 따라서, 단위화를 이용하면 구문 분석이나 의미 분석 등에서 메모리와 시간을 효율적으로 줄일 수 있다. 일반적으로 통찰에 의한 규칙을 사용해서도 비교적 높은 단위화 성능을 얻을 수 있지만, 본 논문에서는 기계 학습 기법인 k-NN을 사용하여 보다 정확한 단위화를 구현한다. 인터넷 홈페이지에서 얻은 1,273 문장을 대상으로 학습한 결과, k-NN으로 단위화를 확장했을 때에 확장하지 않았을 때보다 2.3%의 정확도 증가를 보였다.

  • PDF

The Representational Structure of Lexical Informations of Korean non-autonomous nouns in the Sejong Electronic Dictionary (세종 의존명사/대명사/수사 전자사전의 정보표상 구조)

  • Bang, Seong-Won;Ho, Jeong-Eun;Kim, Jong-In
    • Annual Conference on Human and Language Technology
    • /
    • 2001.10d
    • /
    • pp.341-347
    • /
    • 2001
  • 세종전자사전이 궁극적으로 범용전자사전을 지향한다는 점에 비추어 볼 때, 텍스트 자동 분석과 생성, 정보 검색 및 자동 번역 등에 활용될 데이터베이스로서의 전자사전은 자연 언어 어휘의 내적 구조와 기능방식에 관한 정보들, 가령 음운 통사 의미 화용적 가치와 실현 조건 등에 관한 정보들을 체계적이고도 정교하게 담고 있어야만 한다. 의존명사, 대명사, 수사 범주에 속하는 언어 단위들은 단일 명사와 구별되는 어휘 통사적 속성들을 지니며, 사전의 기술 구조에는 그 정보 값들을 체계적으로 명시화할 수 있는 정보 항목과 표상 구조가 설정되어야 한다. 가령 의존명사처럼 통사 의미적 자율성을 지니지 않는 언어 요소의 경우, 어휘 관계 정보보다는 인접하는 여타 언어 단위들과의 호응관계나 결합제약 조건들이 더 중요한 정보일 수 있다. 본 사전이 체언사전의 하위사전으로 별도로 구축되는 것은 단일어 사전에서 그러한 정보들을 효과적으로 표상하기 어렵기 때문이다. 그러나 본 사전은 실제적으로는 체언사전에 통합되어 운영된다는 점에서 이중적 지위를 누린다고 하겠다.

  • PDF

Prompt-based Data Augmentation for Generating Personalized Conversation Using Past Counseling Dialogues (과거 상담대화를 활용한 개인화 대화생성을 위한 프롬프트 기반 데이터 증강)

  • Chae-Gyun Lim;Hye-Woo Lee;Kyeong-Jin Oh;Joo-Won Sung;Ho-Jin Choi
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.209-213
    • /
    • 2023
  • 최근 자연어 이해 분야에서 대규모 언어모델 기반으로 프롬프트를 활용하여 모델과 상호작용하는 방법이 널리 연구되고 있으며, 특히 상담 분야에서 언어모델을 활용한다면 내담자와의 자연스러운 대화를 주도할 수 있는 대화생성 모델로 확장이 가능하다. 내담자의 상황에 따라 개인화된 상담대화를 진행하는 모델을 학습시키려면 동일한 내담자에 대한 과거 및 차기 상담대화가 필요하지만, 기존의 데이터셋은 대체로 단일 대화세션으로 구축되어 있다. 본 논문에서는 언어모델을 활용하여 단일 대화세션으로 구축된 기존 상담대화 데이터셋을 확장하여 연속된 대화세션 구성의 학습데이터를 확보할 수 있는 프롬프트 기반 데이터 증강 기법을 제안한다. 제안 기법은 기존 대화내용을 반영한 요약질문 생성단계와 대화맥락을 유지한 차기 상담대화 생성 단계로 구성되며, 프롬프트 엔지니어링을 통해 상담 분야의 데이터셋을 확장하고 사용자 평가를 통해 제안 기법의 데이터 증강이 품질에 미치는 영향을 확인한다.

  • PDF

Implementation to phonological alteration module for a korean text-to-speech (한국어 Text-to-Speech 변환을 위한 음운 변동 시스템에 관한 연구)

  • Park, Su-Hyun;Kwon, Hyuk-Chul
    • Annual Conference on Human and Language Technology
    • /
    • 1995.10a
    • /
    • pp.35-38
    • /
    • 1995
  • Text-to-speech 시스템은 텍스트를 입력으로 받아 텍스트와 일치하는 음성을 출력하는 시스템으로, 인간이 자신의 모국어로 텍스트를 읽는 것과 비슷한 수준의 음성을 출력하는 데 목적이 있다. 한국어의 각 단어들은 한 단어 내에 있는 형태소들 사이에 음운 변동 현상을 일으켜 쓰여진 형태와 다르게 발음된다. 그러므로 한국어 텍스트를 자연스럽게 발음하기 위해서는 음운 변동 현상을 효율적으로 처리할 수 있어야 한다. 한국어에서 음운 변동을 일으키는 규칙은 여러 가지이고, 정확한 발음을 위해서는 이러한 규칙들이 차례대로 적용되어져야 한다. 따라서 본 논문에서는 이러한 한국어의 발음상의 특성을 고려하여 two-level 모델에 기반한 음운 변동 시스템을 구현한다.

  • PDF

Restoration of Adnominal Case 'no' in Korean-to-Japanese MT System (한-일 기계번역 시스템에서 관형격조사 'no'의 복원)

  • Chung, Yu-Jin;Heo, Nam-Won;Lee, Jong-Hyeok;Kim, Tai-Suk
    • Annual Conference on Human and Language Technology
    • /
    • 1999.10e
    • /
    • pp.115-120
    • /
    • 1999
  • 기존의 한-일 기계번역 시스템에서는 합성명사의 번역시 별도의 처리과정을 두지 않고 단순히 단어 각각을 일본어로 직역하여 변환시키는 방법을 채택하고 있다. 이러한 합성명사의 번역 방법은 대부분의 경우 잘 적용되지만, 매우 부자연스러운 일본어 표현이 되는 경우도 많다. 본 논문에서는 이러한 번역 방법이 갖는 문제점을 지적하고 합성명사를 관형격조사가 삽입된 명사구로 변환시키기 위해 표층 레벨에서의 어휘간 결합력과 명사 간의 의미 관계를 이용한 관형격조사 'no'의 복원 방법을 제안함으로써 보다 자연스러운 일본어 문장을 생성할 수 있도록 하고자 한다.

  • PDF

Kane: Knowledge Annotation Tool for Semantic Information (Kane: 의미정보 말뭉치 구축 도구)

  • Bae, Won-Sik;Cha, Jeong-Won
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.121-125
    • /
    • 2009
  • 본 논문에서는 의미정보 말뭉치 구축 도구인 Kane에 대해 설명한다. 형태소 분석기나 구문 분석기, 개체명 인식기 등 자연어처리를 위한 기본이 되는 시스템에는 말뭉치가 필요하며, 말뭉치의 구축에는 많은 비용이 든다. 일반적으로 말뭉치 구축 작업은 전용 구축 도구가 없이 문서 편집기를 사용하여 이루어지는 경우가 많아 말뭉치 구축 작업 효율이 떨어지고, 자연스럽게 구축되는 말뭉치의 품질도 낮아진다. 문서 편집기를 사용할 때 발생하는 대표적인 문제는 키보드를 이용한 기계적인 작업이 반복된다는 것이며, 키보드 입력에 따른 오타 문제 또한 발생한다. Kane에서는 기계적인 작업 및 키보드 입력을 간편한 인터페이스를 통해 최소화하였으며, 마우스 조작으로도 쉽게 말뭉치를 구축할 수 있다. 또한 사전을 이용한 이전 작업 내용 참조 기능을 지원하여 작업의 효율성 및 일관성 문제를 개선하고자 하였다.

  • PDF

English-to-Korean Machine Translation System for Air Force Intelligence : ALKOL (공군 정보 영한 기계번역 시스템 : ALKOL)

  • Lee, Hyun-Ah;Lim, Chul-Su;Choi, Myung-Seok;Kang, In-Ho;Kim, Gil-Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2000.10d
    • /
    • pp.315-322
    • /
    • 2000
  • 본 논문에서는 공군 정보 번역을 위한 영한 기계번역 시스템 ALKOL에 대해서 소개한다. ALKOL은 어휘화된 규칙에 기반한 번역 시스템으로, 어휘화된 규칙은 어휘-분석-변환-생성의 네 단계의 정보가 연결된 형태로 사전에 저장된다. 이와 같은 사전 구조에 의해 번역 과정의 효율성을 높일 수 있고, 어휘화된 규칙에 의해 정확하고 자연스러운 번역 결과를 얻을수 있다. ALKOL의 번역 과정은 형태소 분석, 품사 태깅, 분석 전처리, 구문 분석, 변환, 생성의 단계로 이루어진다. 각 단계에서는 전/후처리를 보강하여 실제 번역 환경에서 나타나는 문제들을 해결하고, 하나 이상의 번역 결과를 출력하여 사용자가 원하는 결과를 선택할 수 있게 한다.

  • PDF

Automatic Term Recognition Through EM Algorithm (EM 알고리즘을 이용한 전문용어의 자동 추출)

  • 오종훈;김재호;최기선
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2003.10a
    • /
    • pp.487-489
    • /
    • 2003
  • 전문용어란 전문분야의 개념이 언어적으로 표현된 형태이다. 전문분야마다 분야 특성 적인 개념이 사용되므로, 전문용어는 전문분야를 특성화하는 단위로 사용된다. 따라서 전문분야문서에 대한 자연언어처리에서 전문용어를 효과적으로 처리하는 것은 매우 중요하다. 전문용어 추출은 분야 특성적인 전문용어를 해당 분야 문서에서 파악하는 작업을 말한다. 본 논문에서는 기계학습방법을 이용한 전문용어 자동 추출 기법을 제안한다. 본 논문의 기법은 전문분야 사전과 전문분야 문서를 이용하여 문서에서 나타나는 전문용어의 특성을 파악하고 이를 이용하여 전문용어를 추출한다. 본 논문의 기법은 70,000단어 수준의 영어 의학분야 300개 문서에 대하여 약 77%의 정확률로 전문용어를 추출하였다.

  • PDF

Recognizing Biomedical Terminologies through Integration of Heterogeneous Information (정보통합을 통한 생물/의학 분야 전문용어의 자동 추출)

  • 오종훈;최기선
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2004.10a
    • /
    • pp.775-777
    • /
    • 2004
  • 전문용어란 전문분야의 개념이 언어적으로 표현된 형태이다. 전문분야마다 분야 특성적인 개념이 사용되므로, 전문용어는 전문분야를 특성화하는 단위로 사용된다. 따라서 전문분야문서에 대한 자연언어처리에서 전문용어를 효과적으로 처리하는 것은 매우 중요하다. 전문용어 추출은 분야 특성적인 전문용어를 해당 분야 문서에서 파악하는 작업을 말한다. 본 논문에서는 기계학습방법을 이용한 전문용어 자동 추출 기법을 제안한다. 본 논문의 기법은 전문분야 사전과 전문분야 문서를 이용하여 문서에서 나타나는 전문용어의 특성을 파악하고 이를 이용하여 전문용어를 추출한다. 본 논문의 기법은 GENIA 2.01 문서에 대하여 86%의 정확률과 90%의 재현율을 나타내었다. 또한 기존연구보다 최고 21%의 성능향상을 나타내었다.

  • PDF

Korean Space Event Relation Extraction Using Case-frame (격틀 정보를 이용한 한국어 공간 사건 관계 추출)

  • Kwak, Sujeong;Kim, Bogyum;Park, Yongmin;Lee, Jae Sung
    • Annual Conference of KIPS
    • /
    • 2014.04a
    • /
    • pp.798-801
    • /
    • 2014
  • 문서에서 공간 개체와 사건을 찾아내고, 이들 간의 위상적 관계나 의미적 관계를 찾아내는 것을 공간정보 추출이라고 한다. 본 논문에서는 언어분석 결과와 세종사전을 활용해 자연언어 문서에서 동작(motion) 사건 관계 중심의 공간 정보를 추출하는 규칙 기반 시스템을 제안하였다. 수동으로 구축한 20문장의 평가 집합에 대해 사건 관계 추출은 27.45%의 F-measure 성능을 보였다. 공간보다 비교적 많은 연구가 진행된 시간 관계 추출에 대한 최신 연구의 성능이 30~35% 수준[1]인 것을 고려하여 볼 때, 본 연구는 공간 사건 관계 추출의 기초 연구로 의미가 있다.