• 제목/요약/키워드: 사전 처리

검색결과 2,337건 처리시간 0.035초

질의응답 시스템을 위한 백과사전 기반 지식베이스와 온톨로지 (Encyclopedia-Based Knowledge Base and Ontology for Question Answering System)

  • 최호섭;옥철영;김창환;왕지현;장명길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.177-183
    • /
    • 2003
  • 기존의 정보검색시스템이 사용자의 질의에 의해 키워드가 포함된 의미 있는 문서를 제공하는 시스템이라면, 질의응답시스템은 사용자 질의에 맞는 정답을 적절한 언어처리 기법을 통해 텍스트로부터 추출하여 제공하는 시스템이다. 이러한 언어처리 기법을 이용한 질의응답 시스템에서 시스템의 성능 향상에 도움을 줄 수 있는 것이, 실세계의 지식을 저장하고 있는 지식베이스라 할 수 있다. 지식베이스가 가지고 있는 실세계의 지식을 어떻게 효율적으로 활용하느냐에 따라 질의 처리 분석과 정답 확률을 향상시킬 수 있는 것이다. 본 논문에서는 실세계의 지식을 어느 정도 체계적 의미적으로 반영하고 있는 것을 백과사전으로 판단하여, 백과사전의 '인물' 범주(category)를 중심으로 백과사전 지식베이스의 틀을 마련하고자 하였다. 또한 어휘의 계층적 구조를 중심으로 한 온톨로지를 백과사전 지식베이스와 유기적으로 연결시킴으로써 보다 의미 있는 지식베이스를 형성하는 방안을 모색하고자 하였다.

  • PDF

과다 분리 및 사전 후처리 기법을 이용한 한글이 포함된 무제약 필기 문자열의 오프라인 인식 (Off-Line Recognition of Unconstrained Handwritten Korean Words using Over-Segementation and Lexicon Driven Post-Processing Techniques)

  • 정선화;김수형
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권5호
    • /
    • pp.647-656
    • /
    • 1999
  • 본 논문에서는 오프라인 무제약 필기 한글 단어를 인식하기 위한 시스템을 제안한다. 제안된 단어 인식 시스템은 크게 다석가지 모듈-문자 분리,조합행렬생성, 특징 추출, 문자인식, 사전 후처리 -로 구성되어 있다. 문자 분리 모듈은 입력된 단어 영상을 하나의 문자보다 더 작은 이미지 조각으로 과다 분리하며 , 조합 행렬 생성모듈에서는 동적 프로그래밍 기법을 이용하여 분리된 이미지 조각들로부터 사전상의 모든 단어들과 대응되는 가능한 모든 조합을 생성한다. 문자인식모듈은 각 그룹에 대하여 일괄적으로 얻어진 특징과 유니그램을 이용하여 문자인식을 수행한다. 마지막으로 사전 후처리 모듈에서는 각 그룹에 대한 문자인식 결과와 단어 사전을 사용하여 입력단어에 대한 최종 인식 결과를 도출한다. 본 문에서 제안한 방법은 문자 분리, 문자 인식 및 후처리를 상호 보완적으로 결합함으로써 한글이 포함된 무제약 필기 문자열을 효과적으로 인식할 수 있다. 제안된 시스템의 성능을 평가하기 위하여 실제 우편 봉투 상에 쓰여진 필기 한글 단어 200개를 대상으로 실험을 하였다. 실험 결과 200개의 단어중 172개의 단어를 정인식하여 86%의 정확도를 얻을 수 있었으며 나머지 28개의 오인식된 단어들을 분석한 결과 대부분의 오류는 문자 인식기의 낮은 신뢰도 때문임을 알 수 있었다. 또한, 하나의 단어를 인식하기 위하여 약 2초가 소요되었다.

세종전자사전을 이용한 한국어 부사격의 의미역 결정 (Semantic Role Assignment for Korean Adverbial Case Using Sejong Electronic Dictionary)

  • 신명철;이용훈;김미영;정유진;이종혁
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.120-126
    • /
    • 2005
  • 세종전자사전의 용언사전과 체언사전에 기재된 용언의 격틀과 명사의 의미부류는 문장의 의미분석을 위한 핵심적인 언어자원이다. 본 논문에서는 용언사전을 전산처리가 용이한 격틀사전으로 변형한 다음 이를 이용한 의미역 결정 시스템을 구축하였고 기계학습 방법에 기반한 의미역 결정 시스템과 혼합하여 한국어에 있어 '에, 로'를 격표지로 하는 부사격에 대한 의미역 결정 방법에 대해 다루고 있다.

  • PDF

형태 정보에 기반한 전자사전에서의 3음절 명사 처리 (Management of Three-Syllable Nouns in Electronic Dictionary based on Morphological Information)

  • 이은전;최기선
    • 한국인지과학회:학술대회논문집
    • /
    • 한국인지과학회 2000년도 한글 및 한국어 정보처리
    • /
    • pp.156-162
    • /
    • 2000
  • 언어학적 성과를 효과적으로 반영하고 운용할 수 있는 체계적인 전자 사전 구축을 위해선, 어휘들에 대한 총체적이고 체계적인 언어 정보 제공과 함께 효율적인 처리 방식이 무엇보다도 필요하다. 따라서 이번 전자 사전 구축 작업은 내용 면에서는 형태 정보를 중심으로 다양하고 상세한 어휘 특성들을 체계적으로 제시하였고, 기술 방식에 있어서는 모든 입력 정보를 코드화 시킴으로써 효율성을 추구했다. 또한 연구 과정에서 나타난 문제 유형에 대한 인식과 검토는 앞으로 사전 개발의 원칙 및 방향을 설정하는데 도움을 줄 수 있을 것으로 기대한다. 특히 단어 형성 정보에 있어서 접사 정보가 부착된 파생어 사전은 어휘 확장과 중의성 해결을 하는데 활용될 수 있을 것이다. 본고에서는 3음절 명사 사전 작업의 전반적인 파전, 분류 유형, 어휘 정보, 기술 방법 및 앞으로 논의될 문제 유형들을 담고 있다.

  • PDF

사전학습 모델을 이용한 음식업종 고객 발화 의도 분류 분석 (Analysis of utterance intent classification of cutomer in the food industry using Pretrained Model)

  • 김준회;임희석
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2022년도 제66차 하계학술대회논문집 30권2호
    • /
    • pp.43-44
    • /
    • 2022
  • 기존 자연어 처리 모델은 문맥 단위 단어 임베딩을 처리하지 못하는 한계점을 가지고 있는 한편 최근 BERT 기반 사전학습 모델들은 문장 단위 임베딩이 가능하고 사전학습을 통해 학습 효율이 비약적으로 개선되었다는 특징이 있다. 본 논문에서는 사전학습 언어 모델들을 이용하여 음식점, 배달전문점 등 음식 업종에서 발생한 고객 발화 의도를 분류하고 모델별 성능을 비교하여 최적의 모델을 제안하고자 한다. 연구결과, 사전학습 모델의 한국어 코퍼스와 Vocab 사이즈가 클수록 고객의 발화 의도를 잘 예측하였다. 한편, 본 연구에서 발화자의 의도를 크게 문의와 요청으로 구분하여 진행하였는데, 문의와 요청의 큰 차이점인 '물음표'를 제거한 후 성능을 비교해본 결과, 물음표가 존재할 때 발화자 의도 예측에 좋은 성능을 보였다. 이를 통해 음식 업종에서 발화자의 의도를 예측하는 시스템을 개발하고 챗봇 시스템 등에 활용한다면, 발화자의 의도에 적합한 서비스를 정확하게 적시에 제공할 수 있을 것으로 기대한다.

  • PDF

백과사전 기반 전문용어 태깅 시스템 (Terminology Tagging System using elements of Korean Encyclopedia)

  • 배영준;최호섭;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2005년도 제17회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.167-172
    • /
    • 2005
  • 지금까지 자연언어처리에서의 품사태깅(parts-of-speech tagging) 기술에 대한 연구는 활발히 진행된 반면, 전문용어에 대한 처리 기술은 미비한 점이 많았다. 전문용어에 관련된 연구는 대부분 구축, 표준화, 추출 등에 대한 연구가 많았으나 전문용어 태그 설정과 태깅 기술 연구는 부족한 상황이다. 본 논문에서는 전문용어 태그를 (분야정보: 아이디) 순으로 설정하고 백과사전의 분류 체계를 이용하여 어떤 특정 분야 문서의 전문용어를 자동으로 태깅하는 시스템을 구축하였다. 전문용어 태깅 시스템은 형태소분석기를 사용하지 알고 문맥의 규칙과 조사 어미사전을 이용해 자동으로 태깅을 하게 된다. 이 시스템의 정확률 측정을 위한 정답말뭉치는 웹 상에 공개되어 있는 백과사전 html문서를 이용하였다. 우선 백과사전에 나와있는 용어는 전문용어라고 가정한다. 하나의 문서에는 '용어', '요약', '본문', '이미지', '분류', '참조항목' 등의 정보들이 있다. 이 중 '본문'에는 그 용어에 대한 자세한 설명이 있는데 특정 단어에는 태그로 백과사전 내에 있는 단어를 찾아 볼 수 있게 링크 되어있다. 이 정보를 이용해 태그로 되어있는 것을 설정한 태그로 바꾸고 단계별로 확장 태깅을 해서 정답말뭉치를 만든다. 태깅 시스템과 정답말뭉치를 비교해 정확률을 계산해서 시스템의 성능을 측정하였다.

한국어 사전의 압축 구현 (Implementation of Compressing a Korean Lexicon)

  • 임한규;박상호
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 1997년도 추계학술대회 발표논문집:21세기를 향한 정보통신 기술의 전망
    • /
    • pp.395-403
    • /
    • 1997
  • 한국어 처리의 기본이 되는 형태소 분석을 위한 사전의 효율적인 구성을 위해 각 표제어의 반복 음절수에 의한 방식으로 이를 압축하고 복원하는 알고리즘을 보였다. 사전의 크기에 있어서 25% 줄일 수 있었으며 표제어를 검색할 때 횟수를 36 % 줄일 수 있었다. 아울러 빠른 검색을 위한 이진 사전을 오프셋에 의해 구성하였다.

  • PDF

전문용어사전 구축을 위한 전문용어 추출 및 순위화 (Term Extraction and Ranking for Building Term Dictionary)

  • 구희관;정한민;이병희;성원경
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.745-748
    • /
    • 2005
  • 전문용어는 특정 분야의 전문가 사이에서 통용되는 표현 매체이며, 일반용어에 비해 생성과 소멸의 주기가 짧은 특징을 가지고 있다. 이런 특징 때문에 일반용어 사전구축과 달리 전문용어 사전을 구축하기 위해서는 신속한 대응전략이 필요하다. 이를 위해 본 논문에서는 전문용어 사전 구축을 위한 다음과 같은 두 단계의 과정을 제안한다. 우선 형태소 후처리와 결합규칙을 이용하여 1,200만 어절의 신문 말뭉치로부터 단일어 10만과 복합어 30만의 용어후보를 추출하고, 고빈도 용어 후보 6만개를 선별해 용어지배지수(Term Dominance Value)라는 개념을 도입하여 전문용어를 선정한다. 실험을 통해 용어지배지수 순위와 누적빈도순위 및 최근연도 순위를 비교한 결과 본 논문에서 제안한 용어지배지수가 전문용어 활용도를 나타내는 훌륭한 지표역할을 할 수 있음을 확인할 수 있었다.

  • PDF

WordNet을 이용한 한국어 시소러스 자동 구축 (Using WordNet for the Automatic Construction of Korean Thesaurus)

  • 이창기;이근배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.156-163
    • /
    • 1999
  • 최근의 자연어 처리 분야의 연구들에서 광범위하고 완전한 어휘 지식 베이스의 필요성이 입증되었다. 영어권의 경우, 이에 대한 연구가 오래 전부터 있어 왔고, 그 결과로 현재 주로 사용되고 있는 개념체계에는 Roget's Thesaurus와 WordNet 등이 있다. 이러한 개념체계들은 자연어 처리의 여러 응용 분야에서 중요한 역할을 담담하고 있지만, 다른 언어의 경우 널리 사용되고 있는 개념체계가 없는 실정이다. 본 논문에서는 Princeton 대학의 WordNet을 기반으로 한영 사전과 국어 사전을 이용하여 한국어 명사의 개념체계를 자동으로 구축함으로써, 이미 구축되어진 다른 언어의 개념체계를 이용하여 새로운 언어의 개념체계를 자동으로 구축할 수 있음을 보인다. 먼저 한영 사전과 국어 사전으로부터 뽑아낸 한국어 단어 일부의 의미를 다양한 WSD(Word Sense Disambiguation) 방법을 적용시켜 WordNet의 synset에 자동으로 연결시킬 수 있음을 보인다. 그리고 각각의 자동변환으로 나온 결과들에 대해서 적용율과 정확도를 비교하도록 한다.

  • PDF

백과사전 질의응답 시스템을 위한 어휘개념망 구축 (Constructing Korean Lexical Concept Network for Encyclopedia Question-Answering System)

  • 최미란;오효정;장명길
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2004년도 제16회 한글.언어.인지 한술대회
    • /
    • pp.99-105
    • /
    • 2004
  • 백과사전 질의응답 시스템은 사용자의 자연어 질문과 검색 대상 문서인 백과사전 내용의 의미를 파악하기 위한 고정밀 자연어 처리 기술이 요구된다. 이러한 고정밀 자연어 처리 기술을 위한 중요한 언어자원을 제공하기 위하여 한국어 명사와 동사로 구성되는 대규모 어휘개념망을 구축하였다. 한국어 어휘개념망은 명사와 동사의 상하위 관계를 주요 계층구조로 하여 다양한 한국어 어휘 기초 자료를 바탕으로 구축되었다. 구축된 규모는 일반명사 약 6만 어휘와 동사 약 2만 어휘를 포함한다. 이 논문에서는 어휘개념망을 구축하기 위한 방법과 과정을 소개하고 지금까지 구축된 어휘개념망의 특성에 대해 기술하며, 백과사전 질의응답 시스템에서 어떻게 활용되는지 시스템 구성요소의 예를 들어서 설명한다. 또한 현재 구축된 어휘개념망의 성능 평가를 위해 일반 코퍼스에 대한 커버리지 측정 결과를 기술한다.

  • PDF