• 제목/요약/키워드: 형태소분석기

검색결과 16건 처리시간 0.034초

사전 성능개선을 통한 한국어 형태소분석기의 분석속도 향상 (Improvement of Analysis Speed in Korean Morphological-Analyzer Using Ameliorated Dictionary)

  • 김영관;박민식;최진석;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.479-483
    • /
    • 1999
  • 본 논문에서는 사전 구조와 탐색알고리즘을 개선하여 형태소분석기의 분석 속도를 향상시켰다. 형태소분석기의 분석시간은 사전탐색과 제약검사의 비중이 크다. 따라서 형태소분석기의 처리속도는 사전 탐색 기법에 많은 영향을 받는다. 본 논문에서는 한국어 형태소분석기에서 사용되는 사전의 탐색속도 향상과 한 문서에 나타나는 동일한 어절에 대해서 cache를 사용하여 형태소분석기의 처리 속도를 빠르게 하였다. 또한 기존의 형태소분석기에서 속도 증가를 위해 사용하는 어절-형태소분석결과 사전을 활용하여 더 발전시켰다. 본 논문에서는 어절-형태소분석결과 사전을 사용할 때, 분석 속도향상을 위한 새로운 가속기법인 '하이브리드(HyBrid)'방법을 사용하여 어절-형태소분석결과 사전의 적중률을 높였다.

  • PDF

형태소분석기 및 품사 태거 평가대회(MATEC99) 개요 (Morphological Analyzer and Tagger Evaluation Contest(MATEC 99) Overview)

  • 이재성;박재득;차건회;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회 및 제1회 형태소 분석기 및 품사태거 평가 워크숍
    • /
    • pp.13-22
    • /
    • 1999
  • 한국어 정보처리에서 기본 모듈로 많이 사용되는 형태소분석기, 태거 및 명사추출기에 대한 객관적인 평가를 위해서는 실제 사용되는 언어에 대한 평가기준과 방대한 양의 평가자료 구축이 필수적이다. 전자통신연구원(ETRI)에서는 표준적인 평가기준과 평가자료(말뭉치)를 구축하여 "제 1회 형태소분석기 및 품사 태거 평가대회" 을 개최하였으며, 이 대회는 학습기간을 포함하여 1999년 6월 7일부터 10월 1일까지 진행되었다. 평가에는 총 15개팀이 참가하였고, 명사추출, 태거, 형태소분석기의 각 분야에 대해 약 25만 4천어절의 학습 말뭉치를 제공한 후, 시험말뭉치 약3만 3천어절에 대해 평가가 이루어졌다. 이 글에서는 이 대회의 취지, 진행과정, 평가 방식, 평가결과 등에 대해 소개한다.

  • PDF

미리내 검색시스템의 명사추출 시스템 (Noun Extraction System in Information retrieval System of "Mirine")

  • 김영관;권혁철
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1999년도 제11회 한글 및 한국어 정보처리 학술대회 및 제1회 형태소 분석기 및 품사태거 평가 워크숍
    • /
    • pp.89-91
    • /
    • 1999
  • 이 논문은 한국어 정보검색 시스템 "미리내"의 내부 모듈인 색인어 추출 시스템의 성능 평가에 관한 내용이다. 성능 평가를 위해서 99년 ETRI에서 실시한 "형태소분석기 및 태거 비교 분석대회(MATEC99)"의 시험어절을 사용하였다. 정보검색 시스템 "미리내"는 한국어 정보검색을 위해 부산대학교에서 개발한 시스템이다. 한국어 형태소분석 및 태거 대회(MATEC99)를 위해 미리내 검색엔진의 색인어 추출 모듈을 일부 수정하여 명사를 추출하였다. 명사추출기이든 형태소분석기이든 응용프로그램의 특성에 맞춰져서 동작한다. 정보검색의 하위 모듈인 색인어 추출 시스템은 정보검색을 위해 변형된 결과를 출력하므로 성능 비교를 위해 일부 모듈의 수정이 불가피하였다. ETRI에서 실시한 MATEC99는 지금까지 객관적인 평가 기준이 없었던 한국어 형태소분석기, 태거, 명사추출기의 표준화에 중요한 역할을 하였다.

  • PDF

UTagger의 속도 향상을 위한 선택적 기능제한 (Optional features for speeding up UTagger)

  • 신준철;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2012년도 제24회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.113-116
    • /
    • 2012
  • UTagger는 한국어 의미 처리를 위해 개발된 형태소분석기이며 의미 분열 기능도 가지고 있다. 정확률이 매우 높고 다앙한 기능을 갖추고 있으나 이전에 개발된 다른 형태소 분석기에 비하여 속도가 느리다는 단점을 가지고 있었다. 형태소 분석기의 빠른 속도는 많은 분야에서 요구되고 있기 때문에 본 논문에서는 UTagger의 정확률을 유지하면서 속도를 향상시키는 캐시(Cache) 방법과, 정확률을 조금 낮추면서 향상시키는 다앙한 방법들을 제시한다. 또한 상황에 따라 적합한 방법을 선택할 때 참조가 되도록 하기 위해 각 방법들 실험 결과를 정리한다.

  • PDF

정보검색용 한국어 형태소분석기 구현 (Korean Morphology Analysis Implementation for Information Retrieval)

  • 손소현;유병선;이택현;문병주;홍기채;정현수
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2000년도 추계학술발표논문집 (상)
    • /
    • pp.379-382
    • /
    • 2000
  • 본 논문은 정보검색을 위한 형태소분석기를 소개한다. 검색엔진의 속도향상을 지향한다면 형태소분석 알고리즘과 참조하는 사전의 구조를 어떻게 구성하는가에 따라 처리속도에 상당한 변화를 기대할 수 있으며, 본 논문에서는 알고리즘으로 최장일치법을 이용하고, 사전내부구조로 AVL+Trie 구조를 이용하여 사전참조의 속도향상을 기대하였다.

  • PDF

오류에 기반한 복합명사 좌우접속규칙 사전 구축 (Error-driven Noun-Connection Rule Extraction for Morphological Analysis)

  • 이공주;이성욱
    • Journal of Advanced Marine Engineering and Technology
    • /
    • 제36권8호
    • /
    • pp.1123-1128
    • /
    • 2012
  • 본 연구의 목적은 한국어 형태소 분석기의 복합명사 분석에 이용할 수 있는 좌우접속규칙을 오류 정보를 이용하여 구축하는 것이다. 우리는 복합명사를 웹사이트로부터 수집하였고 CnuMa 형태소분석기를 이용하여 형태소를 분석하였다. 오류가 발견되면 그 오류를 수정할 수 있는 명사 접속 규칙을 구축하였으며, 명사 좌우 접속 규칙은 복합명사내의 좌우 문맥을 고려하여 작성되었다. 오류에 기반한 좌우접속규칙은 한국어 형태소 분석기인 CnuMa 형태소분석기의 정확률과 재현율을 각각 2.8%, 10.8% 향상시켰다.

효율적인 한국어 형태소분석 방법 (An Efficient Method on Korean Morphological Analysis)

  • 정일형;양기주;김영환
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1993년도 제5회 한글 및 한국어정보처리 학술대회
    • /
    • pp.379-384
    • /
    • 1993
  • 본 논문은 효율적인 한국어 형태소분석 방법을 제안한다. 기존의 형태소분석 방법에서는 분석속도와 분석정도가 상호보상 관계에 있으므로 형태소분석기가 이용되는 분야에 따라서 다른 분석방법이 사용되고 있다. 본 논문에서 제안한 형태소 분석 알고리즘은 하나의 어절을 이루는 형태소들 사이의 구성원리를 이용하여 각 어절 타입을 예측하고 각 타입에 적합한 분석을 함으로써 적은 회수의 형태소 분할로도 정확한 형태소분석이 가능하게 한다. 본 알고리즘은 많은 문장으로 형태소 분석실험을 하였고 그 실험 결과는 기존의 방법 보다 우수하여 분석속도와 분석정도에 있어서 범용성이 입증되었다. 본 논문은 효율적인 형태소분석 방법을 제시하고 이를 반영한 형태소분석 시스템의 설계 및 구현에 관하여 기술한다.

  • PDF

바이그램 색인에 기반한 한-일 교차언어검색 (Korean-Japanese Cross Lingual Information Retrieval Based on Bi-gram Indexing)

  • 이규찬;강인수;나승훈;이종혁
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 한국컴퓨터종합학술대회 논문집 Vol.32 No.1 (B)
    • /
    • pp.448-450
    • /
    • 2005
  • 교차언어검색 시스템은 다양한 언어자원을 필요로 한다. 여기서는 한-일 대역어 사전과 일본어 문서의 바이그램 색인만을 이용해서 교차언어검색을 수행하는 방법을 제시한다. 한국어로 된 자연어 질의에서 형태소분석기 등의 도움 없이 간단하게 일본어 대역어 리스트를 생성할 수 있는 방법과, 검색의 성능을 올릴 수 있도록 대역어에 가중치를 부여하는 방법을 제안한다. 그리고 실험을 통해 제시한 방법을 평가하고 분석한다.

  • PDF

음성 데이터베이스로부터의 효율적인 색인데이터베이스 구축과 정보검색 (The Extraction of Effective Index Database from Voice Database and Information Retrieval)

  • 박미성
    • 한국도서관정보학회지
    • /
    • 제35권3호
    • /
    • pp.271-291
    • /
    • 2004
  • 전자도서관과 같은 정보제공원은 이미지, 음성, 동영상 등과 같은 비정형 멀티미디어 데이터 서비스에 대한 요구를 받고 있다. 그리하여 본 연구에서는 음성 처리를 위해 어절생성기, 음절복원기, 형태소분석기, 교정기를 제안하였다. 제안한 음성처리 기술로 음성데이터베이스를 텍스트데이터베이스로 변환 한후 텍스트데이터베이스로부터 색인데이터베이스를 추출하였다. 그리고 추출한 색인데이터베이스로 텍스트와 음성의 내용기반정보검색에 활용할 수 있음을 보이기 위해 정보검색모델을 제안하였다.

  • PDF

한국어 품사 및 동형이의어 태깅을 위한 마르코프 모델과 은닉 마르코프 모델의 비교 (Comparison between Markov Model and Hidden Markov Model for Korean Part-of-Speech and Homograph Tagging)

  • 신준철;옥철영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2013년도 제25회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.152-155
    • /
    • 2013
  • 한국어 어절은 많은 동형이의어를 가지고 있기 때문에 주변 어절(또는 문맥)을 보지 않으면 중의성을 해결하기 어렵다. 이런 중의성을 해결하기 위해서 주변 어절 정보를 입력받아 통계적으로 의미를 선택하는 기계학습 알고리즘들이 많이 연구되었으며, 그 중에서 특히 은닉 마르코프 모델을 활용한 연구가 높은 성과를 거두었다. 일반적으로 마르코프 모델만을 기반으로 알고리즘을 구성할 경우 은닉 마르코프 모델 보다는 단순하기 때문에 빠르게 작동하지만 정확률이 낮다. 본 논문은 마르코프 모델을 기반으로 하면서, 부분적으로 은닉 마르코프 모델을 혼합한 알고리즘을 제안한다. 실험 결과 속도는 마르코프 모델과 유사하며, 정확률은 은닉 마르코프 모델에 근접한 것으로 나타났다.

  • PDF