• 제목/요약/키워드: Korean Morphological Analysis

검색결과 2,456건 처리시간 0.036초

MADE : 형태소 분석기 개발환경 (MADE: Morphological Analyzer Development Environment)

  • 심광섭
    • 인터넷정보학회논문지
    • /
    • 제8권4호
    • /
    • pp.159-171
    • /
    • 2007
  • 본 논문은 실용적인 한국어 형태소 분석기 개발에 사용될 수 있는 도구인 MADE를 소개한다. MADE는 형태소 사전에서 제공되는 인접 조건만을 사용하여 형태소 분석을 수행한다. 이것은 형태소 분석기를 개발하기 위해 별도의 프로그래밍은 전혀 하지 않고 단지 형태소 사전만 구축하면 된다는 것을 의미한다. MADE는 형태소 사전을 구축하고 검증하는데 필요한 기능들을 제공한다. 일단 형태소 사전이 구축되고 나면 MADE는 독립된 형태소 분석기로서 사용될 수도 있고 형태소 분석기를 필요로 하는 다른 응용 소프트웨어에 내장되어 사용될 수도 있다.

  • PDF

Linear-Time Korean Morphological Analysis Using an Action-based Local Monotonic Attention Mechanism

  • Hwang, Hyunsun;Lee, Changki
    • ETRI Journal
    • /
    • 제42권1호
    • /
    • pp.101-107
    • /
    • 2020
  • For Korean language processing, morphological analysis is a critical component that requires extensive work. This morphological analysis can be conducted in an end-to-end manner without requiring a complicated feature design using a sequence-to-sequence model. However, the sequence-to-sequence model has a time complexity of O(n2) for an input length n when using the attention mechanism technique for high performance. In this study, we propose a linear-time Korean morphological analysis model using a local monotonic attention mechanism relying on monotonic alignment, which is a characteristic of Korean morphological analysis. The proposed model indicates an extreme improvement in a single threaded environment and a high morphometric F1-measure even for a hard attention model with the elimination of the attention mechanism formula.

군산의 근대도시발달과정과 도시조직의 변화 유형에 관한 형태학적 연구 (A Morphological Study on the Modern Urbanization and Transformation Type of Urban Tissues in Kunsan)

  • 이경찬;허준
    • 한국조경학회지
    • /
    • 제32권6호
    • /
    • pp.36-51
    • /
    • 2005
  • The purpose of this thesis is to analyse modem urbanization process and the morphological transformation of the urban tissues in Kunsan between the you 1899 and 2001, The method of this study is to investigate the transformation process of morphological elements such as plot structure, building layout, building facades, land use, exterior space structure and their use, with actual field surveys, the analysis of land registration maps in 1912, and various topological map. Morphological analysis on modern Kunsan is progressed by three steps-typo-morphological analysis of urban tissue in old-town area, interpretation of morphological process, and transformation process, of morphological structure in Japanese concession in view of plots system. As a result, it is found that there is cyclical relationship among the morphological transformation processes of morphological elements, plots, buildings, land-uses, and access space to buildings. From the view of town plan change, the period of restoration of war damage in 1950s and compressive growing period in 1960s have important meaning in the morphological process of old-town area. Particularly the first building plan and layout type together with plot form and structure is acted as the main factor to decide the subsequent plot transformation system, exterior space system and the particular streetscape in Kunsan.

A Rule-Based Analysis from Raw Korean Text to Morphologically Annotated Corpora

  • Lee, Ki-Yong;Markus Schulze
    • 한국언어정보학회지:언어와정보
    • /
    • 제6권2호
    • /
    • pp.105-128
    • /
    • 2002
  • Morphologically annotated corpora are the basis for many tasks of computational linguistics. Most current approaches use statistically driven methods of morphological analysis, that provide just POS-tags. While this is sufficient for some applications, a rule-based full morphological analysis also yielding lemmatization and segmentation is needed for many others. This work thus aims at 〔1〕 introducing a rule-based Korean morphological analyzer called Kormoran based on the principle of linearity that prohibits any combination of left-to-right or right-to-left analysis or backtracking and then at 〔2〕 showing how it on be used as a POS-tagger by adopting an ordinary technique of preprocessing and also by filtering out irrelevant morpho-syntactic information in analyzed feature structures. It is shown that, besides providing a basis for subsequent syntactic or semantic processing, full morphological analyzers like Kormoran have the greater power of resolving ambiguities than simple POS-taggers. The focus of our present analysis is on Korean text.

  • PDF

Transformer-based reranking for improving Korean morphological analysis systems

  • Jihee Ryu;Soojong Lim;Oh-Woog Kwon;Seung-Hoon Na
    • ETRI Journal
    • /
    • 제46권1호
    • /
    • pp.137-153
    • /
    • 2024
  • This study introduces a new approach in Korean morphological analysis combining dictionary-based techniques with Transformer-based deep learning models. The key innovation is the use of a BERT-based reranking system, significantly enhancing the accuracy of traditional morphological analysis. The method generates multiple suboptimal paths, then employs BERT models for reranking, leveraging their advanced language comprehension. Results show remarkable performance improvements, with the first-stage reranking achieving over 20% improvement in error reduction rate compared with existing models. The second stage, using another BERT variant, further increases this improvement to over 30%. This indicates a significant leap in accuracy, validating the effectiveness of merging dictionary-based analysis with contemporary deep learning. The study suggests future exploration in refined integrations of dictionary and deep learning methods as well as using probabilistic models for enhanced morphological analysis. This hybrid approach sets a new benchmark in the field and offers insights for similar challenges in language processing applications.

형태소 합성 기법을 이용한 형태소 패턴 사전의 반자동 구축 (Semi-Automatic Construction of Morphological Pattern Dictionary using the Method of Morphological Synthesis)

  • 박인철
    • 한국산학기술학회논문지
    • /
    • 제12권11호
    • /
    • pp.5278-5283
    • /
    • 2011
  • 초고속 한국어 형태소 분석을 위한 하나의 방법은 사전에 형태소 결과를 미리 저장해 놓고 이를 이용하는 것이다. 이러한 형태소 패턴 사전을 수작업으로 구축하려면 많은 비용이 들 뿐만 아니라 적지 않은 오류가 포함될 수 있다. 본 논문은 한국어 형태소 합성을 이용하여 자동으로 형태소 패턴을 생성하는 방법을 제안한다. 실험을 통해, 올바른 형태소 분석을 위해 사용한 형태소 패턴의 86%를 자동으로 생성함을 알 수 있었다. 형태소 패턴을 이용한 형태소 분석기가 403MB의 한국어 코퍼스를 분석하는 데 걸린 시간은 2.8GHz 윈도우 시스템에서 52.68초였다.

한국어 형태소 분석을 위한 음절 단위 확률 모델 (Syllable-based Probabilistic Models for Korean Morphological Analysis)

  • 심광섭
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.642-651
    • /
    • 2014
  • 본 논문에서는 음절 단위의 한국어 형태소 분석 방법에 적용할 수 있는 세 가지 확률 모델을 제안하고, 품사 태깅 말뭉치를 이용하여 각 확률 모델의 성능을 평가한다. 성능 평가를 위해 1,000만 어절 규모의 세종 말뭉치를 10 개의 세트로 나누고 10 배수 교차 검증 결과 98.4%의 정답 제시율을 얻을 수 있었다. 제안된 확률 모델은 각 음절에 대하여 품사 태그를 먼저 부착한 후 원형 복원 및 형태소 생성을 하기 때문에 원형 복원을 먼저 하는 기존 확률 모델에 비하여 탐색 공간이 크게 줄어들어 형태소 분석 과정이 훨씬 간결하고 효율적이어서 분석 속도가 기존의 초당 수 백 어절에서 14만 7천 어절로 약 174배 가량 향상시킬 수 있었다.

Morphological Analysis among Populations of Purpulish Washington Clam, Saxidomus purpuratus on the Korean Waters

  • Kim, Yeong-Hye;Ryu, Dong-Ki;Lee, Dong-Woo;Chang, Dae-Soo;Kim, Jong-Bin;Kim, Seong-Tae;Kwon, Dae-Hyeon
    • 한국패류학회지
    • /
    • 제22권1호
    • /
    • pp.23-26
    • /
    • 2006
  • Morphological differences were studied using the analysis of variance between various partial length and shell length of three populations of Saxidomus purpuratus on the Korean waters. The Relative growth equations, that is, SH-SL, SW-SL, TW-SL of S. purpuratus by sex were estimated. The analysis of variance of four morphological characters proved that each population has no sexual differences (p>0.01). But the three populations are significantly different in morphological characters (p<0.01).

  • PDF

인접 조건 검사에 의한 초고속 한국어 형태소 분석 (High Speed Korean Morphological Analysis based on Adjacency Condition Check)

  • 심광섭;양재형
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권1호
    • /
    • pp.89-99
    • /
    • 2004
  • 본 논문에서는 코드 변환 과정과 축약, 탈락, 불규칙 활용 둥으로 변형된 형태소의 원형을 복원하고 분석 후보를 생성하는 등의 과정을 거치지 않고 형태소 사전에서 제공되는 인접 조건에 대한 검사만으로 형태소 분석을 하는 방법을 제안한다. 인접 조건 검사는 복잡한 연산을 하지 않고 단순한 비트 연산만으로 할 수 있기 때문에 제안된 방법은 초고속 형태소 분석기 구현에 적합하다. 본 논문에서 제안한 방법에 따라 구현된 한국어 형태소 분석기 MACH는 1.13 GHz Pentium III 개인용 컴퓨터에서 대략 5분/GB의 분석 속도를 보였으며, 분석 정확도는 99.2 %로 기존의 다른 분석기와 큰 차이가 없었다.

한국해역에 분포하는 오징어의 계군분석 2. 형태학적 분석 (Population Analysis of the Common Squid, Todarodes pacificus Steenstrup in Korean Waters 2. Morphological analysis)

  • 김영혜;강용주;백철인
    • 한국수산과학회지
    • /
    • 제30권5호
    • /
    • pp.903-905
    • /
    • 1997
  • Morphological differences were studied using the analysis of covariance between various partial length and mantle length of the common Todarodes pacificus by cohorts in the Korean waters. Analysis of seven morphological characters proved that each cohort has no sexual differences, except significant sexual differences only in the Summer cohort in term of relative growth between mantle length and body weight. The three cohorts represent significant differences in morphological characters.

  • PDF