• 제목/요약/키워드: Lexical processing

검색결과 142건 처리시간 0.025초

A Hybrid Approach for the Morpho-Lexical Disambiguation of Arabic

  • Bousmaha, Kheira Zineb;Rahmouni, Mustapha Kamel;Kouninef, Belkacem;Hadrich, Lamia Belguith
    • Journal of Information Processing Systems
    • /
    • 제12권3호
    • /
    • pp.358-380
    • /
    • 2016
  • In order to considerably reduce the ambiguity rate, we propose in this article a disambiguation approach that is based on the selection of the right diacritics at different analysis levels. This hybrid approach combines a linguistic approach with a multi-criteria decision one and could be considered as an alternative choice to solve the morpho-lexical ambiguity problem regardless of the diacritics rate of the processed text. As to its evaluation, we tried the disambiguation on the online Alkhalil morphological analyzer (the proposed approach can be used on any morphological analyzer of the Arabic language) and obtained encouraging results with an F-measure of more than 80%.

Extraction of Thematic Roles from Dictionary Definitions

  • Mc-Hale, Michael-L.;Myaeng, Sung-H.
    • 한국언어정보학회:학술대회논문집
    • /
    • 한국언어정보학회 1996년도 Language, Information and Computation = Selected Papers from the 11th Pacific Asia Conference on Language, Information and Computation, Seoul
    • /
    • pp.137-146
    • /
    • 1996
  • Our research goal has been the development of a domain independent natural language processing (NLP) system suitable for information retrieval. As part of that research, we have investigated ways to automatically extend the semantics of a lexicon derived from machine-readable lexical sources. This paper details the extraction of thematic roles derived from lexical patterns in a machine-readable dictionary.

  • PDF

Applying Lexical Semantics to Automatic Extraction of Temporal Expressions in Uyghur

  • Murat, Alim;Yusup, Azharjan;Iskandar, Zulkar;Yusup, Azragul;Abaydulla, Yusup
    • Journal of Information Processing Systems
    • /
    • 제14권4호
    • /
    • pp.824-836
    • /
    • 2018
  • The automatic extraction of temporal information from written texts is a key component of question answering and summarization systems and its efficacy in those systems is very decisive if a temporal expression (TE) is successfully extracted. In this paper, three different approaches for TE extraction in Uyghur are developed and analyzed. A novel approach which uses lexical semantics as an additional information is also presented to extend classical approaches which are mainly based on morphology and syntax. We used a manually annotated news dataset labeled with TIMEX3 tags and generated three models with different feature combinations. The experimental results show that the best run achieved 0.87 for Precision, 0.89 for Recall, and 0.88 for F1-Measure in Uyghur TE extraction. From the analysis of the results, we concluded that the application of semantic knowledge resolves ambiguity problem at shallower language analysis and significantly aids the development of more efficient Uyghur TE extraction system.

MLHF 모델을 적용한 어휘 인식 탐색 최적화 시스템 (Vocabulary Recognition Retrieval Optimized System using MLHF Model)

  • 안찬식;오상엽
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권10호
    • /
    • pp.217-223
    • /
    • 2009
  • 모바일 단말기의 어휘 인식 시스템에서는 통계적 방법에 의한 어휘인식을 수행하고 N-gram을 이용한 통계적 문법 인식 시스템을 사용한다. 인식 대상이 되는 어휘의 수가 증가하면 어휘 인식 알고리즘이 복잡해지고 대규모의 탐색공간을 필요로 하게 되며 처리시간이 길어지므로 제한된 연산처리 능력과 메모리로는 처리하기가 불가능하다. 따라서 본 논문에서는 이러한 단점을 개선하고 어휘 인식을 최적화하기 위하여 MLHF 시스템을 제안한다. MLHF는 FLaVoR의 구조를 이용하여 음향학적 탐색과 언어적 탐색을 분리하여 음향학적 탐색에서는 HMM을 사용하고 언어적 탐색 단계에서는 Levenshtein distance 알고리즘을 사용한다. 시스템 성능 평가 결과 어휘 종속 인식률은 98.63%, 어휘 독립 인식률은 97.91%의 인식률을 나타냈으며 인식속도는 1.61초로 나타내었다.

부정문 처리와 문장 진리치 판단의 인지신경기제: 한국어 통사적 부정문과 어휘적 부정문에 대한 ERP 연구 (An ERP study on the processing of Syntactic and lexical negation in Korean)

  • 남윤주
    • 인지과학
    • /
    • 제27권3호
    • /
    • pp.469-499
    • /
    • 2016
  • 본 논문에서는 한국어의 통사적 부정문(예를 들면, 침대는/시계는 가구에 속한다/속하지 않는다)과 어휘적 부정문(예를 들면, 호랑이는/나비는 꼬리가 있다/없다)을 이용하여 부정어 처리의 인지신경기제를 확인하고 부정문 처리의 언어 보편적/특수적 기제를 밝히기 위한 진리치 판단과제 및 ERP(Event-related potentials) 실험연구를 진행하였다. 총 23명의 피험자가 전체 실험에 참여하였고 이들 중 15명의 뇌파 반응 데이터를 ERP 분석을 위하여 사용하였다. 실험 결과, 진리치 판단과제에 있어서는 영어를 이용한 선행연구들과 동일하게 긍정-참 >긍정-거짓>부정-거짓>부정-참의 순서를 확인할 수 있었다(높은 정확도, 짧은 반응 시간 순서). 그러나 ERP 결과에서는 선행 연구와는 다른 몇 가지 점을 발견하였다. 우선 어휘적 부정문의 경우 이른 시간 구간(250-350ms)에서의 N400효과를 확인할 수 있었지만 긍정문과 부정문을 아우르는 진리치 요인의 주 효과는 나타나지 않았다. 그러나 통사적 부정문의 경우 부정-참에 비하여 부정 거짓문장에서 P600 효과를 발견하였다. 이러한 결과는 표층적으로 나타나는 부정의 형태 및 위치와 같은 언어 특수적 요인에 대한 처리 전략은 각 언어별, 부정 종류별로 달라질 수 있지만 부정 처리의 결과로 얻어지는 문장의 최종 표상 및 이에 대한 진리치 판단의 기제는 언어 및 부정어 종류의 영향을 받지 않는 보편적인 특성을 지닌다는 것을 보여준다.

정적 분석 툴의 비교: Lexical Analysis and Semantic Analysis (Comparison of Tools for Static Analysis: Lexical Analysis and Semantic Analysis)

  • 장성수;최영현;임헌정;엄정호;정태명
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2010년도 추계학술발표대회
    • /
    • pp.1180-1182
    • /
    • 2010
  • 오늘날 소프트웨어를 대상으로 하는 악성코드로부터의 공격이 잦아지면서, 소프트웨어 개발 프로세스에서부터의 보안 취약성 점검이 중요시되고 있다. 본 논문에서는 소프트웨어 보안 취약점 분석 기법 중 하나인 정적 분석에 사용되는 도구들을 살펴보고 비교하여 그 구조 및 특성을 분석 파악한다. 그리하여 우리의 궁극적 목표인 향상된 성능의 새로운 정적 분석 툴 개발의 기반을 마련하고자 한다.

한국어 시·청각 동음동철이의 어절 재인에 나타나는 어휘-의미 상호작용 (Lexico-semantic interactions during the visual and spoken recognition of homonymous Korean Eojeols)

  • 김준우;강귀영;유도영;전인서;김현경;남현민;신지영;남기춘
    • 말소리와 음성과학
    • /
    • 제13권1호
    • /
    • pp.1-15
    • /
    • 2021
  • 본 연구는 중의성을 가진 어휘가 심성 어휘집에 표상된 방식과 감각 양상에 따른 처리 과정을 알아보기 위하여 한국어 동음동철이의 어절의 시·청각 재인 과정을 조사하였다. 청각 어절 판단 과제(실험 1)와 시각 어절 판단 과제(실험 2)를 이용한 두 실험에서 두 가지 이상의 의미를 가진 동음동철이의 어절(예: '물었다')과 단일한 의미만을 가진 통제 어절(예: '고통을')이 사용되었다. 어절 자극들의 누적 빈도는 조작하는 한편, 각 동음동철이의 어절의 다양한 의미가 가지는 상대적 빈도는 통제하였다. 어절 판단 과제를 사용한 두 실험 모두에서 유의한 빈도의 주효과와 함께 의미 수에 따른 어절 유형과 빈도 간의 상호작용이 발견되었다. 실험 1에서 청각적으로 제시된 동음동철이의 어절은 저빈도 조건에서 단의 어절에 비해 반응시간이 빠른 중의성 이득 효과가 나타난 반면, 고빈도 조건에서는 이와 반대로 비이득 효과가 나타났다. 마찬가지로 시각적으로 제시된 실험 2의 자극에서도 유사한 상호작용 패턴이 발견되었다. 본 연구 결과는 시각 및 청각 양상 모두에서 어휘-의미 처리가 상호의존적으로 이루어짐을 보여주며, 이는 의미 처리가 감각 의존적 단계보다는 일반적 어휘 지식 처리 단계에서 이루어질 가능성을 시사한다. 이와 더불어 의미 선택 과정에서 동음동철이의 어절이 가지는 다양한 의미의 후보군은 어절의 빈도가 상대적으로 낮을 때에만 촉진적 피드백을 제공함을 보여준다.

한글문자의 컴퓨터 처리: I. 이론 (Korean Character processing: Part I. Theoretical Foundation)

  • 정원량
    • 대한전자공학회논문지
    • /
    • 제16권3호
    • /
    • pp.1-8
    • /
    • 1979
  • 2부에 걸친 한글의 컴퓨터 처리에 관한 논문으로서, 제1부에서는 한글문자의 컴퓨터 처리의 제문제점을 확인하고 이를 위한 해결책으로 이론적 기반의 확립을 제안 하였다. 한글문자의 일차원적 문법과 이차원적 구조를 각각 BNF와 " patternal structure"를 사용하여 정의하고 이로부터 모아쓰기를 위한 lexical analysis 및 Parsing a1gorithm을 이론적으로 토론 하였다. 모아쓰기 algorithm은 한글의 입력과 출력 모두에 응용이 가능하며, device-independence를 위해 "cardinal symbol set"의 개념을 소개하였다. 제2부에서는 한글 컴퓨터 처리의 역사적 개론과 상기 algorithm의 implementation 문제점들을 토론하고자 한다.

  • PDF

한국어 음절의 표기빈도와 형태소빈도가 단어인지에 미치는 효과 (Effects of orthographic and morphological frequency of a syllable in Korean word recognition)

  • 이광오;배성봉
    • 인지과학
    • /
    • 제20권3호
    • /
    • pp.309-333
    • /
    • 2009
  • 2음절 한자 합성어의 어휘판단에서 형태소 처리와 글자 처리의 역할을 조사하였다. 실험 1의 단어에 대한 반응에서는 어두와 어말 위치 모두에서 형태소 빈도의 효과는 나타나지 않았으나, 비단어에 대한 반응에서는 글자 빈도의 효과와 글자-형태소 대응의 효과가 나타났다. 빈도가 높은 글자를 포함하는 비단어일수록 반응시간이 길었고, 글자-형태소의 대응이 불투명한 비단어일수록 반응시간이 길었다. 실험 2에서는 실험 1에서 나타난 글자-형태소 대응의 효과를 단어에서 직접 관찰하고자 하였다. 그 결과, 단어 자극에 대해서도 글자-형태소 대응이 불투명할수록 어휘 판단이 느렸으며, 비단어 자극에서 그러한 경향이 더 뚜렷하였다. 본 연구의 결과는, 글자-형태소 대응이 불투명한 단어의 경우 다양한 형태소를 활성화시키게 되고, 그 결과 형태소의 파악은 늦어지고, 결국은 단어 인지의 지연으로 연결된다는 주장을 지지한다. 실험 결과를 바탕으로 하여 한글 표기 한자어의 인지에서 형태소 위치 효과, 글자 빈도의 역할 등에 대해서 논의하였다.

  • PDF