• 제목/요약/키워드: Lexical Analysis

검색결과 174건 처리시간 0.021초

한국어 병렬문의 통사, 의미, 문맥 분석을 위한 결합범주문법 (Combinatory Categorial Grammar for the Syntactic, Semantic, and Discourse Analyses of Coordinate Constructions in Korean)

  • 조형준;박종철
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제27권4호
    • /
    • pp.448-462
    • /
    • 2000
  • 자연언어처리에 있어서 병렬구문은 분석의 복잡성, 단어의 애매성, 서술어 생략 등에 따른 처리의 어려움을 내포하고 있다. 본 논문에서는 한국어에서 발생하는 병렬문의 통사적 특징을 능력문법 (competence grammar)의 입장에서 접근하고 분석된 결과를 기반으로 하여 한국어 병렬문 해석을 위한 결합범주문법 (Combinatory Categorial Grammar)을 제안한다. 제안된 결합범주문법을 사용해서 병렬문에 대한 각각 다른 수준의 통사적, 의미적, 문맥적 정보들이 사전에 어휘적으로 통합될 수 있고 통합된 정보를 이용하여 통사적, 의미적, 문맥적 분석들이 각각 다른 수준의 처리를 거치지 않고 동시에 점진적으로 유도될 수 있음을 보인다. 유도된 정보들을 통해 일반적으로 한국어 병렬문의 주된 기능이라고 생각되는 두 문장이 가지는 정보를 대조, 비교하는 기능이 표현될 수 있음을 보인다. 말뭉치를 분석하여 병렬문이 한국어 처리에서 차지하는 비중과 제시한 문법으로 처리할 수 없는 문형들에 대한 논의를 제공한다.

  • PDF

Classifying Social Media Users' Stance: Exploring Diverse Feature Sets Using Machine Learning Algorithms

  • Kashif Ayyub;Muhammad Wasif Nisar;Ehsan Ullah Munir;Muhammad Ramzan
    • International Journal of Computer Science & Network Security
    • /
    • 제24권2호
    • /
    • pp.79-88
    • /
    • 2024
  • The use of the social media has become part of our daily life activities. The social web channels provide the content generation facility to its users who can share their views, opinions and experiences towards certain topics. The researchers are using the social media content for various research areas. Sentiment analysis, one of the most active research areas in last decade, is the process to extract reviews, opinions and sentiments of people. Sentiment analysis is applied in diverse sub-areas such as subjectivity analysis, polarity detection, and emotion detection. Stance classification has emerged as a new and interesting research area as it aims to determine whether the content writer is in favor, against or neutral towards the target topic or issue. Stance classification is significant as it has many research applications like rumor stance classifications, stance classification towards public forums, claim stance classification, neural attention stance classification, online debate stance classification, dialogic properties stance classification etc. This research study explores different feature sets such as lexical, sentiment-specific, dialog-based which have been extracted using the standard datasets in the relevant area. Supervised learning approaches of generative algorithms such as Naïve Bayes and discriminative machine learning algorithms such as Support Vector Machine, Naïve Bayes, Decision Tree and k-Nearest Neighbor have been applied and then ensemble-based algorithms like Random Forest and AdaBoost have been applied. The empirical based results have been evaluated using the standard performance measures of Accuracy, Precision, Recall, and F-measures.

Prosodic Phrasing and Focus in Korea

  • Baek, Judy Yoo-Kyung
    • 대한음성학회:학술대회논문집
    • /
    • 대한음성학회 1996년도 10월 학술대회지
    • /
    • pp.246-246
    • /
    • 1996
  • Purpose: Some of the properties of the prosodic phrasing and some acoustic and phonological effects of contrastive focus on the tonal pattern of Seoul Korean is explored based on a brief experiment of analyzing the fundamental frequency(=FO) contour of the speech of the author. Data Base and Analysis Procedures: The examples were chosen to contain mostly nasal and liquid consonants, since it is difficult to track down the formants in stops and fricatives during their corresponding consonantal intervals and stops may yield an effect of unwanted increase in the FO value due to their burst into the following vowel. All examples were recorded three times and the spectrum of the most stable repetition was generated, from which the FO contour of each sentence was obtained, the peaks with a value higher than 250Hz being interpreted as a high tone (=H). The result is then discussed within the prosodic hierarchy framework of Selkirk (1986) and compared with the tonal pattern of the Northern Kyungsang dialect of Korean reported in Kenstowicz & Sohn (1996). Prosodic Phrasing: In N.K. Korean, H never appears both on the object and on the verb in a neutral sentence, which indicates the object and the verb form a single Phonological Phrase ($={\phi}$), given that there is only one pitch peak for each $={\phi}$. However, Seoul Korean shows that both the object and the verb have H of their own, indicating that they are not contained in one $={\phi}$. This violates the Optimality constraint of Wrap-XP (=Enclose a lexical head and its arguments in one $={\phi}$), while N.K. Korean obeys the constraint by grouping a VP in a single $={\phi}$. This asymmetry can be resolved through a constraint that favors the separate grouping of each lexical category and is ranked higher than Wrap-XP in Seoul Korean but vice versa in N.K. Korean; $Align-x^{lex}$ (=Align the left edge of a lexical category with that of a $={\phi}$). (1) nuna-ka manll-ll mEk-nIn-ta ('sister-NOM garlic-ACC eat-PRES-DECL') a. (LLH) (LLH) (HLL) ----Seoul Korean b. (LLH) (LLL LHL) ----N.K. Korean Focus and Phrasing: Two major effects of contrastive focus on phonological phrasing are found in Seoul Korean: (a) the peak of an Intonatioanl Phrase (=IP) falls on the focused element; and (b) focus has the effect of deleting all the following prosodic structures. A focused element always attracts the peak of IP, showing an increase of approximately 30Hz compared with the peak of a non-focused IP. When a subject is focused, no H appears either on the object or on the verb and a focused object is never followed by a verb with H. The post-focus deletion of prosodic boundaries is forced through the interaction of StressFocus (=If F is a focus and DF is its semantic domain, the highest prominence in DF will be within F) and Rightmost-IP (=The peak of an IP projects from the rightmost $={\phi}$). First Stress-F requires the peak of IP to fall on the focused element. Then to avoid violating Rightmost-IP, all the boundaries after the focused element should delete, minimizing the number of $={\phi}$'s intervening from the right edge of IP. (2) (omitted) Conclusion: In general, there seems to be no direct alignment constraints between the syntactically focused element and the edge of $={\phi}$ determined in phonology; all the alignment effects come from a single requirement that the peak of IP projects from the rightmost $={\phi}$ as proposed in Truckenbrodt (1995).

  • PDF

Word2Vec과 WordNet 기반 불확실성 단어 간의 네트워크 분석에 관한 연구 (Network Analysis between Uncertainty Words based on Word2Vec and WordNet)

  • 허고은
    • 한국문헌정보학회지
    • /
    • 제53권3호
    • /
    • pp.247-271
    • /
    • 2019
  • 과학에서 지식의 불확실성은 명제가 현재 상태로는 참도 거짓도 아닌 불확실한 상태를 의미한다. 기존의 연구들은 학술 문헌에 표현된 명제를 분석하여 불확실성을 의미하는 단어를 수동적으로 구축하고 구축한 코퍼스를 대상으로 규칙 기반, 기계 학습 기반의 성능평가를 수행해왔다. 불확실성 단어 구축의 중요성은 인지하고 있지만 단어의 의미를 분석하여 자동적으로 확장하고자 하는 시도들은 부족했다. 한편, 계량정보학이나 텍스트 마이닝 기법을 이용하여 네트워크의 구조를 파악하는 연구들은 다양한 학문분야에서 지적 구조와 관계성을 파악하기 위한 방법으로 널리 활용되고 있다. 따라서, 본 연구에서는 기존의 불확실성 단어를 대상으로 Word2Vec을 적용하여 의미적 관계성을 분석하였고, 영어 어휘 데이터베이스이자 시소러스인 WordNet을 적용하여 불확실성 단어와 연결된 상위어, 하위어 관계와 동의어 기반 네트워크 분석을 수행하였다. 이를 통해 불확실성 단어의 의미적, 어휘적 관계성을 구조적으로 파악하였으며, 향후 불확실성 단어의 자동 구축의 확장 가능성을 제시하였다.

미등록어 거절을 이용한 오류 보정 방법 개선 시스템 (Error Correction Methode Improve System using Out-of Vocabulary Rejection)

  • 안찬식;오상엽
    • 디지털융복합연구
    • /
    • 제10권8호
    • /
    • pp.173-178
    • /
    • 2012
  • 어휘 인식을 위한 모델 생성에서 준비하지 않은 트라이폰이 생성된다. 이는 모델 파라미터의 초기 추정치를 생성하지 못하는 원인으로 어휘 모델을 구성할 수 없는 단점으로 나타난다. 결과적으로 가우시안 모델의 정교함이 떨어지게 되어 인식률을 저하시키게 된다. 이를 개선하기 위한 방법으로 미등록 어휘 거절 알고리즘을 이용한 오류 보정 시스템을 제안한다. 이 방법은 어휘 인식 모델 생성 시 등록되지 않은 어휘를 거절하여 인식률을 향상시킨다. 또한 확률 분포를 이용하여 어휘 분석과 의미를 파악하고 음운 변동이 적용되기 전의 문자열로 복원시킨다. 시스템 분석은 음소 유사율과 신뢰도를 이용하여 오류 보정율을 확인하였고 성능 평가를 위해 에러 패턴, 오류 패턴, 의미 패턴 방법을 이용하여 평가하였다. 성능 평가 결과 2.8%의 오류 보정률의 향상을 보였다.

북한 영어 교과서 어휘의 통시적 분석 (A Diachronic Lexical Analysis of the North Korean English Textbooks)

  • 김지영;이제영;김정렬
    • 한국콘텐츠학회논문지
    • /
    • 제17권4호
    • /
    • pp.331-341
    • /
    • 2017
  • 본 연구는 북한의 영어 교과서에 나타난 어휘의 시대적인 변화를 파악하기 위해 통시적인 관점에서 코퍼스 기반 어휘 분석을 실시하였다. 이를 위해 통일부의 북한자료센터에 소장되어 있는 북한의 중등학교 영어 교과서 중 1996년 교육과정이 적용된 시기를 기준으로 김정일 시대 이전과 이후의 교과서를 구분지어 코퍼스를 구축한 후, 워드스미스 툴스 7.0을 통해 해당 코퍼스를 분석하여 각 교과서들의 어휘 변화 양상을 살펴보았다. 연구 결과 해당 교과서들의 어휘 규모는 개편 후의 교과서가 개편 전에 비해 증가했지만, 어휘 유형과 어휘 다양성은 감소하였다. 교육과정 개편 이전에 비해 개편 이후의 교과서에서 더 자주 등장하는 핵심어(keyword)를 분석한 결과 김정일 체제를 확고히 하기 위한 관련 이념 어휘와 북한의 경제 및 생활상을 반영하는 어휘들이 나타남을 확인할 수 있었다. 또한 다빈도 어휘 100개 목록과 핵심어를 비교한 결과 북한의 영어 교과서의 어휘가 문법과 문어체 위주의 텍스트에서 조금씩 실질적인 의사소통과 관련된 구어체 내용이 증가하고 있었다.

치매환자 담화분석의 최근 연구동향 : 과제, 전사 및 측정요인 (Recent Research Trends in Dementia Discourse : Tasks, Transcription and Measures)

  • 김보선;김향희
    • 한국콘텐츠학회논문지
    • /
    • 제15권9호
    • /
    • pp.351-363
    • /
    • 2015
  • 담화분석은 치매환자의 발화특성을 알아보거나, 환자군을 변별하는 데 있어서 그 효용성이 입증되었다. 그러나 기존의 담화연구들에서 활용된 과제, 전사법, 측정요인들이 서로 상이하므로, 체계적이고 일관적인 분석이 이루어지지 않아 해석을 도출하는데 어려움이 있다. 본 연구는 치매환자의 담화과제, 전사법, 측정요인들을 조사하여 향후 담화분석에 도움이 되고자 하는 목적으로 수행되었다. 이에, 스코퍼스(Scopus) 데이터베이스를 통해 2005년부터 2014년도까지 치매 환자의 담화를 분석한 연구들이 조사되었다. 그 결과, 첫째, 치매환자를 대상으로 가장 많이 쓰인 담화과제는 '주제에 대해 이야기하기'이었다. 둘째, 전사과정에서 일관된 전사규약(transcription conventions)을 적용하는 경우, 좀 더 신뢰성 있는 전사자료를 얻을 수 있었다. 셋째, 담화측정요인들은 담화처리모델에 따라 통일성, 응집성, 생산성, 명제 통사 사전분석, 유창성의 영역들로 범주화되며, 각 범주는 담화처리단계(즉, 개념형성단계, 명제처리단계, 자연언어단계)에 속하였다. 결론적으로, 향후의 담화연구는 치매유형 및 특징에 따라 담화과제를 선정하고, 분석의 신뢰성을 위해 일관된 전사규약을 적용해야 할 것이다. 또한, 담화처리이론에 바탕을 둔 측정을 통해, 담화연구의 해석이 체계적으로 이루어지는 것이 바람직하다고 할 수 있다.

당뇨병 환자의 건강정보이해능력 측정을 위한 기초 연구 (A study on the measuring health literacy in patients with diabetes in Korea)

  • 강수진;심강희;장수정;이미숙
    • 보건교육건강증진학회지
    • /
    • 제33권5호
    • /
    • pp.47-57
    • /
    • 2016
  • Objectives: To develop and evaluate the applicability of a health literacy instrument in patients with diabetes by measuring their ability to understand diabetes-related words. Methods: Diabetes-related words were extracted from the Korean Diabetes Association's website and literature reviews. In the first phase, three nursing researchers evaluated 2,661 diabetes-related words based on graded lexical vocabularies and what patients need to know about self-care, and the narrowed them to 255 words. In the second phase, a content validity assessment was conducted by an expert panel. In the third phase, the remaining 25 words were administered to 200 conscientious with type 2 patients aged 40 years old and using a Gallup survey from March 3 to 17, 2016 in Seoul, Korea. Descriptive analysis and Rasch analysis were performed to test psychometric properties. Results: The mean score was 21.47 with a range of 0 to 25. The Cronbach's ${\alpha}$ was .92. The health literacy instrument using diabetes-related words had a ceiling effect response. Conclusions: Diabetes-related words are useful and reliable items for testing the health literacy of diabetes patients. Future study is needed to develop and validate health literacy measures for diabetic patients.

접속 특성과 말마디 사전을 이용한 형태소 분석 (Morphological Analysis with Adjacency Attributes and Phrase Dictionary)

  • 임권묵;송만석
    • 한국정보처리학회논문지
    • /
    • 제1권1호
    • /
    • pp.129-139
    • /
    • 1994
  • 본 논문은 형태소의 접속 특성과 대형 말뭉치(corpus)로부터 추출된 중의성 말마 디의 인접 정보를 이용해서 한국어 형태소 분석기를 구현한다. 일반적으로 말마디는 형태소의 접속 특성과 결합규칙을 적용함으로써 하나의 결과로 분석될 수 있으나 중 의성 말마디는 가능한 결과들로부터 적절한 하나를 선택하기 위해서 인접말마디 정보 나 문법 정보 또는 문맥 정보 등이 요구된다. 그러나 문법 정보와 문맥정보는 구문 분석과 의미분석 단계를 거쳐야만 가능하기 때문에 여기서는 표층적인 정보로서 인접 말마디 정보를 이용한 중의성 해결을 시도하였다. 형태소의 접속 특성과 중의성 말마 디의 인접 정보를 사전에 수록함으로써 축약어와 불필요한 결과를 제시하는 말마디 그리고 중의성 말마디까지도 형태소 분석이 거의 가능하게 된다. 본 분석기의 효능은 정확하고 풍부한 정보를 사전에 효율적으로 수록함으로써 이룩될 것이며, 이를 위해 형태소 사전과 말마디 사전을 데이타베이스로 설계하고, 필요한 정보 들을 대형 말뭉 치로부터 추출하여 사전에 저장한다.

  • PDF

프랑스어 직업명사의 여성화에 대한 고찰: 프랑스어권의 지역별 비교 (The study on feminization of French occupational nouns: comparative analysis in the Francophonie)

  • 최인경
    • 비교문화연구
    • /
    • 제27권
    • /
    • pp.197-224
    • /
    • 2012
  • The purpose of this study is to analyze the issues concerning feminine forms of nouns which indicates occupations in French. In distinguishing the French masculine and feminine forms, many linguistic issues about feminizing occupational nouns became a hot issue among scholars. However, reasonably logical and effective methods to solve such issues are not suggested yet. The first part is focused on how the feminine forms were historically altered to investigate changing process of nouns representing jobs. Through this, we found that the occupational nouns' feminization is quite related to the social big changes, the woman's social condition and reality reflecting on languages periodically. We discussed the important factors deciding such changes, such as semantic, linguistic and sociolinguistic causes, in the second part of the study. And we mentioned issues which can be suggested in investigating grammatical rules of the feminine form of occupational nouns. The last part is on plans to learn the feminine form of occupations in an effective way. The language is being developed while it is closely related with social and cultural environment of people who use the languages. In this meaning, occupational nouns' feminization is a good example which can reflect chronological and social changes. Through the thesis, we know that it is not enough to provide explanation of changes of feminine occupational nouns about the woman's social roles' alteration. We just hope it can be at least a small help in doing more systematic and deeper analysis which can show the fact that languages reflect the phenomenon of social changes.