• 제목/요약/키워드: 단어 유사도 분석

검색결과 231건 처리시간 0.025초

영어영문학 관련 학회장 인사말 내용분석 - 언어네트워크분석을 중심으로 (Content Analysis of Presidents' Addresses of English Literary Societies in Korea: Focusing on Analysis of a Language Network)

  • 최경호;문길성
    • 한국콘텐츠학회논문지
    • /
    • 제13권3호
    • /
    • pp.495-501
    • /
    • 2013
  • 자신의 생각을 표현한 텍스트에 표현된 단어들은 메시지에서 강조하는 핵심 이미지, 주요 이슈, 상징적 아이콘으로 볼 수 있다. 학술단체의 대표인 학회장에게 적용시켜 보면, 학회장이 인사말에서 사용하는 단어의 빈도와 연결구조는 학회장 및 임원의 가치지향과 이념을 알 수 있다. 본 연구에서는 언어네트워크분석을 통하여 국내 영어영문 관련 학회 홈페이지에 소개된 학회장의 인사말을 내용분석해서 각 학회별 특징과 그 구조적 모습에 대해 살펴보았다. 그 결과 많은 빈도수를 보인 단어에서 유사점과 함께 차이점(특징)이 있음을 확인하였다. 나아가 본 연구의 결과는 영어영문 관련 학회의 비교연구를 위한 기초자료로 활용될 수 있을 것으로 사료된다.

워드 임베딩과 딥러닝 기법을 이용한 SMS 문자 메시지 필터링 (SMS Text Messages Filtering using Word Embedding and Deep Learning Techniques)

  • 이현영;강승식
    • 스마트미디어저널
    • /
    • 제7권4호
    • /
    • pp.24-29
    • /
    • 2018
  • 딥러닝에서 자연어 처리를 위한 텍스트 분석 기법은 워드 임베딩을 통해 단어를 벡터 형태로 표현한다. 본 논문에서는 워드 임베딩 기법과 딥러닝 기법을 이용하여 SMS 문자 메시지를 문서 벡터로 구성하고 이를 스팸 문자 메시지와 정상적인 문자 메시지로 분류하는 방법을 제안하였다. 유사한 문맥을 가진 단어들은 벡터 공간에서 인접한 벡터 공간에 표현되도록 하기 위해 전처리 과정으로 자동 띄어쓰기를 적용하고 스팸 문자 메시지로 차단되는 것을 피하기 위한 목적으로 음절의 자모를 특수기호로 왜곡하여 맞춤법이 파괴된 상태로 단어 벡터와 문장 벡터를 생성하였다. 또한 문장 벡터 생성 시 CBOW와 skip gram이라는 두 가지 워드 임베딩 알고리즘을 적용하여 문장 벡터를 표현하였으며, 딥러닝을 이용한 스팸 문자 메시지 필터링의 성능 평가를 위해 SVM Light와 정확도를 비교 측정하였다.

자연어 처리 과정을 이용한 웹기반 한문 주관식 채점 시스템 (The Web Based Grading System of Subjective Test in Chinese Writing Using Natural Language Processing)

  • 배화식;정순호
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 추계학술발표대회 및 정기총회
    • /
    • pp.813-816
    • /
    • 2005
  • 본 논문에서는 한문 문장의 기본구조를 자연어 처리과정을 이용하여 채점하는 시스템을 구현하고자 하였다. 기존의 주관식 채점시스템은 단답형이 대부분이며, 서술형은 문장에서 키워드를 추출하여 유사도를 비교한 후 채점하는 방식으로 키워드 추출 시 명사류만 대상으로 하여 다른 품사들은 누락되며, 또한 문장의 구조를 간과하는 문제점이 있다. 본 시스템은 자연어 처리과정을 이용한 것으로 어휘분석과 구문분석을 통해 문장구조를 확인하고, 문장성분별로 해당 단어를 정확하게 사용하였는가를 검사하여 채점함으로써 기존의 문제점을 개선한다.

  • PDF

단어빈도와 유사도 분석을 이용한 다중주제 회의록 요약시스템 (Design and Implementation of a Multi-Subject Minutes Summary System Based on Word Frequency and Similarity Analysis)

  • 허강호;복경수;유재수
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2019년도 춘계종합학술대회
    • /
    • pp.453-454
    • /
    • 2019
  • 현대 사회에서는 의사 결정을 위해 다양한 도구가 사용되고 있다. 대규모로 진행되는 토의나 토론에서는 데이터를 분석하는데 많은 비용과 시간이 소모되고 있다. 회의록 요약시스템은 기존 문서처리방법을 자동화하여 인건비 절감과 처리시간을 단축하는 긍정적 효과를 기대하고 있다. 본 논문은 기존에 수작업으로 진행되었던 과정을 보다 효과적으로 운영할 수 있도록 회의록 요약시스템을 설계하고 구현한다. 대규모 토론이나 토의에서도 요약시스템 통해 대표의견을 제시받아 정확한 의사결정을 하여 시간절약과 비용절감 효과를 기대한다.

  • PDF

WV-BTM: SNS 단문의 주제 분석을 위한 토픽 모델 정확도 개선 기법 (WV-BTM: A Technique on Improving Accuracy of Topic Model for Short Texts in SNS)

  • 송애린;박영호
    • 디지털콘텐츠학회 논문지
    • /
    • 제19권1호
    • /
    • pp.51-58
    • /
    • 2018
  • SNS의 사용자와 데이터량이 폭발적으로 증가함에 따라, SNS 빅 데이터를 기반으로 한 연구들이 활발히 진행되고 있다. 특히 소셜 마이닝 분야에서는 비 분류된 대용량 SNS 텍스트 데이터로부터 각 텍스트 별 유사성을 파악하고, 그로부터 트렌드를 추출하기 위해 대표적인 토픽 모델 기법인 LDA를 사용한다. 그러나 LDA는 단문 데이터에 대하여 비 빈발 단어 출현으로 인한 의미 희박성(semantic sparsity)으로 인해 양질의 주제 추론이 어렵다는 한계를 가진다. BTM 연구는 이와 같은 LDA의 한계점을 두 단어의 조합을 통해 개선하였으나, BTM 또한 조합된 단어 중 높은 빈도수의 단어에 더 큰 영향을 받아 각 주제와의 연관성을 고려한 가중치 계산이 불가능하다는 한계점을 지닌다. 본 논문은 단어 간의 의미적 연관성을 반영함으로써 기존 연구 BTM의 정확도를 개선하는 방안을 모색한다.

의미 커널과 워드넷을 이용한 주관식 문제 채점 시스템의 설계 및 구현 (Design and Implementation of Short-Essay Marking System by Using Semantic Kernel and WordNet)

  • 조우진;추승우;오정석;김한샘;김유섭;이재영
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.1027-1030
    • /
    • 2005
  • 기존 의미커널을 적용한 주관식 채점 시스템은 여러 답안과 말뭉치에서 추출한 색인어들과의 상관관계를 벡터방식으로 표현하여 자연어 처리에 대한 문제를 해결하려 하였다. 본 논문에서는 기존 시스템의 답안 및 색인어의 표현 한계로 인한 유사도 계산오차 가능성에 대한 문제를 해결하고자 시소러스를 이용한 임의 추출 방식의 답안 확장을 적용하였다. 서술형 주관식 평가에서는 문장의 문맥보다는 사용된 어휘에 채점가중치가 높다는 점을 착안, 출제자와 수험자 모두의 답안을 동의어, 유의어 그룹으로 확장하여 채점 성능을 향상시키려 하였다. 우선 두 답안을 형태소 분석기를 이용해 색인어를 추출한 후 워드넷을 이용하여 동의어, 유의어 그룹으로 확장한다. 이들을 말뭉치 색인을 이용하여 단어들 간 상관관계를 측정하기 위한 벡터로 구성하고 의미 커널을 적용하여 정답 유사도를 계산하였다. 출제자의 채점결과와 각 모델의 채점 점수의 상관계수 계산 결과 ELSA 모델이 가장 높은 유사도를 나타내었다..

  • PDF

시맨틱 네트워크를 통한 문학작품 속 인물과 의상의 관계 -소설 「노르웨이의 숲」- (The Relationship Between Character and Costume in literary Work using Semantic networks -The novel 「Norwegian Wood」-)

  • 최영현;김성은;이규혜
    • 디지털융복합연구
    • /
    • 제19권1호
    • /
    • pp.307-314
    • /
    • 2021
  • 본 연구에서는 시맨틱 네트워크의 원리를 장편소설에 적용하여, 문서 전체의 구조를 파악하고 단어와 단어 간의발현 관계를 알아보고자 했다. 무라카미 하루키의 소설 '노르웨이의 숲'을 분석 대상으로, 등장인물의 상징과 관계, 성격특성, 의상 표현을 네트워크 분석을 통해 분석했다. CNM 군집화 알고리즘을 통해 소설 속 등장인물들의 상징과 인물간의 관계 속성을 확인할 수 있었다. 이에 따라, 소설 속 등장인물의 관계와 인물이 상징하는 잠재적인 의미가 전체 네트워크 구조 내에서 서로 유사한 구조적 특성을 가지며 동일 집단에 나타나고 있음을 확인할 수 있었다. 작가가 의도한 세계관 내에서 만든 등장인물 간의 관계에 대한 묘사나 상징들을 파악할 수 있었다. 인물의 성격, 불안정한 정신상태, 심경 변화가 연결중심성이 높은 함축적인 몇 개의 단어를 통해 나타나고 있었다. 인물의 특성에 따른 의상 표현 역시 인물을 설명하는 단서로 적절하게 연결되는 것을 확인할 수 있었다. 본 연구는 융합연구로써, 문학작품을 대상으로 새로운 방법론을 제시했다는데 학술적 의의가 있다.

한국어의 경음에 대한 분석 (Analysis of Unaspirated sound for Korean)

  • 임수호;김주곤;김범국;정호열;정현열
    • 한국음향학회:학술대회논문집
    • /
    • 한국음향학회 2004년도 춘계학술발표대회 논문집 제23권 1호
    • /
    • pp.41-44
    • /
    • 2004
  • 본 논문에서는 한국어에만 나타나는 경음에 대하여 음운학적, 음향학적 특성을 고찰하고 이를 기반으로 음성인식 실험을 수행한 후 그 결과를 분석하였다. 음성인식 실험을 위하여 입력 음성을 48개의 유사음소단위 (PLU; Phoneme Likely Unit)로 레이블링을 한 후 각각의 음소군에 대하여 LPC (Liner Predictive Coding) 분해능을 증가시키면서 음소인식 및 단어인식 실험을 수행하였다. 그 결과, 음소 인식 실험에서 경음군의 인식률이 가장 낮게 나타나 경음에 대한 분석이 보다 많이 필요함을 알 수 있었다. 또한 PLC의 분해 차원이 23차 일 때 경음과 전체 음소 인식률이 각각 $34.11\%,\;46.1\%$로 나타나 가장 양호함을 알 수 있었으며 단어인식 실험에서도 LPC 23차와 25차 일 때 $81.68\%,\;81.87\%$로 인식률이 가장 좋음을 알 수 있었다. 이상의 실험 결과에서 한국어의 경음은 전체 시스템의 인식 성능과 밀접한 관계가 있음을 알 수 있었다.

  • PDF

대화형 개인 비서 시스템의 언어 인식 모듈(SLU)을 위한 미등록어(OOV) 처리 기술 (A Out-of-vocabulary Processing Technology for the Spoken Language Understanding Module of a Dialogue Based Private Secretary Software)

  • 이창수;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.3-8
    • /
    • 2014
  • 대화형 개인 비서 시스템은 사람의 음성을 통해 인식된 음성 인식 결과를 분석하여 사용자에게 제공할 정보가 무엇인지 파악한 후, 정보가 포함되어 있는 앱(app)을 실행시켜 사용자가 원하는 정보를 제공하는 시스템이다. 이러한 대화형 개인 비서 시스템의 가장 중요한 모듈 중 하나는 음성 대화 인식 모듈(SLU: Spoken Language Understanding)이며, 발화의 "의미 분석"을 수행하는 모듈이다. 본 논문은 음성 인식결과가 잘못되어 의미 분석이 실패하는 것을 방지하기 위하여 음성 인식 결과에서 잘못 인식된 명사, 개체명 단어를 보정 시켜주는 미등록어(OOV:Out-of-vocabulary) 처리 모듈을 제안한다. 제안하는 미등록어 처리 모듈은 미등록어 탐색 모듈과 미등록어 변환 모듈로 구성되며, 미등록어 탐색 모듈을 통해 사용자의 발화에서 미등록어를 분류하고, 미등록어 변환 모듈을 통해 미등록어를 사전에 존재하는 유사한 단어로 변환하는 방법을 제안한다. 제안한 방법을 적용하였을 때의 실험 결과, 전체 미등록어 중 최대 52.5%가 올바르게 수정되었으며, 음성 인식 결과를 그대로 사용했을 경우 "원본 문장"과 문장 단위 67.6%의 일치율을 보인 것에 반해 미등록어 처리 모듈을 적용했을 때 17.4% 개선된 최대 85%의 문장 단위 일치율을 보였다.

  • PDF

다양한 언어적 자질을 고려한 발화간 유사도 측정 방법 (A Method for Measuring Inter-Utterance Similarity Considering Various Linguistic Features)

  • 이연수;신중휘;홍금원;송영인;이도길;임해창
    • 한국음향학회지
    • /
    • 제28권1호
    • /
    • pp.61-69
    • /
    • 2009
  • 본 연구는 예제 기반 대화 시스템에서 응답을 결정하기 위한 핵심 요소 기술 중 하나인 발차간 유사도 측정 방법의 개선에 대해 논한다. 일반적인 문장간 유사도 측정과는 달리, 대화에서 발차간 유사도 측정은 단어 분포간 유사도 뿐만 아니라, 문형, 시제, 긍/부정, 양태등 대화 자연스러움을 결정하는 문장의 다양한 언어적 요소 역시 중요하게 고려되어야 한다. 그러나 기존 연구에서는 이에 대한 고려가 부족 했던 것이 사실이며, 따라서 본 연구에서는 개선 방안으로서 발화의 형태적 유사성 뿐 아니라 다양한 언어적 자질들을 분석하고 이를 유사도 측정에 반영하여 정확도를 향상시키는 새로운 유사도 측정 방법을 제안한다. 또한, 발차의 자질별 유사도를 고려함으로써, 한정된 수의 예제들의 활용도를 높일 수 있는 방법을 제안하였다. 실험 결과 제안하는 방법이 기존 방식에 비해 10%p 이상 정확도 성능 향상이 있었다.