• 제목/요약/키워드: 단어 표현

검색결과 569건 처리시간 0.025초

언론사 프레임 분석을 위한 벡터기반의 단어 표현: 코로나 19 를 중심으로 (Vector-based word representation for media frame analysis: focused on covid-19)

  • 이다인;김유섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2020년도 추계학술발표대회
    • /
    • pp.877-880
    • /
    • 2020
  • 본 논문에서는 언론사 프레임 분석을 위해 2020 년 2 월 1 일부터 7 개월간 코로나 19 를 언급한 기사 데이터를 수집하여 단어 임베딩을 수행하고, 언론사별 중복단어 행렬로 K-Means Clustering 을 수행하여 군집별로 모인 언론사들의 분포를 살펴본다. 또한, 언론사별 중복되지 않는 유일단어들의 긍정, 부정, 정치적, 경제적 등의 특성에 따라 프레임을 분석하여 파악한다. 이를 통해, 특정 기간동안 코로나 19 관련 기사에서 나타나는 언론사별 프레임을 비교 및 분석하고자 한다.

딥러닝을 이용한 한국어 어의 중의성 해소 (A Word Sense Disambiguation for Korean Language Using Deep Learning)

  • 김홍진;김학수
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.380-382
    • /
    • 2019
  • 어의 중의성 문제는 자연어 분석 과정에서 공통적으로 발생하는 문제로 한 가지의 단어 표현이 여러 의미로 해석될 수 있기 때문에 발생한다. 이를 해결하기 위한 어의 중의성 해소는 입력 문장 중 여러 개의 의미로 해석될 수 있는 단어가 현재 문맥에서 어떤 의미로 사용되었는지 분류하는 기술이다. 어의 중의성 해소는 입력 문장의 의미를 명확하게 해주어 정보검색의 성능을 향상시키는데 중요한 역할을 한다. 본 논문에서는 딥러닝을 이용하여 어의 중의성 해소를 수행하며 기존 모델의 단점을 극복하여 입력 문장에서 중의적 단어를 판별하는 작업과 그 단어의 의미를 분류하는 작업을 동시에 수행하는 모델을 제안한다.

  • PDF

의미적 의존 링크 토픽 모델을 이용한 생물학 약어 중의성 해소 (Semantic Dependency Link Topic Model for Biomedical Acronym Disambiguation)

  • 김선호;윤준태;서정연
    • 정보과학회 논문지
    • /
    • 제41권9호
    • /
    • pp.652-665
    • /
    • 2014
  • 생물학 도메인은 약어 표현이 빈번하며, 실제로 문서에서 중요한 의미를 지니는 개체명들이 약어로 표현되는 경우가 많다. 본 연구에서는 토픽과 링크 정보를 이용하여 약어 중의성을 해결하고 동일한 의미를 가지는 다양한 형태의 약어 원형들(variant forms)에 대한 그룹핑을 시도한다. 이를 위하여 LDA(latent Dirichlet allocation) 기반 의미적 의존 링크 토픽 모델(semantic dependency topic model)을 제안한다. 해당 모델은 생성 모델(generative model)의 일종으로 문서 집합의 각 문서에 등장하는 단어들은 문서에서 발생하는 토픽 분포와 토픽 당 단어 분포에 의해 생성되어 있는 것으로 가정하고, 관측 가능한 문서 집합의 단어들로부터 문서에 내재된 숨어있는 토픽 구조를 추론하여 단어 생성과 토픽 파라미터를 연결시킨다. 본 연구에서는 토픽 정보 외에 단어들 사이에 존재하는 의미적 의존성(semantic dependency)을 링크로 정의하고, 단어 간에 존재하는 링크 정보, 특히 원형과 문장에서 공기하는 단어들 사이의 링크를 파라미터화하여 중의성 해결에 이용하였다. 결과적으로 주어진 문서에 등장하는 약어에 대해 가장 가능성 있는 원형은 해당 모델을 이용하여 추론된 단어-토픽, 문서-토픽, 단어-링크 확률에 의해서 결정된다. 제안하는 모델은 MEDLINE 초록으로부터 Entrez 인터페이스를 이용해 22개의 약어 집합과 186개의 가능한 약어 원형을 이용하여 질의를 생성하고, 이를 이용해 검색된 문서들을 대상으로 학습과 테스트에 이용하였다. 실험은, 주어진 문서에 등장하는 해당 약어에 대한 원형이 무엇인지 예측하는 방식으로 98.3%의 정확률의 높은 성능을 보였다.

한국어 문형을 이용한 문장 정규화 기반의 FAQ 자동 응답 시스템 (An Automated FAQ Answering System Based on Sentence Normalization Using Korean Sentence Patterns)

  • 배경만;백종탁;고영중;김종훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.172-176
    • /
    • 2008
  • 인터넷 쇼핑몰과 같은 웹사이트에서 FAQ 검색의 중요성은 갈수록 증가되고 있다. 일반적으로 FAQ 검색을 하기 위해서 사용자가 직접 FAQ 리스트에서 FAQ를 찾거나 키워드 검색을 통해 FAQ를 찾는다. 하지만 이 방법은 FAQ 리스트를 찾는데 시간이 오래 걸리고 사용자가 만족하는 결과를 보여주지 못하는 경우가 많다. 이를 해결하기 위해 사용자의 자연어 질의에 대해 자동으로 FAQ를 찾아주는 FAQ 시스템이 필요하다. 자동화된 FAQ 시스템은 사용자의 질의 문장에 대해 FAQ 목록 중에 가장 유사한 FAQ 문장을 찾아준다. 이를 위해 각 문장을 유니그램과 바이그램 단어 집합으로 표현하여 문장 간의 유사도를 계산한다. 본 논문에서는 유니그램과 바이그램 단어 집합뿐만이 아니라 한국어 문형을 기반으로 한 문장 정규화를 통해 단어의 문장 성분 정보와 성분 내 위치 정보를 이용하여 문장을 표현함으로써 자동화된 FAQ 시스템의 성능을 향상 시키는 것을 목표로 한다.

  • PDF

문서의 의미론적 분석에 기반한 키워드 추출에 관한 연구 (A Study on Keywords Extraction based on Semantic Analysis of Document)

  • 송민규;배일주;이수홍;박지형
    • 한국지능정보시스템학회:학술대회논문집
    • /
    • 한국지능정보시스템학회 2007년도 추계학술대회
    • /
    • pp.586-591
    • /
    • 2007
  • 지식 관리 시스템, 정보 검색 시스템, 그리고 전자 도서관 시스템 등의 문서를 다루는 시스템에서는 문서의 구조화 및 문서의 저장이 필요하다. 문서에 담겨있는 정보를 추출하기 위해 가장 우선시되어야 하는 것은 키워드의 선별이다. 기존 연구에서 가장 널리 사용된 알고리즘은 단어의 사용 빈도를 체크하는 TF(Term Frequency)와 IDF(Inverted Document Frequency)를 활용하는 TF-IDF 방법이다. 그러나 TF-IDF 방법은 문서의 의미를 반영하지 못하는 한계가 존재한다. 이를 보완하기 위하여 본 연구에서는 세 가지 방법을 활용한다. 첫 번째는 문헌 속에서의 단어의 위치 및 서론, 결론 등의 특정 부분에 사용된 단어의 활용도를 체크하는 문헌구조적 기법이고, 두 번째는 강조 표현, 비교 표현 등의 특정 사용 문구를 통제 어휘로 지정하여 활용하는 방법이다. 마지막으로 어휘의 사전적 의미를 분석하여 이를 메타데이터로 활용하는 방법인 언어학적 기법이 해당된다. 이를 통하여 키워드 추출 과정에서 문서의 의미 분석도 수행하여 키워드 추출의 효율을 높일 수 있다.

  • PDF

Bidirectional LSTM CRF 기반의 개체명 인식을 위한 단어 표상의 확장 (Expansion of Word Representation for Named Entity Recognition Based on Bidirectional LSTM CRFs)

  • 유홍연;고영중
    • 정보과학회 논문지
    • /
    • 제44권3호
    • /
    • pp.306-313
    • /
    • 2017
  • 개체명 인식이란 문서 내에서 인명, 기관명, 지명, 시간, 날짜 등 고유한 의미를 가지는 개체명을 추출하여 그 종류를 결정하는 것을 말한다. 최근 개체명 인식 연구에서 가장 우수한 성능을 보여주고 있는 모델은 Bidirectional LSTM CRFs 모델이다. 이러한 LSTM 기반의 딥 러닝 모델은 입력이 되는 단어 표상에 의존적이다. 따라서 입력이 되는 단어를 잘 표현하기 위하여 단어 표상을 확장하는 방법에 대한 연구가 많이 진행되어지고 있다. 본 논문에서는 한국어 개체명 인식을 위하여 Bidirectional LSTM CRFs모델을 사용하고, 그 입력으로 사용되는 단어 표상을 확장하기 위해 사전 학습된 단어 임베딩 벡터, 품사 임베딩 벡터, 음절 기반에서 확장된 단어 임베딩 벡터, 그리고 개체명 사전 자질 벡터를 사용한다. 최종 단어 표상 확장 결과 사전 학습된 단어 임베딩 벡터만 사용한 것 보다 8.05%p의 성능 향상을 보였다.

신조어의 의미 학습을 위한 딥러닝 기반 표적 마스킹 기법 (Deep Learning-based Target Masking Scheme for Understanding Meaning of Newly Coined Words)

  • 남건민;서수민;곽기영;김남규
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.391-394
    • /
    • 2021
  • 최근 딥러닝(Deep Learning)을 활용하여 텍스트로 표현된 단어나 문장의 의미를 파악하기 위한 다양한 연구가 활발하게 수행되고 있다. 하지만, 딥러닝을 통해 특정 도메인에서 사용되는 언어를 이해하기 위해서는 해당 도메인의 충분한 데이터에 대해 오랜 시간 학습이 수행되어야 한다는 어려움이 있다. 이러한 어려움을 극복하고자, 최근에는 방대한 양의 데이터에 대한 학습 결과인 사전 학습 언어 모델(Pre-trained Language Model)을 다른 도메인의 학습에 적용하는 방법이 딥러닝 연구에서 많이 사용되고 있다. 이들 접근법은 사전 학습을 통해 단어의 일반적인 의미를 학습하고, 이후에 단어가 특정 도메인에서 갖는 의미를 파악하기 위해 추가적인 학습을 진행한다. 추가 학습에는 일반적으로 대표적인 사전 학습 언어 모델인 BERT의 MLM(Masked Language Model)이 다시 사용되며, 마스크(Mask) 되지 않은 단어들의 의미로부터 마스크 된 단어의 의미를 추론하는 형태로 학습이 이루어진다. 따라서 사전 학습을 통해 의미가 파악되어 있는 단어들이 마스크 되지 않고, 신조어와 같이 의미가 알려져 있지 않은 단어들이 마스크 되는 비율이 높을수록 단어 의미의 학습이 정확하게 이루어지게 된다. 하지만 기존의 MLM은 무작위로 마스크 대상 단어를 선정하므로, 사전 학습을 통해 의미가 파악된 단어와 사전 학습에 포함되지 않아 의미 파악이 이루어지지 않은 신조어가 별도의 구분 없이 마스크에 포함된다. 따라서 본 연구에서는 사전 학습에 포함되지 않았던 신조어에 대해서만 집중적으로 마스킹(Masking)을 수행하는 방안을 제시한다. 이를 통해 신조어의 의미 학습이 더욱 정확하게 이루어질 수 있고, 궁극적으로 이러한 학습 결과를 활용한 후속 분석의 품질도 향상시킬 수 있을 것으로 기대한다. 영화 정보 제공 사이트인 N사로부터 영화 댓글 12만 건을 수집하여 실험을 수행한 결과, 제안하는 신조어 표적 마스킹(NTM: Newly Coined Words Target Masking)이 기존의 무작위 마스킹에 비해 감성 분석의 정확도 측면에서 우수한 성능을 보임을 확인하였다.

  • PDF

동아시아의 맛 표현 용어 (Taste-describing Terms in East Asia)

  • 태전태홍
    • 한국식생활문화학회지
    • /
    • 제3권1호
    • /
    • pp.23-27
    • /
    • 1988
  • 일본, 한국, 중국의 식문화에 관한 용어들을 조사 비교하였다. 우선 맛의 인지를 표현하는 용어들을 수집 조사하고 이어서 삼개국 용어중에 서로 관계가 있는 단어들을 모으고 정의하였으며 맛 인식표현에서 삼개국 용어모델을 수립하였다.

  • PDF

전략 시나리오

  • 황부영
    • 디지털콘텐츠
    • /
    • 5호통권156호
    • /
    • pp.102-105
    • /
    • 2006
  • 영어 표현에 "What…?" 라는 것이 있다. 만약 상황이 이렇게 된다면 어떻게 되는 거냐고 묻는 말이다. 어떤 상황을 전제로 하거나 기정사실로 상정했을 때, 만일 그렇지 않다면 어떻게 되는 거냐고 되묻는 말이다. 휴일에 다같이 피크닉 가자고 했을 떄 "만일 비가 오면 어떻게 되는 겁니까?'라고 묻는 식이다. 그럴 리 없다고 확신하는 경우, 이런 질무은 사람들의 짜증을 불러일으킬 수도 있다. 분명히 일기예보에 그 날 날씨가 맑다고 확인했다면 더 짜증이 날 것이다. 하지만 정작 당일에 비가오면 어떡할 것인가. 두 단어로 긴 우리말을 대체하는 영어표현이 멋있다는 것이 아니다. 그저 이 표현이 전략을 입안하고 실천하는 사람들이 잊지 말아야할 기본 태도를 잘 나타낸 것이라고 본다.

  • PDF

감정표현불능증(Alexithymia), 신체적 호소, 정서 및 어휘의 관계 (The Relation of Alexithymia, Somatic Complaints, Emotion and Vocabulary)

  • 전현태;이귀행;김재현;김한주;유용진;소광
    • 정신신체의학
    • /
    • 제8권1호
    • /
    • pp.58-64
    • /
    • 2000
  • 연구목적 : 본 연구는 정상 성인에서 성격의 일반적인 특정으로서의 감정표현불능증과 신체적 호소, 정서상태 및 어휘와의 상관관계를 알아봄으로써 감정표현불능증에 대한 이해를 넓히고자 하였다. 방법 : 신체적 질환을 가지고 있지 않은 정상 성인에서 한국판 20항목 Toronto 감정표현불능증 척도(TAS-20K), 신체적 호소, 연상한 단어의 수, 우울과 불안을 정도를 측정하여 그 결과들간의 상관관계를 알아 보았다. 총 662명을 평가한 후 체계적 표본추출 방법을 이용하여 다시 204명을 선택하였다. 결과 : 1) 감정표현불능증의 정도는 신체적 호소, 불안, 우울의 정도와 유의한 상관관계를 보였다. 2) 신체적 호소는 불안, 우울의 정도와 유의한 상관관계를 보였다. 3) 연상한 단어의 수는 나이와 부적 상관관계를 보였다. 4) 강정표현불능증의 정도는 연상한 단어의 수와 유의한 상관관계를 보이지 않았다. 결론 : 감정표현불능증의 정도가 심할수록 신체적 호소는 더 많으며 이는 불안, 우울의 정도와 연관되어 있었으나 어휘의 양과는 유의한 관계를 발견할 수 없었다.

  • PDF