• 제목/요약/키워드: 핵심단어 추출

검색결과 79건 처리시간 0.026초

자동색인을 위한 학습기반 주요 단어(핵심어) 추출에 관한 연구 (Learning-based Automatic Keyphrase Indexing from Korean Scientific LIS Articles)

  • 김혜진;정유경
    • 한국정보관리학회:학술대회논문집
    • /
    • 한국정보관리학회 2017년도 제24회 학술대회 논문집
    • /
    • pp.15-18
    • /
    • 2017
  • 학술 데이터베이스를 통해 방대한 양의 텍스트 데이터에 대한 접근이 가능해지면서, 많은 데이터로부터 중요한 정보를 자동으로 추출하는 것에 대한 필요성 또한 증가하였다. 특히, 텍스트 데이터로부터 중요한 단어나 단어구를 선별하여 자동으로 추출하는 기법은 자료의 효과적인 관리와 정보검색 등 다양한 응용분야에 적용될 수 있는 핵심적인 기술임에도, 한글 텍스트를 대상으로 한 연구는 많이 이루어지지 않고 있다. 기존의 한글 텍스트를 대상으로 한 핵심어 또는 핵심어구 추출 연구들은 단어의 빈도나 동시출현 빈도, 이를 변형한 단어 가중치 등에 근거하여 핵심어(구)를 식별하는 수준에 그쳐있다. 이에 본 연구는 한글 학술논문의 초록으로부터 추출한 다양한 자질 요소들을 학습하여 핵심어(구)를 추출하는 모델을 제안하였고 그 성능을 평가하였다.

  • PDF

트위터 해시 태그를 이용한 End-to-end 뉴럴 모델 기반 키워드 추출 (End-to-end Neural Model for Keyphrase Extraction using Twitter Hash-tag Data)

  • 이영훈;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.176-178
    • /
    • 2018
  • 트위터는 최대 140자의 단문을 주고받는 소셜 네트워크 서비스이다. 트위터의 해시 태그는 주로 문장의 핵심 단어나 주요 토픽 등을 링크하게 되는데 본 논문에서는 이러한 정보를 이용하여 키워드 추출에 활용한다. 문장을 Character CNN, Bi-LSTM을 통해 문장 표현을 얻어내고 각 Span에서 이러한 문장 표현을 활용하여 Span 표현을 생성한다. Span 표현을 이용하여 각 Span에 대한 Score를 얻고 높은 점수의 Span을 이용하여 키워드를 추출한다.

  • PDF

어휘 사전에 없는 단어를 포함한 문서의 요약문 생성 방법 (Summary Generation of a Document with Out-of-vocabulary Words)

  • 이태석;강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.530-531
    • /
    • 2018
  • 문서 자동 요약은 주요 단어 또는 문장을 추출하거나 문장을 생성하는 방식으로 요약한다. 최근 연구에서는 대량의 문서를 딥러닝하여 요약문 자체를 생성하는 방식으로 발전하고 있다. 추출 요약이나 생성 요약 모두 핵심 단어를 인식하는 것이 매우 중요하다. 학습할 때 각 단어가 문장에서 출현한 패턴으로부터 의미를 인식하고 단어를 선별하여 요약한다. 결국 기계학습에서는 학습 문서에 출현한 어휘만으로 요약을 한다. 따라서 학습 문서에 출현하지 않았던 어휘가 포함된 새로운 문서의 요약에서 기존 모델이 잘 작동하기 어려운 문제가 있다. 본 논문에서는 학습단계에서 출현하지 않은 단어까지도 중요성을 인식하고 요약문을 생성할 수 있는 신경망 모델을 제안하였다.

  • PDF

Adjusting Weights of Single-word and Multi-word Terms for Keyphrase Extraction from Article Text

  • Kang, In-Su
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권8호
    • /
    • pp.47-54
    • /
    • 2021
  • 핵심구 추출은 문서의 내용을 대표하는 주제 용어를 자동 추출하는 작업이다. 비지도 방식 핵심구 추출에서는 문서 텍스트로부터 핵심구 후보 용어가 되는 단어나 구를 추출하고 후보 용어에 부여된 중요도에 기반하여 최종 핵심구들이 선택된다. 본 논문에서는 비지도 방식 핵심구 후보 용어 중요도 계산에서 단어 유형 후보 용어와 구 유형 후보 용어의 중요도를 조정하는 방법을 제안한다. 이를 위해 핵심구 추출 대상 문서 텍스트로부터 후보 용어 집합의 타입-토큰 비율과 고빈도 대표 용어의 정보량을 단어 유형과 구 유형으로 구분하여 수집한 후 중요도 조정에 활용한다. 실험에서는 영어로 작성된 full-text 논문을 대상으로 구축된 4개 서로 다른 핵심구 추출 평가집합들을 사용하여 성능 평가를 수행하였고, 제안된 중요도 조정 방법은 3개 평가집합들에서 베이스 라인 및 비교 방법들보다 높은 성능을 보였다.

단어의 공기 관계 그래프를 이용한 문서의 핵심 문장 추출에 관한 연구 (A Study on Automatic Extraction of Core Sentences from Document using Word Cooccurrence Graph)

  • 류제;한광록;손석원;임기옥
    • 한국정보처리학회논문지
    • /
    • 제7권11호
    • /
    • pp.3427-3437
    • /
    • 2000
  • 본 논문은 문서의 내용을 요약하기 위한 방법으로서 단어의 공기 관계 그래프를 이용한 핵심 문장 추출 방법을 제안한다. 문서에서는 단어의 공기 관계 그래프를 이용하여 개념클러스터를 생성하고 문서내의 저자의 의도에 해당하는 주장을 찾는다. 그리고, 주장과 개념클러스터와의 관계로부터 키워드를 추출한다. 마지막으로 추출된 키워드와 주장을 이용하여 문서의 핵심 문장을 선택한다. 실험 및 평가는 수작업으로 추출한 핵심 문장과 비교를 통하여 이루어 졌으며, 기존의 방법과 비교하여 약 10%정도 향상된 성능을 보였다.

  • PDF

텍스트 네트워크분석을 활용한 국방분야 연구논문 지식구조 분석 (Knowledge Structure Analysis on Defense Research Using Text Network Analysis)

  • 이용규;윤성웅;이상훈
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2018년도 제58차 하계학술대회논문집 26권2호
    • /
    • pp.526-529
    • /
    • 2018
  • 본 연구에서는 텍스트 네트워크분석을 활용하여 국방분야 연구의 핵심 주제어와 연구주제를 분석하고 이를 통해 전체 지식구조를 파악하고자 하였다. 이를 위해 2010년부터 2017년까지의 국방대학교 학위과정 논문을 대상으로 국방분야 연구현황을 진단하고 지식구조를 구성하였다. 8년간 누적된 논문 710건의 초록을 분석하여 총 6,883개의 단어를 추출한 후, 단어의 논문 등장 빈도수와 단어간 링크수를 파레토 법칙에 따라 상위 20%의 기준으로 총 270개의 단어로 추출하였고, 컴포넌트 분석을 통해 최종 170개의 핵심 주제어를 도출하였다. 이 핵심 주제어를 통해 중심성 분석과 응집구조를 분석하여, 국방분야에 대한 총 6개의 지식구조 그룹을 도출하였다.

  • PDF

단어의 공기 관계 그래프를 이용한 문서 요약 시스템의 구현 (Implementation of summarization system for documents by using a word co-occurrence graph)

  • 류제;선복근;박보아;한광록
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.348-350
    • /
    • 2000
  • 본 논문은 문서의 내용을 요약하기 위한 시스템의 구현에 대해서 다룬다. 문서의 내용을 분석하기 위해서는 문서의 키워드를 추출하고, 추출된 키워드를 사용하여 문서의 핵심 내용을 찾는 두 가지의 작업이 이루어져야 한다. 본 논문에서는 키워드를 추출하기 위해 형태소 분석 및 전처리기, 그리고 단어의 공기 관계 그래프를 이용한 키워드 추출기를 이용하였으며, 추출된 키워드를 이용하여 문서의 핵심 문장을 찾아내는 핵심 문장 추출기, 그리고 추출된 문장을 분석하여 내용을 요약할 수 있도록 해주는 구문분석기가 이용된다.

  • PDF

텍스트마이닝기법을 활용한 남녀 학생의 인구문제에 관한 인식 분석: 인구교육의 시사점 도출을 위하여 (A Study on the Recognition of Population Problems of Male and Female Students using Text-mining: To Drive the Implications of Population Education)

  • 왕석순;심준영
    • 한국가정과교육학회지
    • /
    • 제31권3호
    • /
    • pp.73-90
    • /
    • 2019
  • 이 연구는 인구 문제에 대한 남녀 학생들의 인식의 차이를 규명하여 인구교육의 시사점을 도출하기 위한 것을 목적으로 하였다. 이를 위해 J 대학교의 인구교육 강좌인 「인구와 사회」수업을 수강한 학생이 개인별로 최종 제출한 보고서를 분석 자료로 활용하였다. 분석 자료는 텍스트 마이닝 기법을 활용하여 성별에 따라 인구 문제에 대한 인식에 차이가 있는 가를 분석하였다. 우선, 출현 빈도가 높은 단어를 중심으로 성별에 따른 차이를 확인하고, 핵심단어를 추출하여 의미연결망 분석을 하고 시각화를 실시하였다. 분석 결과는 다음과 같다. 첫째, 상위 출현 빈도 단어 100개를 기준으로 살펴본 결과, 10위까지의 단어는 '인구', '교육', '문제', '결혼', '사회', '출산', '심각', '사람', '우리' 등으로 남녀가 동일하였다. 또 출현 빈도, 연관분석에 따라 핵심단어를 추출한 후, 의미 연결망을 시각화한 결과, 출현 빈도를 기준으로 한 경우, 의미 연결망 중앙에 위치하는 단어에 남녀 차이가 없었다. 둘째, 연관분석에 따라 추출된 핵심 단어와 바이그램 단위로 추출한 핵심 단어는 성별에 따라 큰 차이를 보였다. 즉, 여학생의 단어의 의미 연결망에서 '생활'-'결혼'-'출산'-'임신'의 연결망이 독립적으로 나타나서, 인구 문제에 대해 분리된 객관적 연결망을 보이는 남학생과 구별되었다. 따라서 남학생과 여학생은 인구 문제에 대해 다른 인식 구조를 갖는 이질적인 집단으로 봐야 하고, 인구 교육에 있어 내용과 방법을 성별에 따라 다르게 접근해야 할 것이라는 시사점을 도출하였다.

핵심어 추출 기반 음성 다이얼링 시스템 개발 (Development of Voice Dialing System based on Keyword Spotting Technique)

  • 박전규;서상원;한문성
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1996년도 제8회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.153-157
    • /
    • 1996
  • 본 논문은 연속 분포 HMM을 사용한 핵심어 추출기법(Keyword Spotting)과 화자 인식에 기반한 음성 다이얼링 및 부서 안내에 관한 것이다. 개발된 시스템은 상대방의 이름, 직책, 존칭 등에 감탄사나 명령어 등이 혼합된 형태의 자연스런 음성 문장으로부터 다이얼링과 안내에 필요한 핵심어를 자동 추출하고 있다. 핵심 단어의 사용에는 자연성을 고려하여 문법적 제약을 최소한으로 두었으며, 각 단어 모델에 대해서는 음소의 갯수 더하기 $3{\sim}4$개의 상태 수와 3개 정도의 mixture component로써 좌우향 모델을, 묵음모델에 대해서는 2개 상태의 ergodic형 모델을 구성하였다. 인식에 있어서는 프레임 동기 One-Pass 비터비 알고리즘과 beam pruning을 채택하였으며, 인식에 사용된 어휘는 36개의 성명, 8개의 직위 및 존칭, 5개 정도의 호출어, 부탁을 나타내는 동사 및 그 활용이 10개 정도이다. 약 $3{\sim}6$개 정도의 단어로 구성된 문장을 실시간($1{\sim}3$초이내)에 인식하고, 약 98% 정도의 핵심어 인식 성능을 나타내고 있다.

  • PDF

사회적 핵심 이슈 키워드 정보를 활용한 채팅 프로그램 개발 (Development of chatting program using social issue keyword information)

  • 윤경섭;정원혁
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2020년도 제62차 하계학술대회논문집 28권2호
    • /
    • pp.307-310
    • /
    • 2020
  • 본 논문에서 이슈 키워드 추출을 위해 텍스트 마이닝(Text Mining) 기술을 요구한다. 사회적 이슈 키워드를 추출하기 위해 키워드 수집 모델이 되는 사이트에서 크롤링(crawling)을 수행한 뒤, 형태소 단위 의미있는 단어를 수집하기 위해 형태소 분석(morphological analysis)을 수행한다. 한국어 형태소 분석을 위해 파이썬의 코엔엘파이(KoNLPy) 패키지를 활용한다. 형태소 분석을 통해 나뉘어진 단어에서 통계를 내어 이슈 키워드 추출한다. 이슈 키워드를 뒷받침할 연관 단어를 분석하기 위해 단어 임베딩(Word Embedding)을 수행한다. 단어 임베딩 수행을 위해 Word2Vec 모델 중 Skip-Gram 방법론을 적용하여 연관 단어를 분석하도록 개발하였다. 웹 소켓(Web Socket) 통신을 통한 채팅 프로그램의 상단에 분석한 이슈 키워드와 연관 단어를 출력하도록 개발하였다.

  • PDF