• 제목/요약/키워드: 자동 키워드 추출

검색결과 108건 처리시간 0.023초

뉴스 기사 키워드 추출을 위한 구묶음 주석 말뭉치 구축 (Chunking Annotation Corpus Construction for Keyword Extraction in News Domain)

  • 김태영;김정아;김보희;오효정
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.595-597
    • /
    • 2020
  • 빅데이터 시대에서 대용량 문서의 의미를 자동으로 파악하기 위해서는 문서 내에서 주제 및 내용을 포괄하는 핵심 단어가 키워드 단위로 추출되어야 한다. 문서에서 키워드가 될 수 있는 단위는 복합명사를 포함한 단어가 될 수도, 그 이상의 묶음이 될 수도 있다. 한국어는 언어적 특성상 구묶음 개념이 적용되는 데, 이를 통해 주요 키워드가 될 수 있는 말덩이 추출이 가능하다. 따라서 본 연구에서는 문서에서 단어뿐만 아니라 다양한 단위의 키워드 묶음을 태깅하는 가이드라인 정의를 비롯해 태깅도구를 활용한 코퍼스 구축 방법론을 고도화하고, 그 방법론을 실제로 뉴스 도메인에 적용하여 주석 말뭉치를 구축함으로써 검증하였다. 본 연구의 결과물은 텍스트 문서의 내용을 파악하고 분석이 필요한 모든 텍스트마이닝 관련 기술의 기초 작업으로 활용 가능하다.

  • PDF

온톨로지를 이용한 뉴스 비디오의 자동 분류 기법 (Full-automatic Classification Technique of News Video using Domain Ontologies)

  • 김하은;이동호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.193-195
    • /
    • 2005
  • 본 논문은 온톨로지를 이용하여 뉴스 비디오를 분야별로 자동으로 분류하는 효율적인 기법을 제안한다. 이를 위해서 뉴스 비디오를 파싱하여 키프레임(Key frame), 샷(Shot), 씬(Scene)으로 나누고 키프레임과 샷에서 특징 정보를 추출한다. 추출된 특징 정보를 이용하여 샷의 키워드 집합을 만들고 이를 이용하여 씬의 키워드 집합을 만든다. 그리고 씬의 키워드 집합을 어휘 온톨로지와 뉴스 온톨로지에 매칭(추론)하여, 씬의 분야를 결정한다. 또한 이렇게 결정된 분야를 기반으로 서로 유사한 씬들을 자동으로 그룹화하는 방법을 제안한다.

  • PDF

미디어 리뷰를 이용한 영화 배경 키워드 자동 추출 기법 (Automatic Background Keyword of Movie Extraction Method from Media Reviews)

  • 김형우;조준면;유정주
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2013년도 추계학술발표대회
    • /
    • pp.1149-1151
    • /
    • 2013
  • 본 연구는 영화 콘텐츠의 배경(공간적/시간적)에 해당하는 키워드를 자동으로 추출하는 기법을 제안한다. 제안된 기법은 영화 콘텐츠들의 리뷰 텍스트 데이터를 웹 상으로부터 수집하는 과정, 수집된 텍스트 리뷰 데이터의 전처리 과정에 해당하는 형태소 분석 및 개체명인식 과정, 마지막으로 통계적 기법을 이용하여 최종적으로 배경에 해당하는 단어를 선택하는 과정으로 이루어진다. 자동으로 추출된 배경 정보는 사용자 평가를 통하여 정확도를 측정하였으며, 자동 생성된 배경 정보를 이용하여 영화 콘텐츠의 검색 및 추천 등에 다양하게 사용될 수 있을 것으로 예상된다.

한국어 정보처리를 위한 명사 및 키워드 추출 (Noun and Keyword Extraction for Information Processing of Korean)

  • 신성윤;이양원
    • 한국컴퓨터정보학회논문지
    • /
    • 제14권3호
    • /
    • pp.51-56
    • /
    • 2009
  • 언어에서 명사 및 키워드 추출은 정보처리에서 매우 필수적인 요소이다. 하지만, 한국어 정보처리에서 명사 추출과 키워드 추출은 아직도 많은 문제점을 안고 있다. 본 논문에서는 명사의 등장 특성을 고려한 효율적인 명사 추출 방법에 대해서 제시하였다. 제시한 방법은 대량의 문서를 빠르게 처리해야 하는 정보 검색과 같은 분야에서 유용하게 쓰일 수 있다. 또한 대량의 문제를 자동으로 분류하기 위하여 비감독 학습 기법에 의해 카테고리별 키워드를 구성하기 위한 방법을 제안하였다. 제안된 방법은 감독 학습 기법의 키워드 추출기법 중에서 우수하다고 알려진 X2기법과 DF 기법보다 우수한 분류 성능을 보였다.

LDA 모델을 이용한 잠재 키워드 추출 (Latent Keyphrase Extraction Using LDA Model)

  • 조태민;이지형
    • 한국지능시스템학회논문지
    • /
    • 제25권2호
    • /
    • pp.180-185
    • /
    • 2015
  • 인터넷 미디어의 발달과 함께 온라인 문서의 양이 급격하게 증가함에 따라, 문서 요약과 정보 검색 등 다양한 분야에 활용가능한 키워드를 자동으로 찾고자하는 연구가 활발히 진행되고 있다. 하지만 기존의 키워드 추출 연구들은 문서에서 나타나는 키워드만을 대상으로 하고 있어, 문서에서 등장하지 않는 잠재 키워드를 추출하지 못하는 한계를 갖고 있다. 잠재 키워드는 실데이터 키워드의 1/4 이상을 차지하고 있으며, 문서에서 나타나지는 않지만 문서의 중요한 개념이나 내용을 함축하고 있어 문서 요약 및 정보 검색에 중요한 역할을 차지할 수 있다. 특히 SNS와 같이 내용이 적어 키워드가 명시적으로 나타나기 어려운 문서에서 유용하게 활용될 수 있다. 본 논문에서는 잠재 키워드를 추출하기 위해 주어진 문서와 유사한 문서의 키워드를 후보 키워드로 선택하고 후보 키워드를 구성하는 개별 단어들을 이용해 후보 키워드의 중요도를 평가하는 방법을 제안한다. 실험을 통해, 제안 기법이 잠재 키워드를 합리적인 수준으로 추출할 수 있음을 보였다.

언어학적 분석기법에 의한 신문기사 자동색인시스팀 설계에 관한 연구 (A Study of automatic indexing based on the linguistic analysis for newspaper articles)

  • 서경주;사공철
    • 정보관리학회지
    • /
    • 제8권1호
    • /
    • pp.78-99
    • /
    • 1991
  • 본 연구는 전자신문인 한경 KETEL의 기사 전문을 대상으로 키워드를 자동 추출하는 자동색인 시스팀을 구축한 것으로서 한글의 형태적 특성을 이용한 언어학적 분석기법을 적용해서 키워드 화일을 생성하는 법을 제시하였으며, 불용어리스트 조사표 용언인식표의 작성법을 상세히 기술했다. 본 연구에서 얻어진 결론은 다음과 같다. 첫째, 형태소 분석을 통한 자동색인 기법으로 만족할 만한 키워드를 추출할 수 있었다. 둘째, 아직까지는 컴퓨터에 의한 한글의 구문분석과 의미분석이 완전하지 못하므로 자동색인으로 추출된 색인어를 색인자가 조절함으로써 색인의 성능을 향상시킬 수 있었다. 셋째, 이 시스팀에서 만들어진 약 20,000어 정도의 키워드 화일은 향후 디소러스 작성에 기본 자료로 사용할 수 있다. 넷째, 본 시스팀에서는 역순사전을 활용해 조사표와 용언인식표 작성법을 제시하였는데, 이는 여러 자동색인 시스팀 설계에 적용될 수 있을 것이다.

  • PDF

자동 키워드 제작기 시스템 설계 (A Design of the Automatic Keyword Maker)

  • 이창열;강현규;장호욱;박세영
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1993년도 제5회 한글 및 한국어정보처리 학술대회
    • /
    • pp.71-77
    • /
    • 1993
  • 본 논문에서는 대규모 텍스트 데이타 베이스를 구축하거나 전자 도서를 구축할 때 중요한 정보에 관한 파일 구축과 정보 검색시 필요한 자동 키워드 제작기의 설계에 대하여 논하였다. 자동 키워드 제작기는 명사 사전과 조사 사전의 도움을 받아서 명사 및 복합 명사를 추출하고 중요한 키워드를 자동으로 색인하는 과정을 설계하였으며 이들 검색에 필요한 속도 및 정확도 향상에 중점을 두었다.

  • PDF

TF-IDF의 변형을 이용한 전자뉴스에서의 키워드 추출 기법 (Keyword Extraction from News Corpus using Modified TF-IDF)

  • 이성직;김한준
    • 한국전자거래학회지
    • /
    • 제14권4호
    • /
    • pp.59-73
    • /
    • 2009
  • 키워드 추출은 정보검색, 문서 분류, 요약, 주제탐지 등의 텍스트 마이닝 분야에서 기반이 되는 기술이다. 대용량 전자문서로부터 추출된 키워드들은 텍스트 마이닝을 위한 중요 속성으로 활용되어 문서 브라우징, 주제탐지, 자동분류, 정보검색 시스템 등의 성능을 높이는데 기여한다. 본 논문에서는 인터넷 포털 사이트에 게재되는 대용량 뉴스문서집합을 대상으로 키워드 추출을 수행하여 분야별 주제를 제시할 수 있는 키워드를 추출하는 새로운 기법을 제안한다. 기본적으로 키워드 추출을 위해 기존 TF-IDF 모델을 고찰, 이것의 6가지 변형식을고안하여 이를 기반으로 각 분야별 후보 키워드를 추출한다. 또한 분야별로 추출된 단어들의 분야간 교차비교분석을 통해 불용어 수준의 의미 없는 단어를 제거함으로써 그 성능을 높인다. 제안 기법의 효용성을 입증하기 위해 한글 뉴스 기사 문서에서 추출한 키워드의 질을 비교하였으며, 또한 주제 변화를 탐지하기 위해 시간에 따른 키워드 집합의 변화를 보인다.

  • PDF

키워드 추출 기법에 관한 연구 (A Study for Keyword Extraction Method)

  • 신성윤;정경택;표성배;이양원
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2008년도 제39차 동계학술발표논문집 16권2호
    • /
    • pp.463-466
    • /
    • 2009
  • 본 논문에서는 대량의 문제를 자동으로 분류하기 위하여 비감독 학습 기법에 의해 카테고리별 키워드를 구성하기 위한 방법을 제안하였다. 제안된 방법에서는 사전에 문제를 분류하지 않고 키워드를 추출하기 위하여 데이터마이닝 기법 중의 하나인 연관 규칙 탐사 알고리즘을 이용하였다. 먼저, 각 카테고리를 대표하는 핵심 키워드를 선정하고, 연관 규칙 탐사 알고리즘을 적용하여 각 핵심 키워드와 관련된 용어 집합을 추출한다.

  • PDF

단어 동시출현관계로 구축한 계층적 그래프 모델을 활용한 자동 키워드 추출 방법 (Automatic Keyword Extraction using Hierarchical Graph Model Based on Word Co-occurrences)

  • 송광호;김유성
    • 정보과학회 논문지
    • /
    • 제44권5호
    • /
    • pp.522-536
    • /
    • 2017
  • 키워드 추출은 주어진 문서로부터 문서의 주제나 내용에 관련된 단어들을 추출해내는 방법으로 대량의 문서를 다루는 텍스트마이닝 연구들이 전처리에서 공통적으로 거치는 대표 자질 추출에서 중요하게 활용될 수 있다. 본 논문에서는 하나의 문서의 주제에 적합한 키워드를 추출하기 위해 문서에 출현한 단어들 사이의 동시출현관계, 동시출현 단어 쌍 사이의 출현 종속 관계, 단어들 사이의 공통 부분단어 관계 등의 다양한 관계들을 특징으로 활용하여 구축한 계층적 그래프 모델을 제안하고, 그래프를 구성하는 정점(Vertex)들의 중요도를 평가할 때 입력 간선(Edge)에 의한 영향뿐만 아니라 출력 간선에 의한 영향도 고려한 새로운 중요도 산출 방법을 제안하며, 이를 토대로 점진적으로 키워드를 추출해내는 방안을 제안한다. 그리고 제안한 방법의 정확성과 주제적 포괄성 검증을 위해 다양한 분야의 주제를 가진 문서 데이터에 다양한 평가방법을 적용해 기존의 방법보다 전체적으로 더 나은 성능을 보임을 확인하였다.