• 제목/요약/키워드: 키워드 기반 모델

검색결과 205건 처리시간 0.028초

텍스트 마이닝 기반의 데이터 분석 웹 애플리케이션 (Data Analysis Web Application Based on Text Mining)

  • 길완제;김재웅;박구락;이윤열
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2021년도 제64차 하계학술대회논문집 29권2호
    • /
    • pp.103-104
    • /
    • 2021
  • 본 논문에서는 텍스트 마이닝 기반의 토픽 모델링 웹 애플리케이션 모델을 제안한다. 웹크롤링 기법을 활용하여 키워드를 입력하면 요약된 논문 정보를 파일로 저장할 수 있고 또한 키워드 빈도 분석과 토픽 모델링 등을 통해 연구 동향을 손쉽게 확인해볼 수 있는 웹 애플리케이션을 설계하고 구현하는 것을 목표로 한다. 제안 모델인 웹 애플리케이션을 통해 프로그래밍 언어와 데이터 분석 기법에 대한 지식이 부족하더라도 논문 수집과 저장, 텍스트 분석을 경험해볼 수 있다. 또한, 이러한 웹 시스템 개발은 기존의 html, css, java script와 같은 언어에 의존하지 않고 파이썬 라이브러리를 활용하였기 때문에 파이썬을 기반으로 데이터 분석과 머신러닝 교육을 수행할 경우 프로젝트 기반 수업 교육 과정으로 채택이 가능할 것으로 기대된다.

  • PDF

트위터 해시 태그를 이용한 End-to-end 뉴럴 모델 기반 키워드 추출 (End-to-end Neural Model for Keyphrase Extraction using Twitter Hash-tag Data)

  • 이영훈;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.176-178
    • /
    • 2018
  • 트위터는 최대 140자의 단문을 주고받는 소셜 네트워크 서비스이다. 트위터의 해시 태그는 주로 문장의 핵심 단어나 주요 토픽 등을 링크하게 되는데 본 논문에서는 이러한 정보를 이용하여 키워드 추출에 활용한다. 문장을 Character CNN, Bi-LSTM을 통해 문장 표현을 얻어내고 각 Span에서 이러한 문장 표현을 활용하여 Span 표현을 생성한다. Span 표현을 이용하여 각 Span에 대한 Score를 얻고 높은 점수의 Span을 이용하여 키워드를 추출한다.

  • PDF

모바일 클라우드 환경의 키워드 개념 망을 이용한 정보 검색 시스템 (Information Retrieval System using Keyword-Base Concept Nets in Mobile Cloud)

  • 문석재;윤창표
    • 한국정보통신학회:학술대회논문집
    • /
    • 한국정보통신학회 2013년도 추계학술대회
    • /
    • pp.661-663
    • /
    • 2013
  • 본 논문은 모바일 클라우드에서 급격하게 증가하는 정보 검색을 위한 키워드 기반의 개념 망을 이용한 데이터를 효율적으로 검색 가능하도록 한 모델을 제안한다. 키워드 기반의 개념 망은 온톨로지를 적용한 방식이지만, 사용자가 효율적인 정보 검색을 하도록 지원하기 위해 개념 사이의 연관성을 추가한 것이다. 따라서 본 논문에서는 키워드 중심의 개념 망, 전문가 그룹이 추천한 분야 개념 망 그리고 프로세스 개념 망으로 구성한다. 이러한 3가지 종류의 개념을 이용하여 사용자는 모바일 클라우드 내에서 키워드 기반으로 정보를 검색하고, 검색된 결과에 따라 연관성 있는 정보를 검색할 수 있다.

  • PDF

적합성 피드백을 통해 결정된 가중치를 갖는 시각적 특성에 기반을 둔 이미지 검색 모델 (A Image Retrieval Model Based on Weighted Visual Features Determined by Relevance Feedback)

  • 송지영;김우철;김승우;박상현
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제34권3호
    • /
    • pp.193-205
    • /
    • 2007
  • 디지털 이미지의 양이 증가함에 따라 원하는 이미지를 정확하고 빠르게 찾을 수 있는 방법의 필요성이 증가하고 있다. 이미지 검색 방법으로는 이미지의 색상이나 명암과 같은 시각적 특성을 검색 조건으로 이용하는 내용 기반 검색과 이미지를 설명하는 키워드를 검색 조건으로 이용하는 키워드 기반 검색이 있다. 하지만 이러한 방법만으로는 사용자가 원하는 이미지를 정확하게 찾기 힘들다는 문제점이 제기되어 왔다. 따라서 최근에는 검색 도중 사용자의 응답을 받아 사용자의 요구를 파악함으로써 향상된 검색 결과를 제공하는 적합성 피드백에 대한 연구가 많이 진행되고 있다. 하지만 적합성 피드백을 이용하는 방법들도 원하는 결과를 얻기 위해서는 여러 번의 피드백을 필요로 하고 질의 수행이 완료된 후에는 얻어진 피드백 정보를 재사용하지 못한다는 단점이 있다. 따라서 본 논문에서는 이미지에 키워드를 연결한 후 사용자의 피드백 정보를 반영하여 키워드의 신뢰도를 조절함으로써 키워드 기반 이미지 검색의 정확도를 높일 수 있는 모델을 제안한다. 제안된 모델에서는 사용자로부터 피드백을 받은 이미지뿐만 아니라 긍정적 피드백을 받은 이미지들이 공통적으로 가지는 시각적 특성과 유사한 시각적 특성을 가지는 다른 이미지들까지도 키워드의 신뢰도를 조정함으로써 좀 더 빠른 시간 내에 검색 결과의 정확도를 높이도록 한다. 제안한 방법의 정확성을 검증하기 위한 실험 결과에 따르면, 같은 횟수의 피드백을 받으면서도 재현율과 정확률은 빠른 증가를 보이는 것으로 나타났다.

웹 사용자 누적 사용정보 기반의 키워드 검색 모델 (A Keyword Search Model based on the Collected Information of Web Users)

  • 윤성희
    • 한국전자통신학회논문지
    • /
    • 제7권4호
    • /
    • pp.777-782
    • /
    • 2012
  • 본 논문은 웹 검색 시스템의 사용자 질의에 대한 키워드 색인 기반의 검색 과정에서 적합 문서를 선별하기 위해 검색 키워드의 의미정보와 사용자의 누적 사용정보를 사용하여 검색 성능을 향상시키는 방법을 소개한다. 검색 키워드 의미 정보를 이용하는 검색 방법은 검색 결과로서 의미적으로 무관한 많은 문서들을 배제할 수 있고, 사용자의 누적된 사용정보는 관심사에 중심을 둔 검색문서들을 상위에 제시할 수 있다. 검색 키워드의 의미정보 지식베이스를 구축하고, 검색 문서들을 색인어와 해당 의미범주로 분류하며, 사용자의 정답 문서 참조 행위에 대한 누적 정보를 순위 결정에 반영하여 검색 성능을 향상시킬 수 있다.

키워드 중심 학술정보서비스 개선 연구 - NDSL 추천 및 분류를 중심으로 - (An Improvement study in Keyword-centralized academic information service - Based on Recommendation and Classification in NDSL -)

  • 김선겸;김완종;이태석;배수영
    • 한국도서관정보학회지
    • /
    • 제49권4호
    • /
    • pp.265-294
    • /
    • 2018
  • 최근 정보의 폭발적인 증가로 인해 사용자에게 적합한 정보를 제공하기 위한 정보의 필터링이 매우 중요시 되고 있다. 한국과학기술정보연구원에서 운영하고 있는 학술정보서비스인 NDSL은 방대한 자료를 보유함에도 불구하고 사용자들은 검색 외에 자료 획득이 쉽지가 않다. 본 논문은 사용자에게 적합한 정보를 제공하기 위하여 키워드 특성을 활용한 서비스인 PIN(Profiling service In NDSL)을 제안한다. PIN은 키워드만을 가지고 검색하는 것이 아닌 사용자 본인 및 유사 사용자가 등록한 관심 키워드, 동시이용 키워드, 검색 키워드로 분석된 워드 클라우드를 제공하고 이를 통하여 사용자에게 맞춤형 논문, 보고서, 특허, 동향의 콘텐츠를 추천한다. 또한 콘텐츠를 보다 쉽게 접근하기 위하여 중복분류가 가능한 학술연구분류체계 기반 분류를 제공한다. 이를 검증하기 위해 NDSL의 축적된 2016년도의 국내논문의 데이터를 기반으로 분류별로 키워드를 추출하고 이를 통해 매칭 기반의 분류 모델을 만든 후 트레이닝 및 테스트를 거쳐 결과를 도출한다.

클라우드 환경에서 문서의 유형 분류를 위한 시맨틱 클러스터링 모델 (Semantic Clustering Model for Analytical Classification of Documents in Cloud Environment)

  • 김영수;이병엽
    • 한국콘텐츠학회논문지
    • /
    • 제17권11호
    • /
    • pp.389-397
    • /
    • 2017
  • 최근 시맨틱 웹 문서는 클라우드 기반으로 생성 및 유통되고 문서유형 분류에 따른 쉽고 신속한 정보 검색을 위해 지능형 시맨틱 에이전트를 요구하고 있다. 기존의 웹 문서의 검색은 키워드를 이용하여 해당하는 질의어가 포함된 문서 목록을 결과로 가져오며 사용자의 요구시에 내용을 제시하는 것이 일반적인 형태이다. 이는 웹 문서의 유사도와 시맨틱 관련성을 고려하지 않음으로써 사용자가 내용 검색과 분석에 많은 시간과 노력을 요구한다. 이의 해결을 위해서 빅 데이터 요소 기술인 하둡과 NoSQL을 활용하여 시맨틱 웹 문서에 포함된 키워드 빈도에 기반한 웹 문서의 유형 분류와 유사도를 제시하는 시맨틱 클러스터링 모델을 제안한다. 제안 모델은 실시간 데이터 처리가 요청되는 이종 모델을 가진 공공 데이터와 웹 데이터를 취합하여 일반 사용자가 쉽게 질의할 수 있는 대용량 지식 기반 시스템을 구축하는데 응용 모델로 활용될 수 있다.

이동 평균 기반 동적 시간 와핑 기법을 이용한 시계열 키워드 데이터의 분류 성능 개선 방안 (Enhancing Classification Performance of Temporal Keyword Data by Using Moving Average-based Dynamic Time Warping Method)

  • 정도헌
    • 정보관리학회지
    • /
    • 제36권4호
    • /
    • pp.83-105
    • /
    • 2019
  • 본 연구는 시계열 특성을 갖는 데이터의 패턴 유사도 비교를 통해 유사 추세를 보이는 키워드를 자동 분류하기 위한 효과적인 방법을 제안하는 것을 목표로 한다. 이를 위해 대량의 웹 뉴스 기사를 수집하고 키워드를 추출한 후 120개 구간을 갖는 시계열 데이터를 생성하였다. 제안한 모델의 성능 평가를 위한 테스트 셋을 구축하기 위해, 440개의 주요 키워드를 8종의 추세 유형에 따라 수작업으로 범주를 부여하였다. 본 연구에서는 시계열 분석에 널리 활용되는 동적 시간 와핑(DTW) 기법을 기반으로, 추세의 경향성을 잘 보여주는 이동평균(MA) 기법을 DTW에 추가 적용한 응용 모델인 MA-DTW를 제안하였다, 자동 분류 성능 평가를 위해 k-최근접 이웃(kNN) 알고리즘을 적용한 결과, ED와 DTW가 각각 마이크로 평균 F1 기준 48.2%와 66.6%의 최고 점수를 보인 데 비해, 제안 모델은 최고 74.3%의 식별 성능을 보여주었다. 종합 성능 평가를 통해 측정된 모든 지표에서, 제안 모델이 기존의 ED와 DTW에 비해 우수한 성능을 보임을 확인하였다.

TF-IDF의 변형을 이용한 전자뉴스에서의 키워드 추출 기법 (Keyword Extraction from News Corpus using Modified TF-IDF)

  • 이성직;김한준
    • 한국전자거래학회지
    • /
    • 제14권4호
    • /
    • pp.59-73
    • /
    • 2009
  • 키워드 추출은 정보검색, 문서 분류, 요약, 주제탐지 등의 텍스트 마이닝 분야에서 기반이 되는 기술이다. 대용량 전자문서로부터 추출된 키워드들은 텍스트 마이닝을 위한 중요 속성으로 활용되어 문서 브라우징, 주제탐지, 자동분류, 정보검색 시스템 등의 성능을 높이는데 기여한다. 본 논문에서는 인터넷 포털 사이트에 게재되는 대용량 뉴스문서집합을 대상으로 키워드 추출을 수행하여 분야별 주제를 제시할 수 있는 키워드를 추출하는 새로운 기법을 제안한다. 기본적으로 키워드 추출을 위해 기존 TF-IDF 모델을 고찰, 이것의 6가지 변형식을고안하여 이를 기반으로 각 분야별 후보 키워드를 추출한다. 또한 분야별로 추출된 단어들의 분야간 교차비교분석을 통해 불용어 수준의 의미 없는 단어를 제거함으로써 그 성능을 높인다. 제안 기법의 효용성을 입증하기 위해 한글 뉴스 기사 문서에서 추출한 키워드의 질을 비교하였으며, 또한 주제 변화를 탐지하기 위해 시간에 따른 키워드 집합의 변화를 보인다.

  • PDF

키워드 매칭에 의한 도서 빅데이터의 맵리듀스 모델 적용에 관한 연구 (A Study on Applications of Book Big Data to Map-Reduce Model by Keyword Mapping)

  • 김태진;이재웅;서정우;김미혜;길준민
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2015년도 추계학술발표대회
    • /
    • pp.247-249
    • /
    • 2015
  • 본 논문에서는 하둡 플랫폼의 맵리듀스 모델에 기반하여 도서관 이용자들이 자주 대출하는 도서와 키워드 매칭을 통해 연관성이 높은 도서들을 추출하고 추천해 주는 도서 대출 추천 시스템을 구현 개발한다. 구현 개발된 시스템은 빅데이터의 특징을 갖는 도서관의 대출 로그 데이터로부터 타겟 도서와 유사한 키워드를 갖고 자주 대출되는 도서를 찾아 이용자에게 제공해 준다.