• 제목/요약/키워드: 키워드 필터링

검색결과 89건 처리시간 0.024초

인지 매핑을 이용한 정보 필터링 시스템 (An Information Filtering System Using Cognitive Mapping)

  • 김진화;이승훈;변현수
    • 지능정보연구
    • /
    • 제12권2호
    • /
    • pp.145-165
    • /
    • 2006
  • 정보 필터링 시스템은 사용자의 요구를 충족시킬 수 있도록 설계되어 있으나 변화가 심한 사용자의 정보 요구를 충족시키기에는 정확도 저하 등의 문제점이 있다. 본 연구에서는 인간의 뇌에서의 정보처리과정을 시뮬레이션하는 인지적 브레인 매핑의 정보 필터링 시스템을 제안한다. 특정 단어나 패턴에 기초하여 필터링하는 기존의 필터링 시스템과 비교할 때 제안하는 필터링 시스템은 키워드와 키워드간의 관계를 이용하여 필터링을 하는 시스템이다. 본 연구는 키워드와 키워드간의 관계를 이용하여 정보를 기록저장하고, 저장된 정보를 지도화하여 필터링에 응용하는 것이다. 키워드를 이용한 필터링 방법과 키워드간의 관계를 이용하여 필터링하는 방법을 통합하여 필터링을 실시하고 필터링 성능에 영향을 미치는 방법을 검증하기 위해 각 방법별로 가중치를 적용하여 최적의 결합가중치를 도출해낸다.

  • PDF

텍스트 정보와 시각 특징 정보를 이용한 효과적인 웹 이미지 캡션 추출 방법 (An Efficient Web Image Caption Extraction Method based on Textual and Visual Information)

  • 황지익;박주현;낭종호
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
    • /
    • pp.346-348
    • /
    • 2006
  • 기존의 웹 이미지 검색 시스템들은 웹 페이지에 포함된 텍스트들의 출현빈도, 태그유형 등을 고려해 각 키워드들의 중요도를 평가하고 이를 이용해 이미지의 캡션을 결정한다. 하지만 텍스트 정보만으로 캡션을 결정할 경우, 키워드와 이미지 사이의 관련성을 평가할 수 없어 부적절한 캡션의 배제가 어렵고, 사람의 인지와 맞지 않는 캡션이 추출되는 문제점이 있다. 본 논문에서는 기존의 웹 이미지 마이닝 방법을 통해 웹 페이지로부터 캡션 후보 키워드를 추출하고, 자동 이미지 주석 방법을 통해 이미지의 개념 부류 키워드를 결정한 후, 두 종류의 키워드를 결할하여 캡션을 선택한다. 가능한 결합 방법으로는 키워드 병합 방법, 공통 키워드 추출 방법, 개념 부류 필터링 방범 캡션 후보 필터링 방법 등이 있다. 실험에 의하면 키워드 병합 방법은 높은 재현율을 가져 이미지에 대한 다양한 주석이 가능하고 공통 키워드 추출 방법과 개넘 부류 키워드 필터링 방법은 정확률이 높아 이미지에 대한 정확한 기술이 가능하다. 특히, 캡션 후보 키워드 필터링 방법은 기존의 방법에 비해 우수한 재현율과 정확률을 가지므로 기존의 방법에 비해 적은 개수의 캡션으로도 이미지를 정확하게 기술할 수 있으며 일반적인 웹 이미지 검색 시스템에 적용할 경우 효과적인 방법이다.

  • PDF

키워드 분석을 이용한 개인화 모바일 웹 뉴스 컨텐츠 생성에 관한 연구 (A Study on Personalized Mobile Web News Contents Creation using Keyword Analysis)

  • 한승현;임영환
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권3호
    • /
    • pp.277-285
    • /
    • 2007
  • 본 연구에서는 웹 뉴스 채널 컨텐츠의 키워드 분석을 이용한 개인화된 모바일 웹 컨텐츠 생성 방법에 대해 제안한다. 기존의 웹 사이트의 뉴스기사 검색에서 제공하는 RSS와 연계된 웹 컨텐츠에서 빠르게 데이터를 획득하고, 키워드 분석을 통한 개인화 기법을 적용하여 컨텐츠를 필터링한다. 제안한 방법을 사용함으로써 수많은 뉴스 채널에서 보다 빠르고 쉽게 모바일용 웹 컨텐츠를 생성할 수 있어 컨텐츠 제작비용을 줄일 수 있다. 또한 키워드 분석을 이용하여 무선 인터넷 사용자들의 보다 세밀한 관심영역에 대응할 수 있으며 컨텐츠 필터링과 컨텐츠 접근에 대한 만족도를 향상시킬 수 있다.

  • PDF

딥러닝을 이용한 비정상 문자 조합으로 구성된 스팸 문자 탐지 기법 (A Technique to Detect Spam SMS with Composed of Abnormal Character Composition Using Deep Learning)

  • 김가현 ;유헌창
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2023년도 추계학술발표대회
    • /
    • pp.583-586
    • /
    • 2023
  • 대량 문자서비스를 통한 스팸 문자가 계속 증가하면서 이로 인해 도박, 불법대출 등의 광고성 스팸 문자에 의한 피해가 지속되고 있다. 이러한 문제점을 해결하기 위해 다양한 방법들이 연구되어 왔지만 기존의 방법들은 주로 사전 정의된 키워드나 자주 나오는 단어의 출현 빈도수를 기반으로 스팸 문자를 검출한다. 이는 광고성 문자들이 시스템에서 자동으로 필터링 되는 것을 회피하기 위해 비정상 문자를 조합하여 스팸 문자의 주요 키워드를 의도적으로 변형해 표현하는 경우에는 탐지가 어렵다는 한계가 있다. 따라서, 본 논문에서는 이러한 문제점을 해결하기 위해 딥러닝 기반 객체 탐지 및 OCR 기술을 활용하여 스팸 문자에 사용된 변형된 문자열을 정상 문자열로 복원하고, 변환된 정상 문자열을 문장 수준 이해를 기반으로 하는 자연어 처리 모델을 이용해 스팸 문자 콘텐츠를 분류하는 방법을 제안한다. 그리고 기존 스팸 필터링 시스템에 가장 많이 사용되는 키워드 기반 필터링, 나이브 베이즈를 적용한 방식과의 비교를 통해 성능 향상이 이루어짐을 확인하였다.

베이지안 네트워크와 멀티 레이어 퍼셉트론을 이용한 모바일 스팸 문자 메시지 필터링 방법 (A Method for Spam SMS Filtering Using Bayesian Network and Multi Layer Perceptron)

  • 홍승범;김문현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.283-286
    • /
    • 2011
  • 스팸 메시지는 불특정 다수에게 보내지는 광고성 메시지로서 최근 들어 그 양이 증가하고 있는 추세이다. 본 논문에서는 모바일 환경에서의 스팸 메시지 필터링을 위한 시스템을 제안하며 기존 환경에서 자주 사용되었던 키워드 기반 필터링 시스템의 단점을 해결하고자 고안되었다. 베이지안 네트워크를 통해 스팸 메시지들의 패턴을 추출하고 추출된 패턴을 멀티 레이어 퍼셉트론을 이용해 학습하여 메시지들을 분류한다. 이 시스템을 통해 약 93.5%의 필터링 정확도률을 얻었으며 키워드 선택 대신 스팸 메시지를 선택해 학습시킴으로서 사용하기 쉽고 사용자에 맞는 시스템을 구성할 수 있었다.

유해어 필터링을 위한 자질어 추출 알고리즘에 관한 연구 (Study of Feature Extraction Algorithm for Harmful word Filtering)

  • 정정훈;이원휘;이신원;안동언;정성종
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2006년도 한국컴퓨터종합학술대회 논문집 Vol.33 No.1 (B)
    • /
    • pp.7-9
    • /
    • 2006
  • 유해 정보란 정보의 홍수 속에서 무차별적으로 제공되는 음란, 폭력 등의 내용을 담고 있는 정보를 말한다. 이러한 유해 정보들로부터 청소년 등 사회적으로 보호를 받아야 할 인터넷 이용자들을 보호하기 위한 장치가 필요하다. 현재 다양한 방법이 제안되고 연구되고 있다. 본 연구에서는 유해 문서의 필터링을 기법 중 키워드 필터링에서 사용되는 유해어 사전을 위한 자질어 추출 알고리즘에 대해서 비교/연구하였다. 키워드 필터링에서 자질어는 필터링의 성능에 많은 영향을 미친다. 따라서 필터링의 성능을 높이기 위한 자질어 추출 알고리즘 선택은 매우 중요하다. 이에 본 논문에서는 다양한 알고리즘을 비교 분석하여 정확하고 효율적인 자질어 추출 알고리즘 조합을 찾고자 하였다. 그 결과 CHI/TF-IDF 조합이 높은 성능을 보였으며 92%의 정확도를 얻을 수 있었다.

  • PDF

트위터를 활용한 실시간 이벤트 탐지에서의 재난 키워드 필터링과 지명 검출 기법 (Keyword Filtering about Disaster and the Method of Detecting Area in Detecting Real-Time Event Using Twitter)

  • 하현수;황병연
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제5권7호
    • /
    • pp.345-350
    • /
    • 2016
  • 본 논문에서는 트위터를 활용하여 이벤트를 실시간으로 탐지하는 시스템에서의 재난 키워드 필터링과 지명 검출 기법을 제안한다. 스마트폰의 보급이 SNS의 빠른 확산을 이끌었고, 최근 SNS를 활용하여 다양한 연구들이 진행되고 있다. SNS 중에서 트위터는 140자의 단문으로 작성되어 빠르게 확산되는 특성을 가지고 있다. 따라서 트윗 사용자들이 작성하는 트윗은 하나의 센서 역할을 수행할 수 있다. 이러한 특성들을 이용하여 발생한 이벤트를 탐지하는 연구가 진행되었다. 그러나 최근 개인 정보 유출 사례가 증가해 자신의 위치 정보를 공개하기 꺼려함에 따라 재난이 발생한 지역을 파악하는데 어려움이 있다. 또한 맞춤법을 따르지 않은 게시글의 내용을 분석하는 과정에서 정확성과 관련된 문제가 발생한다. 따라서 이벤트 발생 탐지 과정에 재난 관련 키워드 필터링과 지명 검출 기법이 추가적으로 적용되어야 한다. 본 논문에서는 재난 관련 키워드 필터링의 적용과 두 가지 지명 검출 기법을 제안한다. 지명을 검출하는 두 가지 기법은 지명 단어에서 발생되는 노이즈를 제거하는 지명 노이즈 제거 기법과 랜드 마크를 이용하여 지명 단어를 확정하는 지명 확정 기법이다. 재난 관련 키워드와 두 지명 검출 기법을 적용한 결과 기존 시스템의 정확도 49%에서 지명노이즈 제거기법은 78%, 지명확정기법은 89%로 향상되었다.

생성된 질의응답 간 일관성을 이용한 자연어 질의 생성 (Natural question generation based on consistency between generated questions and answers)

  • 이재홍;조휘열;인수교;김성주;문기윤;민태홍;김경덕
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.109-114
    • /
    • 2022
  • 질의 생성 모델은 스마트 스피커, 챗봇, QA 시스템, 기계 독해 등 다양한 서비스에 사용되고 있다. 모델을 다양한 서비스에 잘 적용하기 위해서는 사용자들의 실제 질의 특성을 반영한 자연스러운 질의를 만드는 것이 중요하다. 본 논문에서는 사용자 질의 특성을 반영한 간결하고 자연스러운 질의 자동 생성 모델을 소개한다. 제안 모델은 topic 키워드를 통해 모델에게 생성 자유도를 주었으며, 키워드형 질의→자연어 질의→응답으로 연결되는 chain-of-thought 형태의 다중 출력 구조를 통해 인과관계를 고려한 결과를 만들도록 했다. 최종적으로 MRC 필터링과 일관성 필터링을 통해 고품질 질의를 선별했다. 베이스라인 모델과 비교해 제안 모델은 질의의 유효성을 크게 높일 수 있었다.

  • PDF

퍼지추론과 코호넨 신경망을 사용한 유즈넷 뉴스 필터링 (Usenet News Filtering using Fuzzy Inference and Kohonen Network)

  • 김종완;조규철;김병익
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2003년도 춘계학술대회
    • /
    • pp.47-51
    • /
    • 2003
  • 인터넷을 통해 제공되는 맡은 양의 뉴스 정보 중에서 찾고자 하는 정확한 정보를 빠른 시간 안에 검색하고, 원하는 정보만 필터링 하는 것이 필요하다. 먼저, 인터넷에 접속된 뉴스서버들의 뉴스 문서를 각 그룹별로 수집한다. 수집된 뉴스 문서를 대상으로 퍼지추론을 통하여 문서를 대표하는 키워드를 추출하여 데이터베이스에 저장한다. 각 뉴스그룹의 문서에서 단어들을 분석하여 입력된 단어들의 개수를 이용하여 정규화 시켜서 대표적인 비지도학습 신경망인 코호넨 신경망을 사용하여 학습시킨다. 코호넨 신경망으로 추출된 단어들의 연관성을 활용하여 뉴스그룹을 클러스터링한다. 최종적으로 사용자가 관심 있는 키워드를 입력하면, 학습된 신경망이 유사한 뉴스그룹들을 사용자에게 제시해준다.

  • PDF

키워드를 이용한 뉴스 필터링 에이전트 시스템 (News filtering agent system using keyword)

  • 진승훈;이승아;김종완;권영직
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2002년도 춘계학술발표논문집 (상)
    • /
    • pp.581-584
    • /
    • 2002
  • 인터넷의 급성장과 함께 인터넷을 통해 제공되는 서비스 중 사용자들에게 제공되는 뉴스서비스는 사용자가 원하지 않은 뉴스들까지 제공됨으로써 원하는 뉴스만을 골라서 제공받을 수 있는 시스템의 필요성이 증가하고 있다. 본 논문에서는 사용자가 입력하는 키워드를 이용하여 각 뉴스서버에서 제공하는 뉴스 중 사용자의 요구에 적합한 뉴스를 필터링하는 에이전트 시스템을 구현하였다.

  • PDF