• 제목/요약/키워드: 키워드 필터링

검색결과 89건 처리시간 0.032초

온톨로지 기반의 시맨틱 검색 시스템에 대한 연구 (A Study on Ontology-Based Semantic Search System)

  • 허선영;김은경
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2007년도 춘계학술발표대회
    • /
    • pp.463-466
    • /
    • 2007
  • 현재 웹 서비스에서 주로 사용하고 있는 키워드 기반 검색은 사용자의 의도와는 상관없는 정보까지 검색하는 경우가 많아서, 실제로 원하는 정보를 찾는데 많은 시간과 노력을 요구한다는 단점이 있다. 이러한 단점을 보완하기 위해서 최근 시맨틱 웹이라는 개념이 등장하였으며, 본 논문에서는 검색 결과의 신뢰성을 향상시키기 위해 온톨로지를 기반으로 시맨틱 검색시스템을 설계하였다. 본 논문에서 설계한 온톨로지 기반의 시맨틱 검색 시스템은 기능적으로 크게 두 부분으로 구성되어 있다. 즉, 자료 수집을 하는 로봇 에이전트와 온톨로지를 기반으로 자료를 검색하는 시맨틱 검색 엔진으로 구성된다. 로봇 에이전트는 자율적으로 웹을 순회하면서 자료를 수집하고 필터링하여 메타데이터 저장소로 가져오는 역할을 한다. 시맨틱 검색 엔진은 사용자의 검색 폼으로부터 전달된 정보 검색 요구사항을 기초로 시맨틱 질의어로 변환한 후, 온톨로지 저장소를 활용하여 검색한다. 시맨틱 검색 엔진은 사용자가 입력한 검색어를 시맨틱 질의어로 변환해 주는 질의처리 모듈과 사용자의 의도를 추론하여 보다 향상된 검색을 가능하게 해주는 추론(Inference) 모듈, 온톨로지를 보관해주는 온톨로지 저장소 등으로 구성된다. 본 논문에서 설계한 온톨로지 기반의 시맨틱 검색 시스템은 키워드 기반 검색에 비해 사용자가 원하는 정보를 찾는데 소요되는 시간과 노력을 줄여 주고, 사용자의 의도에 적합한 정보를 제공할 것으로 기대된다.

스팸메일 필터링을 위한 한글 변칙어 인식 방법 (Recognition Method of Korean Abnormal Language for Spam Mail Filtering)

  • 안희국;한욱표;신승호;양동일;노희영
    • 한국항행학회논문지
    • /
    • 제15권2호
    • /
    • pp.287-297
    • /
    • 2011
  • 전자메일은 사용의 편리성과 정보전달의 신속성 때문에 널리 사용되고 있지만, 광고목적이나 악의성을 갖는 스팸메일의 양도 증가하여 사회적 경제적으로 큰 문제를 야기한다. 스팸메일을 필터링하기 위한 방법은 수용 전 단계와 수용 후 단계로 나누어서 접근할 수 있는데, 수용 후 접근의 경우는 메시지로부터 단어나 문장 단위로 자질을 추출하고 그로부터 학습이나 매칭방법을 통하여 필터링을 하는 과정을 포함한다. 하지만, 필터링을 우회하기위해 스패머는 계속적으로 단어를 변형시켜 메일을 발송시키고 있다. 특히 한국어의 경우는 특성상 한 음절을 이루는 음소의 변화로부터 변형이 가능하기 때문에 그 변칙적 사용이 더 다양하다고 할 수 있다. 따라서, 기존의 정규식이나 학습알고리즘은 대처에 한계를 갖게 된다. 이에 본 논문에서는 한글의 변칙어를 인식할 수 있는 방법을 제안함으로서 스팸메일분류 시스템의 성능을 향상시키고자 한다. 이를 위해, 자소접근방법을 사용하고, Smith-Waterman알고리즘을 적용하였다. 메일서버로부터 추출한 필터키워드와 메일로부터 제안한 방법을 실험한 결과 유사도 수준에 따라 한글 변칙어들을 정확히 인지해 낼 수 있었다. 실험을 통해 소요 공간 및 시간은 허용될 수 있는 수준임을 확인하였다.

추천시스템관련 학술논문 분석 및 분류 (A Literature Review and Classification of Recommender Systems on Academic Journals)

  • 박득희;김혜경;최일영;김재경
    • 지능정보연구
    • /
    • 제17권1호
    • /
    • pp.139-152
    • /
    • 2011
  • 1990년대 중반에 협업 필터링의 출현으로 인하여 추천시스템에 관련된 연구가 늘어나게 되었다. 협업 필터링의 출현 이후 내용 기반 필터링, 협업 필터링과 내용 기반 필터링이 혼합된 하이브리드 필터링 등 새로운 기법들이 출현함으로써 2000년대에는 추천시스템의 연구가 눈에 띄게 증가하였다. 하지만 현재까지 추천시스템에 관련된 문헌들에 대한 리뷰와 분류가 체계적으로 되어있지 않다. 이와 같은 문제에 대한 해결방안으로써, 본 연구에서는 2001년부터 2010년도까지의 추천시스템에 관련된 문헌들 중 MIS Journal Ranking의 125개의 저널에서 추천시스템(Recommender system, Recommendation system), 협업 필터링(Collaborative Filtering), 내용 기반 필터링(Content based Filtering), 개인화 시스템(Personalized system) 등의 5가지 키워드로 제한하여 조사하였다. 총 37개의 저널에서 논문을 검색하였으며, 검색되어진 논문을 분석한 결과 추천시스템과 관련이 없는 논문을 제외한 총 187개의 논문을 선정하여 분석하였다. 이 연구에서는 그러나 컨퍼런스 논문, 석사, 박사학위 논문, 영어로 작성되지 않은 논문, 완성되지 않은 논문 등은 제외하였다. 본 연구에서는 187개의 논문을 분석하여 2001년부터 2010년까지의 각각의 년도 별 추천시스템의 연구에 대한 동향 분석, Journal별 추천시스템의 게재 분류, 추천시스템 어플리케이션의 사용 분야(책, 문서, 이미지, 영화, 음악, 쇼핑, TV 프로그램, 기타)별 분류 및 분석, 추천시스템에 사용된 데이터마이닝 기술(연관 규칙, 군집화, 의사 결정나무, 최근접 이웃 기법, 링크 분석 기법, 신경망, 회귀분석, 휴리스틱 기법)별 분류 및 분석을 수행하였다. 따라서 본 연구에서 제안한 각각의 분류 및 분석 결과들을 통하여 현재까지 추천시스템의 연구에 대한 연구 동향을 파악 할 수 있었으며, 분석결과를 통해 추천시스템에 관심이 있는 연구자와 전문가에게 미래의 추천시스템의 연구에 대한 가이드라인을 제시 할 수 있을 것이라고 기대한다.

Efficient Keyword Extraction from Social Big Data Based on Cohesion Scoring

  • Kim, Hyeon Gyu
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권10호
    • /
    • pp.87-94
    • /
    • 2020
  • 블로그나 SNS 피드 등의 소셜 리뷰는 고객 관점의 의견이나 불만 사항을 반영한 키워드를 추출하기 위한 목적으로 광범위하게 활용되고 있으며, 최근 트렌드를 반영한 신조어나 고유명사를 포함하는 경우가 많다. 이들 단어는 사전에 포함되어 있지 않아 기존 형태소 분석기가 잘 인지하지 못하는 경우가 많으며, 동시에 상당한 처리 시간이 소요되어 키워드 분석 결과를 실시간으로 제공하는데 어려움이 있다. 본 논문에서는 응집도 점수 개념을 기반으로 소셜 리뷰로부터 키워드를 효율적으로 추출하기 위한 방법을 제안한다. 응집도 점수는 단어의 빈도수를 기반으로 계산되어 별도의 사전이 필요없다는 장점이 있으나, 띄어쓰기가 되지 않은 입력 데이터에 대해서는 정확도가 떨어질 수 있다. 이와 관련하여 본 논문에서는 단어 트리 구조를 이용하여 기존의 응집도 점수 계산 방법을 개선한 알고리즘을 제시한다. 또한 실험을 통해 제안하는 방법이 15.5%의 오류율을 보이는 동시에, 1,000개의 리뷰를 처리하는데 0.008초 정도 소요됨을 확인하였다.

메타데이터 기반 시맨틱 검색 (Semantic Search based on Metadata)

  • 최정화;박영택
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.694-696
    • /
    • 2005
  • 본 논문은 `시맨틱 검색`을 위해서 시맨틱 웹 기술을 사용하여 사용자가 원하는 콘텐츠 제공을 위한 시맨틱 검색 방법을 제안한다. 본 연구는 현재 웹의 단점인 사람 위주의 웹 구성, 단순 텍스트 매칭 기반의 검색, 사람의 필터링이 필요한 대량의 결과, 특정 지식 검색이 불가능한 구조의 웹을 시맨틱 검색이 가능하도록 하기 위해서 다음과 같은 단계로 연구한다. 첫째, 도메인에 따른 정확한 정보의 제공을 위해서 OWL 온톨로지를 이용하여 컨텍스트 모델링한다. 둘째, 도메인 관련 웹 문서를 수집하고 도메인 온톨로지를 기반으로 키워드의 의미를 분석하고 주석 처리(annotation)한다. 셋째, 사용자의 자연어 질의에 의미있는 컨텍스트를 추가하여 질의를 확장한다. 넷째, 확장된 질의를 규칙기반 추론엔진을 이용하여 결과를 추론한다. 마지막으로, 사용자 프로파일 분석을 이용하여 선호하는 문서를 우선으로 추천하는 방법을 연구한다. 따라서 본 연구는 질의어에 해당하는 결과문서가 존재하지 않더라도 사용자가 선호하는 문서의 추론이 가능하고, 특정 도메인의 전문가 지식을 추가한 메타 데이터 추론을 통해서 검색 패러다임을 변화시킨다.

  • PDF

지능형 에이전트를 이용한 유.무선 뉴스 검색 시스템 (Wire and Wireless News Retrieval System using Intelligent Agent)

  • 한선미;우진운
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 가을 학술발표논문집 Vol.28 No.2 (3)
    • /
    • pp.628-630
    • /
    • 2001
  • 오늘날 인터넷이 보편화되면서 정보 검색 및 뉴스 검색들이 일반화되고 있지만 엄청난 정보의 양과 다양성 등으로 인해 사용자들은 오히려 정보 검색의 어려움을 호소하고 있다 이에 본 논문에서는 사용자 편의의 뉴스 검색과 사용자의 요구와 취향이 반영될 수 있도록 BPN(Back Propagation Neural Network)의 학습 기능을 가진 지능형 에이전트를 이용하여 뉴스 기사를 필터링하는 뉴스 검색 시스템을 제안한다. 이 시스템은 여러 신문사의 기사를 수집 및 통합하여 그 날의 주요 기사들을 데이터베이스에 저장하는 수집 에이전트, 사용자가 입력만 키워드를 이용하여 BPN 기법으로 학습시키는 훈련 에이전트 등으로 구성되어 있다. 또한 정보 통신 기술의 눈부신 발달로 투선 인터넷이 급속히 보급되는 현실을 감안하여 무선으로도 이러한 서비스를 제공할 수 있도록 시스템을 구성하였다.

  • PDF

유즈넷 뉴스 그룹 결정 방법을 활용한 성능평가 (Performance Analysis by utilizing a Determination Method of Usenet News Groups)

  • 김종완;김희재;김병익
    • 한국산업정보학회:학술대회논문집
    • /
    • 한국산업정보학회 2004년도 춘계학술대회 21세기 IT산업의 발전 전망
    • /
    • pp.67-72
    • /
    • 2004
  • 않은 양의 유즈넷 뉴스 중에서 사용자가 찾고자 하는 정확한 정보를 빠른 시간 안에 검색하고, 원하는 정보만 필터링 하는 것은 중요하다. 그러나 뉴스 문서는 이메일과 달라서 미리 자신에게 맞는 뉴스그룹을 등록해 주어야만 정보를 얻을 수 있다. 본 연구에서는 다양한 뉴스그룹들 중에서 사용자의 취향과 유사한 뉴스그룹들을 코호넨 신경망을 이용하여 추천해주는 방법을 제시한다. 신경망을 학습시키기 위한 뉴스 문서의 키워드들을 선택하기 위해 예제 문서들로부터 후보 용어들을 추출하고 퍼지 추론을 적용하여 대표 용어들을 선택한다. 하지만 신경망의 학습 패턴을 관찰해 보면, 많은 부분이 비어있는 희소성 문제를 발견할 수 있다. 이에 본 연구에서는 통계적인 결정계수를 도입하여 불필요한 차원을 제거한 후 신경망을 학습시키는 새로운 방법을 제안한다. 제안된 방법은 모든 차원을 활용할 때 보다 클러스터내 거리와 클러스터간 거리의 척도를 이용한 클러스터 중첩도 면에서 우수한 분류 성능을 보여줌을 확인하였다.

  • PDF

이메일 방식을 사용한 멀티미디어 웹 설문지 관리 시스템 (E-mail Based Data Mining Agent for Multimedia Questionnaire Classification)

  • 윤영미;곽미라;조동섭
    • 대한전기학회:학술대회논문집
    • /
    • 대한전기학회 2002년도 하계학술대회 논문집 D
    • /
    • pp.2831-2833
    • /
    • 2002
  • 최근 인터넷의 대중화와 함께 설문조사 기법이 발전하면서 '사이버 설문조사'의 활용범위가 넓어지고 있다. 웹을 중심으로 진행되는 사이버 설문조사는 적은 비용으로 단시간내 여론을 알 수 있는 장점이 있지만, 서버와 네트워크에 과다한 트래픽을 유발한다. 본 논문은 이러한 단점을 보완하기 위해 이메일 방식을 사용한 멀티미디어 웹 설문지 관리 시스템을 설계 및 구현하였다. 본 시스템은 POP3로 수신된 설문메일을 가져와 처리함으로써 기존의 인터텟상에서 이루어지는 설문조사와는 달리 웹 데이터베이스를 사용하지 않는다. 따라서, 서버의 트래픽을 줄이고, 수신된 설문메일의 설문형태에 따른 키워드로 답변을 필터링하여 잘못된 응답메일은 자동으로 발신하고 제대로 수신된 메일은 문항별로 응답을 데이터베이스에 저장한다. 또한, 기존의 단순한 설문형태를 벗어나 동영상과 사운드를 이용한 멀티미디어 설문메일을 통해 다양한 설문조사가 가능하며 이메일을 이용함으로써 사용자가 직접 설문사이트에 전속하지 않아도 되는 편리함을 제공한다.

  • PDF

장면전환검출과 사용자 프로파일을 이용한 비디오 학습 평가 시스템 (Video Evaluation System Using Scene Change Detection and User Profile)

  • 신성윤;이양원
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2004년도 추계학술발표논문집(상)
    • /
    • pp.633-636
    • /
    • 2004
  • 본 논문에서는 사용자 프로파일을 기반으로 한 정보 필터링을 사용하여 학생 개인의 특성에 맞는 효율적인 원격 비디오 학습 평가 시스템을 제안한다. 비디오를 이용한 문제 출제를 위하여 위치, 크기, 그리고 컬러 정보를 기반으로 키 프레임을 추출하고 그레이 레벨 히스토그램 차이와 시간 윈도우를 이용하여 문제 출제 구간을 추출한다. 또한 효율적인 평가를 위하여 카테고리 기반 시스템과 키워드 기반 시스템을 합성하여 문제를 출제하도록 한다. 따라서 학생들은 부족한 영역을 보충하고 관심 있는 영역을 유지하면서 학업 성취도를 향상시킬 수 있다.

  • PDF

의미있는 정보 검색을 위한 개인화된 다중 전략 학습 모듈의 설계 및 구현 (Design and Implementation of PMSL for Information Retrieval)

  • 유수경;김교정
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 봄 학술발표논문집 Vol.31 No.1 (B)
    • /
    • pp.208-210
    • /
    • 2004
  • 오늘날 인터넷상에서 존재하는 않은 정보들은 다양한 사용자의 개인 특성에 안게 새로운 정보의 지식으로 제공되어지기를 원한다. 기존의 연구는 단일 학술 기법을 통해 정보를 추출했으나 사용자에게 보다 의미 있는 정보를 제공하기 위해 다중 전략 학습 기법인 PMSL(Personalized Multi-Strategy Learning) 모듈 시스템을 제안하고자 한다. PMSL 모듈은 인터넷의 정보를 여과하여 필터링하고, 사용자 개인화의 키워드를 중심으로 연관된 객체를 추출한다. 이때 연관된 객체 추출시 대용량 데이터에서 시간적, 공간적면에서 효율적인 연관 탐색 기법인 Fp-Tree와 Fp-Growth 알고리즘을 적용시킴으로 결과의 효율성을 높이고자 하였으며, 연관규칙의 문제점을 보완하기 위해 가중치 기법인 TF*IDF 학습 기법을 적용시켰다. PMSL 모듈을 실행한 결과 기존 학습 기법에 비해 보다 더 의미 있는 연관 지식을 추출하게 되었다.

  • PDF