• 제목/요약/키워드: 필터링 기법

검색결과 1,143건 처리시간 0.027초

신경망과 운전자 알고리즘을 이용한 스팸 메일 필터링 기법에 구현과 성능평가 (Implementation and Experimental Results of Neural Network and Genetic Algorithm based Spam Filtering Technique)

  • 김범배;최형기
    • 정보처리학회논문지C
    • /
    • 제13C권2호
    • /
    • pp.259-266
    • /
    • 2006
  • 스팸 메일의 양의 급증함에 따라, 다양한 스팸 메일 필터링 기법이 제시되고 있다. 이런 필터링 기법 가운데, 학습 기반 필터링 기법은 현재 가장 보편화된 필터링 기법 가운데 하나이다. 본고에서는 신경망과, 유전자알고리즘, 카이제곱통계를 이용한 학습 기반 필터링 기법을 제시한다. 제안된 필터링 기법은 기존 필터링 기법의 문제를 해결하고, 스팸 메일 필터링에 높은 정확도를 제공할 수 있다 제안된 필터링 기법은 스팸메일 필터링 정확도와 정상 메일 필터링 정확도에서 각각 95.25%와 95.31%의 높은 정확도를 보인다. 이런 실험 결과는 기존의 규칙 기반 필터링 기법과 베이지안 필터링 기법에 비해 각각 7%, 12% 이상 높은 수치이다.

필터링 기법을 이용한 도서 추천 시스템 구축 (Developing a Book Recommendation System Using Filtering Techniques)

  • 정영미;이용구
    • 정보관리연구
    • /
    • 제33권1호
    • /
    • pp.1-17
    • /
    • 2002
  • 이 연구에서는 최근에 주목받고 있는 협업 필터링 기법을 중심으로 여러 가지 추천 기법을 살펴본 후 대출대상 도서의 추천 시스템을 구축하였다. 연관성 규칙 기반 기법, 협업 필터링 기법, 내용기반 필터링 기법을 응용하여 실제 대학도서관에서 특정 이용자가 대출할 만한 도서를 추천하는 시스템을 구현하고 각 기법의 추천 성능을 평가하였다. 실험 결과 대출대상 도서를 추천하는 데 있어 협업 필터링 기법과 내용기반 필터링 기법을 각각 따로 적용하는 것보다 두 기법을 함께 이용한 혼합형 필터링 추천 기법이 더욱 효과적인 것으로 나타났다.

사용자 프로파일 정보를 고려한 협력 필터링 (A Collaborative Filtering Approach using User Profile)

  • 김병만;이경;박창석;김시관;김주연
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.286-288
    • /
    • 2002
  • 엄청난 속도로 증가하고 있는 정보의 홍수 시대에서는 정보들을 선별하기 위하여 정보 필터링 기법이 필요하다. 정보 필터링은 내용 기반 방법과 협력에 의한 방법으로 분류할 수 있다. 내용 기반 기법에서는 내용에 기반을 두어 정보를 추출하는 반면 협력 기법은 대상이 되는 사용자에 대한 예측을 하기 위하여 다른 사람들의 의견들을 이용하게 된다. 본 논문에서는 기존 협력 필터링 방법의 문제점을 해결하기 위한 방법의 일환으로 내용 기반 기법과 협력 기법을 보다 유기적으로 결합시키는 연구를 수행하였다. 이를 위해 협력 필터링 틀을 그대로 유지하면서 사용자 프로파일을 효과적으로 이용하는 방법을 제안하였다. 또한, 본 논문에서 제시한 기법을 실험적으로 분석하고 기존의 필터링 기법과 비교함으로써 제시된 기법의 우수성을 보였다.

  • PDF

셀 기반 필터링 방법을 이용한 고차원 색인 기법 (A High-dimensional Indexing Scheme using Cell-based Filtering Technique)

  • 장재우;한성근;김현진
    • 한국정보과학회논문지:데이타베이스
    • /
    • 제28권2호
    • /
    • pp.204-216
    • /
    • 2001
  • 최근 이미지 특징 벡터와 같은 고차원 벡터 데이터에 관한 색인 기법들이 많이 연구되고 있다. 하지만, 기존의 색인 기법들은 저차원의 데이터에 대해서는 검색 성능이 우수하지만, 차원이 증가함에 따라 검색 성능이 급격히 저하되는 'dimensional curse' 문제를 안고 있다. 따라서, 본 논문에서는 이러한 문제점을 최소화하기 위해 필터링을 이용한 새로운 색인 기법을 제안한다. 제안하는 셀 기반 필터링 기법은 셀 중심에서 객체까지의 거리값을 저장하여 필터링 효과를 증대시킨다. 또한 고차원 공간을 셀 단위로 분할하며, 각각의 셀을 시그니쳐로 표현한다. 검색을 수행하기 위해, 셀 기반 필터링 기법은 데이터 파일을 직접 접근하기 전에 전체 시그니쳐들을 탐색하여 필터링을 수행함으로써 후보 셀들을 얻는다. 성능 실험을 통해 제안하는 기법이 VA-파일보다 검색 시간에 있어서 약 20%의 성능 향상을 보인다.

  • PDF

Web 상에서 개인화된 상품 추천을 위한 Hybrid 추천 시스템에 관한 연구

  • 손창환;김기수
    • 한국정보시스템학회:학술대회논문집
    • /
    • 한국정보시스템학회 2005년도 춘계학술대회 발표 논문집
    • /
    • pp.393-408
    • /
    • 2005
  • 인터넷의 성장은 고객에게 많은 혜택을 주었지만, 방대한 양의 정보는 오히려 장시간의 상품 탐색과 제품 선택을 어렵게 만들었다. 이에 따라, 정보의 양을 줄여 줄 수 있는 서비스를 고객들은 요구를 하기 시작하였고, 이에 따라 다양한 방법들이 고객에게 제시 되어졌다. 제시되어진 방법 중의 하나가 개인화 추천 시스템이다. 추천 시스템은 고객의 취향과 관심에 적합한 상품을 추천 해 주는 서비스로서 상품 검색 노력을 줄여 주고, 고객의 취향에 적합한 제품을 제시 해 줌으로써 고객충성도 제고에도 많은 도움을 주고 있다. 이러한 추천 시스템에서 가장 많이 사용되어지고 있는 기법은 협업 필터링이다. 협업 필터링은 협업에서도유용한 기법으로 인정을 받았다. 하지만 희박성과 확장성이라는 문제점으로 인해 추천의 정확도가 다소 떨어진다는 것이 단점이다. 본 연구에서는 이러한 단점을 극복할 수 있는 방법으로써 Hybrid 협업 필터링 기법을제시하고, 이를 토대로 추천 기법이 혼합되어진 Hybrid 추천 시스템에 대한 개념을 제시하고자 한다.

  • PDF

라이다 자료의 필터링기법에 관한 연구 (A Study on the Filtering Technique of LiDAR Data)

  • 이정호;한수희;유기윤;변영기
    • 한국측량학회:학술대회논문집
    • /
    • 한국측량학회 2004년도 춘계학술발표회논문집
    • /
    • pp.471-475
    • /
    • 2004
  • LiDAR의 표고점 데이터에서 건물, 수목 등과 같이 주위보다 높은 고도 값을 가지는 대상물을 제거하여 DEM을 생성하기 위한 여러 가지 필터링 기법들이 개발되고 있으며 대표적인 필터링 방법으로는 분산을 이용한 linear prediction 기법, 주변 점들과의 경사관계를 이용한 slope-based 기법, morphology 필터, dual rank 필터 등이 있다. 이러한 기법들은 커널(kernel)의 크기를 대상 지역에 맞도록 사용자가 직접 지정해주어야 하고, 건물의 크기가 다양한 지역에 적용하기 위해서는 가변 크기(variable size)의 커널을 필요로 한다. 본 연구에서는 다양한 크기의 건물이 존재하는 지역에 대하여 커널의 크기를 변화시키지 않고 필터링을 수행하는 새로운 커널 연산 기법을 제안하였다. 또한 기존 필터링 기법에서는 커널에 의해 갱신된 연산값이 다음 연산에 반영되지 않으나 본 연구에서는 갱신된 값이 바로 다음 연산에 반영되도록 하였다. 건물과 수목 등을 제거하기 위하여 주변 화소와의 높이 차를 이용하였으며 대상물이 제거된 부분은 주변 화소를 이용하여 보간하였다.

  • PDF

추천시스템을 위한 내용기반 필터링과 협력필터링의 새로운 결합 기법 (A New Approach Combining Content-based Filtering and Collaborative Filtering for Recommender Systems)

  • 김병만;이경;김시관;임은기;김주연
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제31권3호
    • /
    • pp.332-342
    • /
    • 2004
  • 엄청난 속도로 증가하고 있는 정보의 홍수 시대에서는 정보들을 선별하기 위하여 정보 필터링기법이 필요하다. 정보 필터링은 내용 기반 방법과 협력에 의한 방법으로 분류할 수 있다. 내용 기반 기법에서는 내용에 기반을 두어 정보를 추출하는 반면 협력 기법은 다른 사람들의 의견을 이용하게 된다. 본 논문에서는 기존 협력 필터링 방법의 문제점을 해결하기 위한 방법의 일환으로 내용 기반 기법과 협력 기법을 보다 유기적으로 결합시키는 연구를 수행하였다. 이를 위해 협력 필터링 틀을 그대로 유지하면서 사용자 프로파일을 효과적으로 이용하는 방법을 제안하였다. 또한, 본 논문에서 제시한 기법을 실험적으로 분석하고 기존의 필터링 기법과 비교하였다. 실험 결과, 본 방법이 예측 질 면에서 상당한 성능 향상이 있었고 새로운 사용자에게도 보다 나은 추천을 할 수 있음을 알 수 있었다.

역 인덱스를 사용한 스트리밍 XML 필터링 기법 (Streaming XML Filtering Technique using Inverted Index)

  • 이경한;박석
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2005년도 가을 학술발표논문집 Vol.32 No.2 (2)
    • /
    • pp.4-6
    • /
    • 2005
  • 스트리밍 XML 필터링 기법은 사용자가 등록한 질의를 만족하는 XML 문서를 찾아 사용자에게 XML 문서의 복사본을 돌러주는 것을 목적하고 있다. 본 연구는 Xfiiter와는 차별된 방법으로 역 인덱스를 사용하여 Xfilter처럼 역 인덱스가 XML 필터링 동안 동적으로 변하는 특성을 제거한다. 또한 늦은 질의 삭제 전략을 이용함으로써 질의 삭제 시간을 $50\%$ 이상 줄인다. 따라서 본 기법은 Xfilter에 비해 적은 필터링 시간과 질의 추가/삭제 시간을 보여준다. 또한 역 인덱스를 사용한 기법들의 제한점을 Yfilter와 비교하여 보여 준다.

  • PDF

웹기반 개인화 디자인 서비스를 위한 효과적인 추천 기법의 비교 연구 (Comparison of Recommendation Techniques for Web-based Design Personalization Service)

  • 서종환;변재형;이건표
    • 감성과학
    • /
    • 제9권spc3호
    • /
    • pp.179-185
    • /
    • 2006
  • 본 연구는 다른 분야에서 성공적으로 활용되고 있는 다양한 추천 기법들을 비교하는 사례 연구를 통해 더욱 효과적인 디자인 개인화 서비스 개발의 기회를 모색하고자 하였다. 우선, 문헌연구를 통하여 '컨텐츠 기반 기법', '협력적 필터링 기법', 그리고 '인구통계적 필터링 기법'과 같은 대표적인 추천 기법들의 특징과 장단점을 고찰하였다. 다음으로 이러한 기법들이 디자인과 같은 컨텐츠를 대상으로 적용되었을 때 예상되는 추천 정확성을 분석하기 위해 실험을 실시하였다. 그 결과, 인구통계적 필터링 기법은 나머지 기법에 비해서 비교적 낮은 정확성을 보였으며 컨텐츠 기반 기법이 가장 좋은 높은 추천 정확성을 나타내었다. 아울러 협력적 필터링 기법은 참여자들의 수가 증가할수록 좀 더 높은 추천 정확성을 나타냄을 알 수 있었다. 결론적으로 디자인 추천 서비스는 컨텐츠 기반 기법이나 협력적 필터링 기법의 적용을 통해 그 추천 정확성을 향상시킬 수 있으며 대상 사용자의 수가 일정 수준 이상으로 증가된다면 협력적 필터링 기법이 가장 우수한 효율을 나타낼 가능성이 높음을 제시하였다.

  • PDF

무선 센서 네트워크 모니터링 시스템을 위한 데이터 통계 분석 기반 데이터 필터링 기법 (Data Statical Analysis based Data Filtering Scheme for Monitoring System on Wireless Sensor Network)

  • 이현조;최영호;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제10권3호
    • /
    • pp.53-63
    • /
    • 2010
  • 최근 무선 센서 네트워크를 활용한 다양한 모니터링 시스템 구축이 활발히 이루어지고 있다. 무선 센서네트워크 기반 모니터링 시스템 구축을 위해서, 세 가지 사항을 고려해야 한다. 첫째, 지속적인 모니터링을 위해서, 노드 실패 감지 기법이 요구된다. 둘째, 센서노드는 제한된 배터리 용량을 지니기 때문에, 에너지 소모량 감소를 위한 효율적인 데이터 필터링 기법이 요구된다. 마지막으로 데이터 필터링 수행 시, 계산오버헤드를 감소시키는 기법이 필요하다. 기존 칼만 데이터 필터링 기법은 우수한 필터링 성능을 나타내는 반면, 데이터 예측값 계산과정이 복잡하여 센서 노드에서의 계산 오버헤드가 증가하는 단점이 존재한다. 이러한 문제점들을 해결하기 위하여 본 논문에서는 데이터 통계 분석 기반 데이터 필터링 기법을 제안한다. 제안하는 기법은 첫째, 노드 실패 감지를 지원하기 위해, 주기적으로 노드 생존 메시지를 수집한다. 둘째, 불필요한 전송 메시지 수 감소를 위하여 샘플 데이터를 노드 생존 메시지에 포함하여 전송하고, 수집된 샘플 데이터 집합을 바탕으로 데이터 필터링을 수행한다. 마지막으로, 서버에서 데이터 통계 분석을 이용한 데이터 필터링 범위를 계산하기 때문에, 센서에서는 단순 비교연산만을 수행함으로써 센서 노드에서의 계산 오버헤드를 감소시킨다. 아울러 성능 분석을 통해 제안하는 기법이 기존 칼만 필터링 기법보다 전송 메시지 수 측면에서 성능이 우수함을 보인다.