• Title/Summary/Keyword: 필터링 기법

Search Result 1,143, Processing Time 0.026 seconds

Implementation and Experimental Results of Neural Network and Genetic Algorithm based Spam Filtering Technique (신경망과 운전자 알고리즘을 이용한 스팸 메일 필터링 기법에 구현과 성능평가)

  • Kim Bum-Bae;Choi Hyoung-Kee
    • The KIPS Transactions:PartC
    • /
    • v.13C no.2 s.105
    • /
    • pp.259-266
    • /
    • 2006
  • As the volume of spam has increased to extreme levels, many anti-spam filtering techniques have been proposed. Among these techniques, the machine-Loaming filtering technique is one of the most popular filtering techniques. In this paper, we propose a machine-learning spam filtering technique based on the neural network, the genetic algorithm and the $X^2$-statistic. This proposed filtering technique is designed to overcome the problems in existing filtering techniques, and to achieve high spam filtering accuracy. It is able to classify spam and legitimate emil with 95.25 percent and 95.31 percent accuracy. This accuracy of the sum filtering is 7.75 percent and the 12.44 percent higher than rule-based filtering and the Bayesian filtering technique, respectively.

Developing a Book Recommendation System Using Filtering Techniques (필터링 기법을 이용한 도서 추천 시스템 구축)

  • Chung, Young-Mee;Lee, Yong-Gu
    • Journal of Information Management
    • /
    • v.33 no.1
    • /
    • pp.1-17
    • /
    • 2002
  • This study examined several recommendation techniques to construct an effective book recommender system in a library. Experiments revealed that a hybrid recommendation technique is more effective than either collaborative filtering or content-based filtering technique in recommending books to be borrowed in an academic library setting. The recommendation technique based on association rule turned out the lowest in performance.

A Collaborative Filtering Approach using User Profile (사용자 프로파일 정보를 고려한 협력 필터링)

  • Kim, Byung-Man;Lee, Kyung;Park, Chang-Seok;Kim, Si-Kwan;Kim, Ju-Yeon
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.286-288
    • /
    • 2002
  • 엄청난 속도로 증가하고 있는 정보의 홍수 시대에서는 정보들을 선별하기 위하여 정보 필터링 기법이 필요하다. 정보 필터링은 내용 기반 방법과 협력에 의한 방법으로 분류할 수 있다. 내용 기반 기법에서는 내용에 기반을 두어 정보를 추출하는 반면 협력 기법은 대상이 되는 사용자에 대한 예측을 하기 위하여 다른 사람들의 의견들을 이용하게 된다. 본 논문에서는 기존 협력 필터링 방법의 문제점을 해결하기 위한 방법의 일환으로 내용 기반 기법과 협력 기법을 보다 유기적으로 결합시키는 연구를 수행하였다. 이를 위해 협력 필터링 틀을 그대로 유지하면서 사용자 프로파일을 효과적으로 이용하는 방법을 제안하였다. 또한, 본 논문에서 제시한 기법을 실험적으로 분석하고 기존의 필터링 기법과 비교함으로써 제시된 기법의 우수성을 보였다.

  • PDF

A High-dimensional Indexing Scheme using Cell-based Filtering Technique (셀 기반 필터링 방법을 이용한 고차원 색인 기법)

  • Jang, Jae-U;Han, Seong-Geun;Kim, Hyeon-Jin
    • Journal of KIISE:Databases
    • /
    • v.28 no.2
    • /
    • pp.204-216
    • /
    • 2001
  • 최근 이미지 특징 벡터와 같은 고차원 벡터 데이터에 관한 색인 기법들이 많이 연구되고 있다. 하지만, 기존의 색인 기법들은 저차원의 데이터에 대해서는 검색 성능이 우수하지만, 차원이 증가함에 따라 검색 성능이 급격히 저하되는 'dimensional curse' 문제를 안고 있다. 따라서, 본 논문에서는 이러한 문제점을 최소화하기 위해 필터링을 이용한 새로운 색인 기법을 제안한다. 제안하는 셀 기반 필터링 기법은 셀 중심에서 객체까지의 거리값을 저장하여 필터링 효과를 증대시킨다. 또한 고차원 공간을 셀 단위로 분할하며, 각각의 셀을 시그니쳐로 표현한다. 검색을 수행하기 위해, 셀 기반 필터링 기법은 데이터 파일을 직접 접근하기 전에 전체 시그니쳐들을 탐색하여 필터링을 수행함으로써 후보 셀들을 얻는다. 성능 실험을 통해 제안하는 기법이 VA-파일보다 검색 시간에 있어서 약 20%의 성능 향상을 보인다.

  • PDF

Web 상에서 개인화된 상품 추천을 위한 Hybrid 추천 시스템에 관한 연구

  • Son, Chang-Hwan;Kim, Gi-Su
    • Proceedings of the Korea Association of Information Systems Conference
    • /
    • 2005.05a
    • /
    • pp.393-408
    • /
    • 2005
  • 인터넷의 성장은 고객에게 많은 혜택을 주었지만, 방대한 양의 정보는 오히려 장시간의 상품 탐색과 제품 선택을 어렵게 만들었다. 이에 따라, 정보의 양을 줄여 줄 수 있는 서비스를 고객들은 요구를 하기 시작하였고, 이에 따라 다양한 방법들이 고객에게 제시 되어졌다. 제시되어진 방법 중의 하나가 개인화 추천 시스템이다. 추천 시스템은 고객의 취향과 관심에 적합한 상품을 추천 해 주는 서비스로서 상품 검색 노력을 줄여 주고, 고객의 취향에 적합한 제품을 제시 해 줌으로써 고객충성도 제고에도 많은 도움을 주고 있다. 이러한 추천 시스템에서 가장 많이 사용되어지고 있는 기법은 협업 필터링이다. 협업 필터링은 협업에서도유용한 기법으로 인정을 받았다. 하지만 희박성과 확장성이라는 문제점으로 인해 추천의 정확도가 다소 떨어진다는 것이 단점이다. 본 연구에서는 이러한 단점을 극복할 수 있는 방법으로써 Hybrid 협업 필터링 기법을제시하고, 이를 토대로 추천 기법이 혼합되어진 Hybrid 추천 시스템에 대한 개념을 제시하고자 한다.

  • PDF

A Study on the Filtering Technique of LiDAR Data (라이다 자료의 필터링기법에 관한 연구)

  • 이정호;한수희;유기윤;변영기
    • Proceedings of the Korean Society of Surveying, Geodesy, Photogrammetry, and Cartography Conference
    • /
    • 2004.04a
    • /
    • pp.471-475
    • /
    • 2004
  • LiDAR의 표고점 데이터에서 건물, 수목 등과 같이 주위보다 높은 고도 값을 가지는 대상물을 제거하여 DEM을 생성하기 위한 여러 가지 필터링 기법들이 개발되고 있으며 대표적인 필터링 방법으로는 분산을 이용한 linear prediction 기법, 주변 점들과의 경사관계를 이용한 slope-based 기법, morphology 필터, dual rank 필터 등이 있다. 이러한 기법들은 커널(kernel)의 크기를 대상 지역에 맞도록 사용자가 직접 지정해주어야 하고, 건물의 크기가 다양한 지역에 적용하기 위해서는 가변 크기(variable size)의 커널을 필요로 한다. 본 연구에서는 다양한 크기의 건물이 존재하는 지역에 대하여 커널의 크기를 변화시키지 않고 필터링을 수행하는 새로운 커널 연산 기법을 제안하였다. 또한 기존 필터링 기법에서는 커널에 의해 갱신된 연산값이 다음 연산에 반영되지 않으나 본 연구에서는 갱신된 값이 바로 다음 연산에 반영되도록 하였다. 건물과 수목 등을 제거하기 위하여 주변 화소와의 높이 차를 이용하였으며 대상물이 제거된 부분은 주변 화소를 이용하여 보간하였다.

  • PDF

A New Approach Combining Content-based Filtering and Collaborative Filtering for Recommender Systems (추천시스템을 위한 내용기반 필터링과 협력필터링의 새로운 결합 기법)

  • Kim, Byeong-Man;Li, Qing;Kim, Si-Gwan;Lim, En-Ki;Kim, Ju-Yeon
    • Journal of KIISE:Software and Applications
    • /
    • v.31 no.3
    • /
    • pp.332-342
    • /
    • 2004
  • With the explosive growth of information in our real life, information filtering is quickly becoming a popular technique for reducing information overload. Information filtering technique is divided into two categories: content-based filtering and collaborative filtering (or social filtering). Content-based filtering selects the information based on contents; while collaborative filtering combines the opinions of other persons to make a prediction for the target user. In this paper, we describe a new filtering approach that seamlessly combines content-based filtering and collaborative filtering to take advantages from both of them, where a technique using user profiles efficiently on the collaborative filtering framework is introduced to predict a user's preference. The proposed approach is experimentally evaluated and compared to conventional filtering. Our experiments showed that the proposed approach not only achieved significant improvement in prediction quality, but also dealt with new users well.

Streaming XML Filtering Technique using Inverted Index (역 인덱스를 사용한 스트리밍 XML 필터링 기법)

  • Lee, Kyoung-Han;Park, Seog
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2005.11b
    • /
    • pp.4-6
    • /
    • 2005
  • 스트리밍 XML 필터링 기법은 사용자가 등록한 질의를 만족하는 XML 문서를 찾아 사용자에게 XML 문서의 복사본을 돌러주는 것을 목적하고 있다. 본 연구는 Xfiiter와는 차별된 방법으로 역 인덱스를 사용하여 Xfilter처럼 역 인덱스가 XML 필터링 동안 동적으로 변하는 특성을 제거한다. 또한 늦은 질의 삭제 전략을 이용함으로써 질의 삭제 시간을 $50\%$ 이상 줄인다. 따라서 본 기법은 Xfilter에 비해 적은 필터링 시간과 질의 추가/삭제 시간을 보여준다. 또한 역 인덱스를 사용한 기법들의 제한점을 Yfilter와 비교하여 보여 준다.

  • PDF

Comparison of Recommendation Techniques for Web-based Design Personalization Service (웹기반 개인화 디자인 서비스를 위한 효과적인 추천 기법의 비교 연구)

  • Seo, Jong-Hwan;Byun, Jae-Hyung;Lee, Kun-Pyo
    • Science of Emotion and Sensibility
    • /
    • v.9 no.spc3
    • /
    • pp.179-185
    • /
    • 2006
  • This study examines and compares various recommendation techniques which have been used successfully in other fields and seeks for opportunity to improve design personalization service more effectively. Throughout the literature study, several major recommendation techniques were identified, namely 'contents-based filtering', 'collaborative filtering', and 'demographic filtering'. In order for finding out relative advantages and disadvantages, a case study was carried out by applying different techniques. The result showed that in general, demographic filtering was evaluated least efficient among the techniques. Content-based filtering showed the best efficiency among them. Another significant finding was that the collaborative filtering had a better efficiency as the number of test subjects is increased. In conclusion, we suggest that design recommendation services can be improved by applying contents-based or collaborative filtering for better efficiency of recommendation. And, if the number of test subjects is large enough, it may be possible to remarkably improve the efficiency of design recommendation services by using collaborative filtering.

  • PDF

Data Statical Analysis based Data Filtering Scheme for Monitoring System on Wireless Sensor Network (무선 센서 네트워크 모니터링 시스템을 위한 데이터 통계 분석 기반 데이터 필터링 기법)

  • Lee, Hyun-Jo;Choi, Young-Ho;Chang, Jae-Woo
    • The Journal of the Korea Contents Association
    • /
    • v.10 no.3
    • /
    • pp.53-63
    • /
    • 2010
  • Recently, various monitoring systems are implemented actively by using wireless sensor networks(WSN). When implementing WSN-based monitoring system, there are three important issues to consider. At First, we need to consider a sensor node failure detection method to support the ongoing monitoring. Secondly, because sensor nodes use limited battery power, we need an efficient data filtering method to reduce energy consumption. At Last, a reducing processing overhead method is necessary. The existing Kalman filtering scheme has good performance on data filtering, but it causes too much processing overhead to estimate sensed data. To solve these problems, we, in this paper, propose a new data filtering scheme based on data statical analysis. First, the proposed scheme periodically aggregates node survival massages to support a node failure detection. Secondly, to reduce energy consumption, it sends the sample data with a node survival massage and do data filtering based on those messages. Finally, it analyzes the sample data to estimate filtering range in a server. As a result, each sensor node can use only simple compare operation for filtering data. In addition, we show from our performance analysis that the proposed scheme outperforms the Kalman filtering scheme in terms of the number of sending messages.