• 제목/요약/키워드: Machine-learning Filtering Technique

검색결과 25건 처리시간 0.026초

신경망과 운전자 알고리즘을 이용한 스팸 메일 필터링 기법에 구현과 성능평가 (Implementation and Experimental Results of Neural Network and Genetic Algorithm based Spam Filtering Technique)

  • 김범배;최형기
    • 정보처리학회논문지C
    • /
    • 제13C권2호
    • /
    • pp.259-266
    • /
    • 2006
  • 스팸 메일의 양의 급증함에 따라, 다양한 스팸 메일 필터링 기법이 제시되고 있다. 이런 필터링 기법 가운데, 학습 기반 필터링 기법은 현재 가장 보편화된 필터링 기법 가운데 하나이다. 본고에서는 신경망과, 유전자알고리즘, 카이제곱통계를 이용한 학습 기반 필터링 기법을 제시한다. 제안된 필터링 기법은 기존 필터링 기법의 문제를 해결하고, 스팸 메일 필터링에 높은 정확도를 제공할 수 있다 제안된 필터링 기법은 스팸메일 필터링 정확도와 정상 메일 필터링 정확도에서 각각 95.25%와 95.31%의 높은 정확도를 보인다. 이런 실험 결과는 기존의 규칙 기반 필터링 기법과 베이지안 필터링 기법에 비해 각각 7%, 12% 이상 높은 수치이다.

통계적 기법을 이용한 스팸메시지 필터링 기법 (A Technique of Statistical Message Filtering for Blocking Spam Message)

  • 김성윤;차태수;박제원;최재현;이남용
    • 한국IT서비스학회지
    • /
    • 제13권3호
    • /
    • pp.299-308
    • /
    • 2014
  • Due to indiscriminately received spam messages on information society, spam messages cause damages not only to person but also to our community. Nowadays a lot of spam filtering techniques, such as blocking characters, are studied actively. Most of these studies are content-based spam filtering technologies through machine learning.. Because of a spam message transmission techniques are being developed, spammers have to send spam messages using term spamming techniques. Spam messages tend to include number of nouns, using repeated words and inserting special characters between words in a sentence. In this paper, considering three features, SPSS statistical program were used in parameterization and we derive the equation. And then, based on this equation we measured the performance of classification of spam messages. The study compared with previous studies FP-rate in terms of further minimizing the cost of product was confirmed to show an excellent performance.

Non-Causal Filter의 PC-NC에의 응용

  • 장현상;최종률
    • 한국정밀공학회:학술대회논문집
    • /
    • 한국정밀공학회 1995년도 추계학술대회 논문집
    • /
    • pp.1039-1042
    • /
    • 1995
  • In real time application such as motion control, it is hard to find the application of non-causal filtering due to its need for future position data, even though it shows wide usage in off-line digital signal processing. Recently, some of motion control areas such as learning and repetitive control use non-causal filtering technique in their application. these kinds of zero-lag non-causal filter application are very usful not only to reduce the machine vibration, but also to increase control accuracy with comparatively less work. In this paper, genuine method to implement zero-lag non-causal filter in a CNC is introduced. Also the variation of this implementation for the learning operation is suggested to give the NC better control performance for a specific job. By adopting the new NC architecture call Soft-NC, all these implementions are made possible here, and especially large memory requirement which hinders their usage for many years is no longer barrier in their real world application.

  • PDF

Supervised learning and frequency domain averaging-based adaptive channel estimation scheme for filterbank multicarrier with offset quadrature amplitude modulation

  • Singh, Vibhutesh Kumar;Upadhyay, Nidhi;Flanagan, Mark;Cardiff, Barry
    • ETRI Journal
    • /
    • 제43권6호
    • /
    • pp.966-977
    • /
    • 2021
  • Filterbank multicarrier with offset quadrature amplitude modulation (FBMC-OQAM) is an attractive alternative to the orthogonal frequency division multiplexing (OFDM) modulation technique. In comparison with OFDM, the FBMC-OQAM signal has better spectral confinement and higher spectral efficiency and tolerance to synchronization errors, primarily due to per-subcarrier filtering using a frequency-time localized prototype filter. However, the filtering process introduces intrinsic interference among the symbols and complicates channel estimation (CE). An efficient way to improve the CE in FBMC-OQAM is using a technique known as windowed frequency domain averaging (FDA); however, it requires a priori knowledge of the window length parameter which is set based on the channel's frequency selectivity (FS). As the channel's FS is not fixed and not a priori known, we propose a k-nearest neighbor-based machine learning algorithm to classify the FS and decide on the FDA's window length. A comparative theoretical analysis of the mean-squared error (MSE) is performed to prove the proposed CE scheme's effectiveness, validated through extensive simulations. The adaptive CE scheme is shown to yield a reduction in CE-MSE and improved bit error rates compared with the popular preamble-based CE schemes for FBMC-OQAM, without a priori knowledge of channel's frequency selectivity.

협업필터링과 스태킹 모형을 이용한 상품추천시스템 개발 (Development of Product Recommender System using Collaborative Filtering and Stacking Model)

  • 박성종;김영민;안재준
    • 융합정보논문지
    • /
    • 제9권6호
    • /
    • pp.83-90
    • /
    • 2019
  • 사람들은 자신의 더 나은 선택을 위하여 끊임없이 노력한다. 이러한 이유로 추천시스템이 개발되었으며, 1990년대 초반부터 계속해서 발전하고 있다. 그 중, 협업필터링 기법은 추천시스템 분야에서 우수한 성능을 보였으며, 기계학습이 등장하면서 기계학습을 이용한 추천시스템에 관한 연구가 활발히 진행되었다. 본 연구는 앙상블 방법 중에서 스태킹 모형을 사용하여 추천시스템을 구축하며, 실제 고객의 상품 구매 데이터를 활용하여 협업필터링과 기계학습 기반 스태킹 모형으로 추천시스템을 개발하였다. 제시한 모형의 추천 성능은 기존의 협업필터링과 기계학습 기반 추천시스템과 비교하여 모형의 우수성을 확인하며, 연구결과는 스태킹 모형을 이용한 추천시스템 모형의 추천 성능이 개선됨을 확인하였다. 향후 본 연구에서 제안한 모형은 개인이나 기업이 더 나은 선택을 하여 상품을 추천할 때 도움을 줄 것으로 기대한다.

Improved Spam Filter via Handling of Text Embedded Image E-mail

  • Youn, Seongwook;Cho, Hyun-Chong
    • Journal of Electrical Engineering and Technology
    • /
    • 제10권1호
    • /
    • pp.401-407
    • /
    • 2015
  • The increase of image spam, a kind of spam in which the text message is embedded into attached image to defeat spam filtering technique, is a major problem of the current e-mail system. For nearly a decade, content based filtering using text classification or machine learning has been a major trend of anti-spam filtering system. Recently, spammers try to defeat anti-spam filter by many techniques. Text embedding into attached image is one of them. We proposed an ontology spam filters. However, the proposed system handles only text e-mail and the percentage of attached images is increasing sharply. The contribution of the paper is that we add image e-mail handling capability into the anti-spam filtering system keeping the advantages of the previous text based spam e-mail filtering system. Also, the proposed system gives a low false negative value, which means that user's valuable e-mail is rarely regarded as a spam e-mail.

A Cascade-hybrid Recommendation Algorithm based on Collaborative Deep Learning Technique for Accuracy Improvement and Low Latency

  • Lee, Hyun-ho;Lee, Won-jin;Lee, Jae-dong
    • 한국멀티미디어학회논문지
    • /
    • 제23권1호
    • /
    • pp.31-42
    • /
    • 2020
  • During the 4th Industrial Revolution, service platforms utilizing diverse contents are emerging, and research on recommended systems that can be customized to users to provide quality service is being conducted. hybrid recommendation systems that provide high accuracy recommendations are being researched in various domains, and various filtering techniques, machine learning, and deep learning are being applied to recommended systems. However, in a recommended service environment where data must be analyzed and processed real time, the accuracy of the recommendation is important, but the computational speed is also very important. Due to high level of model complexity, a hybrid recommendation system or a Deep Learning-based recommendation system takes a long time to calculate. In this paper, a Cascade-hybrid recommended algorithm is proposed that can reduce the computational time while maintaining the accuracy of the recommendation. The proposed algorithm was designed to reduce the complexity of the model and minimize the computational speed while processing sequentially, rather than using existing weights or using a hybrid recommendation technique handled in parallel. Therefore, through the algorithms in this paper, contents can be analyzed and recommended effectively and real time through services such as SNS environments or shared economy platforms.

Collaborative Filtering based Recommender System using Restricted Boltzmann Machines

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권9호
    • /
    • pp.101-108
    • /
    • 2020
  • 추천 시스템은 전자 상거래 시에 고객들의 상품 선택의 편의를 제공하므로 반드시 구비되어야 할 기능이다. 협력 필터링은 다른 사용자들이 선호하였던 상품이나 현 사용자가 과거 선호하였던 상품들을 위주로 추천 리스트를 제공하는 기법으로서, 가장 널리 활용되는 대표적 기법이다. 최근 딥러닝 인공지능 기술을 활용하여 추천 시스템의 성능 향상을 달성하는 연구가 활발히 진행되고 있다. 본 연구에서는 사용자가 부여한 평가등급만을 이용하여 딥러닝 기술의 일종인 제한 볼츠만 기계 학습을 통해 협력 필터링 기반의 추천 시스템을 개발한다. 또한 학습의 효율성과 성능을 위하여 학습 파라미터 변경 알고리즘을 제시한다. 제안 시스템의 성능 평가를 위하여 실험 분석을 통해 기존의 다양한 전통적 협력 필터링 기법들과 비교 분석을 실시하였으며, 제안 알고리즘은 기본적인 제한 볼츠만 기계 모델보다 우수한 성능을 가져오는 것으로 확인되었다.

정확히 재가중되는 온라인 전체 에러율 최소화 기반의 객체 추적 (Object Tracking Based on Exactly Reweighted Online Total-Error-Rate Minimization)

  • 장세인;박충식
    • 지능정보연구
    • /
    • 제25권4호
    • /
    • pp.53-65
    • /
    • 2019
  • 영상 기반의 보안 시스템의 증가함에 따라 각 용도마다 다른 다양한 객체들에 대한 처리들이 중요해지고 있다. 객체 추적은 객체 인식, 검출과 같은 작업들과 함께 필수적인 작업으로 다뤄진다. 이 객체 추적을 달성하기 위해서 다양한 머신러닝이 적용될 수 있다. 성공적인 분류기로써 전체 에러율 최소화(total-error-rate minimization) 기반의 방법론이 사용될 수 있다. 이 전체 에러율 최소화 기반의 방법론은 오프라인 학습을 기반으로 하고 있다. 객체 추적은 실시간으로 처리하며 갱신해야하는 것이 필수적이므로 온라인 학습(online learning)을 기반으로 하는 것이 적합하다. 온라인 전체 에러율 최소화 방법론이 개발되었지만 점근적으로 재가중되는(approximately reweighted) 작업이 포함되어 에러를 누적시킬 수 있다는 단점이 있다. 본 논문에서는 정확하게 재가중되는(exactly reweighted) 방법론을 제안하면서 온라인 전체 에러율 최소화가 달성되었다. 이 제안된 온라인 학습 방법론을 객체 추적에 적용하여 총 8개의 데이터베이스에서 다른 추적 방법론들 보다 좋은 성능이 달성되었다.

BM3D and Deep Image Prior based Denoising for the Defense against Adversarial Attacks on Malware Detection Networks

  • Sandra, Kumi;Lee, Suk-Ho
    • International journal of advanced smart convergence
    • /
    • 제10권3호
    • /
    • pp.163-171
    • /
    • 2021
  • Recently, Machine Learning-based visualization approaches have been proposed to combat the problem of malware detection. Unfortunately, these techniques are exposed to Adversarial examples. Adversarial examples are noises which can deceive the deep learning based malware detection network such that the malware becomes unrecognizable. To address the shortcomings of these approaches, we present Block-matching and 3D filtering (BM3D) algorithm and deep image prior based denoising technique to defend against adversarial examples on visualization-based malware detection systems. The BM3D based denoising method eliminates most of the adversarial noise. After that the deep image prior based denoising removes the remaining subtle noise. Experimental results on the MS BIG malware dataset and benign samples show that the proposed denoising based defense recovers the performance of the adversarial attacked CNN model for malware detection to some extent.