• 제목/요약/키워드: 메시지 필터링

검색결과 78건 처리시간 0.029초

문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링 (Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network)

  • 이현영;강승식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

문장 벡터와 전방향 신경망을 이용한 스팸 문자 필터링 (Spam Text Filtering by Using Sen2Vec and Feedforward Neural Network)

  • 이현영;강승식
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.255-259
    • /
    • 2017
  • 스팸 문자 메시지를 표현하는 한국어의 단어 구성이나 패턴은 점점 더 지능화되고 다양해지고 있다. 본 논문에서는 이러한 한국어 문자 메시지에 대해 단어 임베딩 기법으로 문장 벡터를 구성하여 인공신경망의 일종인 전방향 신경망(Feedforward Neural Network)을 이용한 스팸 문자 메시지 필터링 방법을 제안한다. 전방향 신경망을 이용한 방법의 성능을 평가하기 위하여 기존의 스팸 문자 메시지 필터링에 보편적으로 사용되고 있는 SVM light를 이용한 스팸 문자 메시지 필터링의 정확도를 비교하였다. 학습 및 성능 평가를 위하여 약 10만 개의 SMS 문자 데이터로 학습을 진행하였고, 약 1만 개의 실험 데이터에 대하여 스팸 문자 필터링의 정확도를 평가하였다.

  • PDF

베이지안 네트워크와 멀티 레이어 퍼셉트론을 이용한 모바일 스팸 문자 메시지 필터링 방법 (A Method for Spam SMS Filtering Using Bayesian Network and Multi Layer Perceptron)

  • 홍승범;김문현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2011년도 추계학술발표대회
    • /
    • pp.283-286
    • /
    • 2011
  • 스팸 메시지는 불특정 다수에게 보내지는 광고성 메시지로서 최근 들어 그 양이 증가하고 있는 추세이다. 본 논문에서는 모바일 환경에서의 스팸 메시지 필터링을 위한 시스템을 제안하며 기존 환경에서 자주 사용되었던 키워드 기반 필터링 시스템의 단점을 해결하고자 고안되었다. 베이지안 네트워크를 통해 스팸 메시지들의 패턴을 추출하고 추출된 패턴을 멀티 레이어 퍼셉트론을 이용해 학습하여 메시지들을 분류한다. 이 시스템을 통해 약 93.5%의 필터링 정확도률을 얻었으며 키워드 선택 대신 스팸 메시지를 선택해 학습시킴으로서 사용하기 쉽고 사용자에 맞는 시스템을 구성할 수 있었다.

Multimedia Message Service(MMS)상에서 전송되는 스팸이미지 필터링 시스템 (Multimedia Message Service(MMS) Spam Image Filtering System)

  • 박영만
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2014년도 추계학술발표대회
    • /
    • pp.933-935
    • /
    • 2014
  • 휴대전화 사용의 대중화로 인하여 개개인의 휴대전화로 수신되는 스팸메시지의 양도 덩달아 증가하게 되었다. 이것은 휴대전화 사용자가 불법광고 노출의 원인이 되고 있다. 이에 많은 스팸메시지 차단기법이 제시되었지만 이는 텍스트기반의 문자메시지에 특화되어있어 문자가 포함되어있는 이미지스팸에는 차단이 어렵다는 문제점이 존재 한다. 이에 본 논문에서는 휴대전화로 오는 이미지메시지 중 스팸이미지를 검출해 내는 모바일 스팸이미지 필터링 시스템을 제시하고자 한다. 제시하고자 하는 시스템은 스팸이미지를 분석하여 이미지의 패턴을 검사하여 특정 패턴이 포함된 이미지에 대해서 스팸이미지로 분류하여 필터링하게 됨으로써, 실제 휴대전화로 수신되는 스팸이미지를 이용한 실험을 진행하였다. 그 결과 기존 텍스트기반 스팸필터링시스템에서 할 수 없었던 스팸이미지 필터링을 할 수 있음을 확인 하였다.

베이지안을 이용한 인터넷 커뮤니티 상의 유해 메시지 차단 기법 (Spam Message Filtering with Bayesian Approach for Internet Communities)

  • 김범배;최형기
    • 정보처리학회논문지C
    • /
    • 제13C권6호
    • /
    • pp.733-740
    • /
    • 2006
  • 스팸의 피해가 이메일 서비스를 넘어 인터넷 전반에 걸쳐 급증하는 현재 인터넷은 익명성을 악용하여 해당 커뮤니티의 공동 관심사와는 무관한 메시지들, 즉 상업적 광고, 상호비방, 종교 홍보 등의 스팸 메시지들을 게재하면서 심각한 사회적 문제를 일으키고 있다. 본고에서는 인터넷 커뮤니티 상의 스팸 메시지를 해결하고자 기존의 스팸 메일 차단에 이용되고 있는 베이지안 접근법을 적용한 인터넷 커뮤니티 상의 스팸 메시지 차단 방법을 소개한다. 나아가 인터넷 커뮤니티 상에서의 스팸 메시지 필터링의 효과를 증대시키기 위한 방편으로 스팸 메시지를 다양한 소분류로 세분화가 가능토록 구성했다 이는 인터넷 커뮤니티의 다양한 이용자의 요구를 충족시키기 위한 방안이다. 구현된 베이지안 필터링 기법은 현재 운영되고 있는 사이트들을 대상으로 정확도를 측정하였다.

유무선 통신 환경에서 그룹 에디팅을 위한 사용자 관심도 기반 필터링 기법 (A User Interest-based Filtering Method of Group Editing over Wired and Wireless Networks)

  • 최미진;조은영;이동만;강경란
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (2)
    • /
    • pp.169-171
    • /
    • 2002
  • 현저한 대역폭의 차이를 보이는 유무선 통신 환경에서 협동작업, 예를 들면 그룹 에디팅을 하기 위해서는 데이터 전송 속도의 차를 극복하는 것이 중요하다. 이를 위해 선택적 전송, 압축, 프로토콜 차원에서 지원 등 다양한 필터링 방법이 제시되고 있다. 그러나 이런 방법은 효과적으로 메시지의 수를 줄였으나 사용자가 관심을 두지 않는 부분이라도 메시지가 발생 순서에 따라 전달되기 때문에 바로 알려져야 하는 사용자에게 변경 메시지의 전송이 지연될 수 있다는 문제점이 있다. 본 논문에서는 사용자의 관심도에 따라 메시지간의 우선 순위를 부여하는 필터링 방법을 제안한다.

  • PDF

문장유사도 측정 기법을 통한 스팸 필터링 시스템 구현 (Implementation of a Spam Message Filtering System using Sentence Similarity Measurements)

  • 우수빈;이종우
    • 정보과학회 컴퓨팅의 실제 논문지
    • /
    • 제23권1호
    • /
    • pp.57-64
    • /
    • 2017
  • 문자 메시지는 휴대폰을 사용하는 사람들에게 중요한 의사소통의 방법 중 하나이다. 또한 친구맺기 방식이 필요 없이 사용이 가능하기 때문에 이를 악용한 불법 광고 스팸메시지가 기승을 부리고 있다. 최근 스팸 필터링을 위해 기계 학습을 이용한 시스템들이 등장 하였지만 많은 계산을 필요로 하는 단점이 있다. 본 논문에서는 검색할 쿼리를 입력할 때 부정확한 쿼리를 입력하더라도 저장된 데이터베이스와 비교하여 가장 비슷한 단어를 차수 개념을 적용하여 유추하는 집합 기반 POI(Point of Interest) 검색 알고리즘을 이용하여 스팸 필터링 시스템을 구현하였다. 이 알고리즘을 적용하면 서버 컴퓨팅 없이 문자의 조합만을 이용해 쿼리를 유추할 수 있기 때문에 스팸 필터링에 적용하여 입력된 문자메시지가 교묘하게 변형되더라도 스팸이라고 필터링이 가능하다. 또한 문장 유사도 측정 기법을 활용하여 스팸 필터링 성능을 향상시켰으며, 스팸 필터링에 취약한 특정 유형도 걸러내기 위해 특정 전처리 과정을 지원함으로써 대부분의 스팸메세지를 필터링 가능하도록 하였다. 기존 집합기반 POI 검색 알고리즘과 이를 확장 시킨 문장 유사도 측정 기법, 특정 전처리 과정을 추가한 시스템으로 필터링 시스템의 성능평가를 진행하였다. 그 결과 본 논문에서 구현한 시스템이 기존 집합기반 POI 알고리즘과 비교하여 향상된 스팸 필터링 성능을 보여주는 것을 확인하였다. 또한 이동통신사 3사에서 필터링에 취약한 유형이 본 논문에서 구현한 시스템으로 높은 성능으로 필터링이 가능하다는 것을 확인하였다.

무선 센서 네트워크 모니터링 시스템을 위한 데이터 통계 분석 기반 데이터 필터링 기법 (Data Statical Analysis based Data Filtering Scheme for Monitoring System on Wireless Sensor Network)

  • 이현조;최영호;장재우
    • 한국콘텐츠학회논문지
    • /
    • 제10권3호
    • /
    • pp.53-63
    • /
    • 2010
  • 최근 무선 센서 네트워크를 활용한 다양한 모니터링 시스템 구축이 활발히 이루어지고 있다. 무선 센서네트워크 기반 모니터링 시스템 구축을 위해서, 세 가지 사항을 고려해야 한다. 첫째, 지속적인 모니터링을 위해서, 노드 실패 감지 기법이 요구된다. 둘째, 센서노드는 제한된 배터리 용량을 지니기 때문에, 에너지 소모량 감소를 위한 효율적인 데이터 필터링 기법이 요구된다. 마지막으로 데이터 필터링 수행 시, 계산오버헤드를 감소시키는 기법이 필요하다. 기존 칼만 데이터 필터링 기법은 우수한 필터링 성능을 나타내는 반면, 데이터 예측값 계산과정이 복잡하여 센서 노드에서의 계산 오버헤드가 증가하는 단점이 존재한다. 이러한 문제점들을 해결하기 위하여 본 논문에서는 데이터 통계 분석 기반 데이터 필터링 기법을 제안한다. 제안하는 기법은 첫째, 노드 실패 감지를 지원하기 위해, 주기적으로 노드 생존 메시지를 수집한다. 둘째, 불필요한 전송 메시지 수 감소를 위하여 샘플 데이터를 노드 생존 메시지에 포함하여 전송하고, 수집된 샘플 데이터 집합을 바탕으로 데이터 필터링을 수행한다. 마지막으로, 서버에서 데이터 통계 분석을 이용한 데이터 필터링 범위를 계산하기 때문에, 센서에서는 단순 비교연산만을 수행함으로써 센서 노드에서의 계산 오버헤드를 감소시킨다. 아울러 성능 분석을 통해 제안하는 기법이 기존 칼만 필터링 기법보다 전송 메시지 수 측면에서 성능이 우수함을 보인다.

휴대폰 SMS를 위한 SVM 기반의 스팸 필터링 시스템 (A SVM-based Spam Filtering System for Short Message Service (SMS))

  • 조인휘;심혜택
    • 한국통신학회논문지
    • /
    • 제34권9B호
    • /
    • pp.908-913
    • /
    • 2009
  • 휴대 전화는 이제 우리의 일상생활에서 없어서는 안 될 중요한 가전 기기로 자리 잡았다. 이러는 와중에 휴대폰에서 사용하는 문자 메시지 사용량 역시 꾸준하게 증가하여 현재는 음성 통화 이용량의 1.5배에서 2배에 이르고 있다. 문자 메시지의 사용량이 증가함에 따라 스팸 문자 메시지도 따라서 증가하였는데 기존의 모바일 기기에서의 스팸 필터링 방식은 단순 문자열 비교나 특정 번호 차단과 같은 아주 기초적인 수준으로 스팸 메시지를 필터링하고 있는 실정이다. 본 논문에서는 SVM(Support Vector Machine)과 시소러스(thesaurus) 사전을 이용하여 좀 더 강력하고 적응적인 스팸 필터링 시스템을 제안하였다. 제안한 시스템은 샘플 문자 메시지로부터 전처리 기를 이용하여 문자 메시지 속에 담겨 있는 단어를 추출 한 후, 추출된 단어를 시소러스 사전을 이용하여 해당 의미가 가지는 대표 단어로 변경하였다. 변경된 단어들에서 카이 제곱 통계량을 계산하여 그 값이 높은 단어들을 특징 단어로 선정하였고 선정된 특징 단어들을 가지고 SVM 분류기로 학습을 진행하였다. 그 후 학습된 분류기를 이용하여 테스트 문자 메시지의 스팸 여부를 분류하였으며 평균 92%의 인식률을 보였다. 제안된 시스템은 PC에서 구현되어 있으며 실험을 통하여 그 성능을 확인하였다.

분산 컴퓨팅 환경에서의 워게임 시뮬레이션을 위한 네트워크 트래픽 제어 (Network Traffic Control for War-game Simulation in Distributed Computing Environment)

  • 장성호;김태영;이종식
    • 한국시뮬레이션학회논문지
    • /
    • 제18권4호
    • /
    • pp.1-8
    • /
    • 2009
  • 현재 복잡한 가상전장 환경을 표현하기 위해 많은 수의 시뮬레이터들을 연결한 분산 컴퓨팅 기반의 워게임 시뮬레이션이 이용되고 있다. 모의 결과를 도출하기 위해 네트워크상의 각 시뮬레이터들은 중앙 모의 서버에 주기적으로 메시지를 송수신하게 된다. 이러한 네트워크 트래픽은 전체 시스템 성능저하의 직접적인 원인이 된다. 따라서 본 논문에서는 분산 워게임 시뮬레이션 시 발생되는 네트워크 트래픽을 제어하기 위한 시스템 및 방법을 제안한다. 제안된 시스템은 메시지 수신 시 해당 모의 개체의 이동거리를 측정하고 이를 거리 임계값과 비교하여 해당 메시지를 필터링한다. 거리 임계값은 네트워크 트래픽 및 위치 오차와 같은 시스템 조건에 따라 조절된다. 그리고 모의 개체의 위치를 예측함으로써 메시지 필터링 시 발생되는 위치오차를 최소화한다. 실험 결과는 제안된 시스템이 분산 시뮬레이션 시스템의 네트워크 트래픽을 감소시키고 메시지 필터링에 따른 모의 개체의 위치 오차를 줄이는 데 매우 효과적이라는 것을 입증한다.