• Title/Summary/Keyword: 메시지 필터링

검색결과 78건 처리시간 0.027초

스팸 문자 필터링을 위한 변형된 한글 SMS 문장의 정규화 기법 (A Normalization Method of Distorted Korean SMS Sentences for Spam Message Filtering)

  • 강승식
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제3권7호
    • /
    • pp.271-276
    • /
    • 2014
  • 휴대폰에서 문자 메시지 전송 기능은 현대인들에게 매우 편리한 새로운 형태의 의사소통 방식이다. 반면에 문자 메시지 기능을 악용한 광고성 문자들이 너무 많이 쏟아져서 휴대폰 사용자들은 스팸 문자 공해에 시달리는 심각한 부작용을 낳게 되었다. 광고성 문자를 발송하는 사람들은 문자 메시지가 자동으로 차단되는 것을 회피하기 위해 한글 문장을 다양한 형태로 변형하거나 왜곡시키고 있으며, 이러한 문자 메시지를 자동으로 차단하기 위해서는 변형되거나 왜곡된 문장들을 정상적인 한글 문장으로 정규화하는 기술이 필수적이다. 본 논문에서는 변형되거나 왜곡된 광고성 문자 메시지를 정상적인 문장으로 정규화하고 정규화된 문장으로부터 자동 띄어쓰기 및 복합명사 분해 과정을 거쳐 키워드를 추출하기 위한 방법을 제안하였다.

SemFilter: 단순하며 효율적인 시맨틱 XML 메시지 필터링 (SemFilter: A Simple and Efficient Semantic XML Message Filtering)

  • 김재훈;박석
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권7호
    • /
    • pp.680-693
    • /
    • 2008
  • XML 메시지 필터링에 관한 최근의 연구들은 모든 출판되는 데이타 소스들이 필터링 시스템에 정의된 유일한 전역 스키마를 따르는 것을 가정한다. 하지만 이러한 가정을 넘어서, 데이타 제공자들이 그들 자신의 스키마를 자유롭게 사용할 수 있는 서비스를 고려할 수 있다. 즉, 데이타 소스들이 이질적인 환경이다. 하지만 XML 필터링 시스템에서 데이타 소스는 다수이며, 또한 출판되는 데이타들은 수시로 생성되고, 갱신되며, 사라진다. 즉, 매우 다이내믹한 환경이다. 본 논문에서는 그러한 다이내믹한 환경을 고려하여 고안된 단순하며 효율적인 의미적 XPath 질의 번역 구현을 소개한다. 특별히 제안되는 질의 번역 기법은 어떤 비주얼한 데이타 가이드가 제공되지 않는 환경에서 사용자가 자신의 지식과 경험에만 의존하여 작성한 질의를 번역하는 것에 초점을 맞춘다. 이러한 환경에서, 사용자는 다수의 이질적인 데이타를 질의하기 때문에, 사용자의 기억상의 스키마에 의존하여 작성된 질의는 실제 스키마와 불일치할 수 있다. 본 연구에서는 제안하는 의미적 XPath 질의 기법이 이러한 문제를 고려하도록 설계한다. 몇 가지 실험 결과는 제안된 질의 번역 기법이 수용할 만한 질의 번역시간을 제공하며, 기존의 방법과 비교하여 실제적임을 보여 준다.

Lifelong Machine Learning 기반 스팸 메시지 필터링 방법 (A Method for Spam Message Filtering Based on Lifelong Machine Learning)

  • 안연선;정옥란
    • 전기전자학회논문지
    • /
    • 제23권4호
    • /
    • pp.1393-1399
    • /
    • 2019
  • 인터넷의 급속한 성장으로 데이터의 송수신의 편리성과 비용이 들지 않는다는 장점 때문에 매일 수백만 건의 무차별적인 광고성 스팸 문자와 메일이 발송되고 있다. 아직은 스팸 단어나 스팸 번호를 차단하는 방법을 주로 사용하지만, 기계 학습이 떠오름에 따라 스팸을 필터링하는 방법에 대해 다양한 방식으로 활발히 연구되고 있다. 그러나 스팸에서만 등장하는 단어나 패턴은 스팸 필터링 시스템에 의해 걸러지지 않기 위해 지속적으로 변화하고 있기 때문에, 기존 기계 학습 메커니즘으로는 새로운 단어와 패턴을 감지, 적응할 수 없다. 최근 이러한 기존 기계 학습의 한계점을 극복하기 위해 기존의 지식을 활용하여 새로운 지식을 지속적으로 학습하도록 하는 Lifelong Learning(이하 LL)의 개념이 대두되었다. 본 논문에서는 문서 분류에 가장 많이 사용되는 나이브 베이즈와 Lifelong Machine Learning(이하 LLML)의 앙상블 기법을 이용한 스팸 메시지 필터링 방법을 제안한다. 우리는 기존 스팸 필터링 시스템에 가장 많이 사용되는 나이브 베이즈와, LLML 모델 중 ELLA를 적용하여 LL의 성능을 검증한다.

형태소 단위 자질을 이용한 콘텐츠 기반 한국어 SMS 스팸 필터링 (Contents-Based Korean SMS Spam Filtering Using Morpheme Unit Features)

  • 손대능;신중휘;이정태;이승욱;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2008년도 제20회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.195-200
    • /
    • 2008
  • 본 논문에서는 형태소 분석을 이용한 확률 기반 한국어 SMS 스팸 필터링 기법을 제안한다. 기존 연구에서는 단어 및 문자 단위 어휘 정보를 자질로 이용한 영어 및 스페인어 SMS 스팸 필터링 방법들이 있다. 하지만 교착어인 한국어의 경우, 어근과 접사의 조합에 의해서 다양한 어절이 형성될 수 있다. 따라서 어절단위 어휘 정보를 자질로 사용할 경우, 미등록어(out of vocabulary) 문제가 발생한다. 특히, 매우 적은 수의 단어들로 구성된 SMS 메시지의 경우에는 이 문제가 매우 심각하다. 본 논문에서는 형태소 분석을 이용하여 이러한 문제점을 해결하고자 하였다. 실험 결과, 제안하는 방법은 기존 연구와 비교하여 10.6%의 스팸 분류 정확률 향상을 보였다. 또한 미등록어만을 포함하는 SMS 메시지의 수는 약 77% 감소하였다.

  • PDF

개인화된 메일 필터링 에이전트 (Personalized Mail Filtering Agent)

  • 정옥란;조동섭
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2003년도 춘계학술발표논문집 (상)
    • /
    • pp.729-732
    • /
    • 2003
  • 인터넷의 발달로 인하여 웹을 통한 문서 송수신이 많아지면서 이메일의 사용자도 기하급수적으로 늘어나고 있다. 또한 일반 사용자나 전자상거래에서 오가는 메일의 양도 갈수록 늘어나고 있다. 편리하다는 점을 이용해서 엄청난 양의 스팸메일도 매일 같이 쏟아져 나와 사회적 문제점으로 부각되고 있는 현실이다. 본 논문에서는 사용자 개개인에 맞게 메일을 자동 관리해주는 개인화 된 필터링 에이전트(Personalized Mail Filtering Agent)를 제안한다. 즉 새로운 메시지가 오면, 먼저 사용자의 메일 처리과정을 관찰하여 각각 개인에 맞는 룰을 형성하고, 만들어진 개인적 룰(personal rule)을 바탕으로 메시지를 자동 관리 즉 카테고리별 분류, 저장 및 불필요하나 메일이나 스팸메일을 삭제 해주는 것이다.

  • PDF

Ad-hoc 모바일 네트워크 환경에서 슈퍼 피어 방식에 기반한 협력적 필터링 추천 시스템 (Recommending Systems based on Collaborative Filtering in Ad-hoc Mobile Network using Super Peers)

  • 김지훈;송진우;이광조;한정석;이주희;양성봉
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2008년도 춘계학술발표대회
    • /
    • pp.822-825
    • /
    • 2008
  • 최근 모바일 기술의 발달로 모바일 네트워크에서 사용자들이 가지고 있는 정보를 활용하는 P2P 서비스들이 많이 연구되고 있다. 그 중에 협력적 필터링(Collaborative Filtering, CF)을 이용한 추천 서비스는 모바일 네트워크 상의 다른 사용자의 정보를 수집하여 개인화된 추천을 수행한다. 기존에 연구 된 CF 추천 시스템에서 메시지 전달을 위해 broadcasting 방식 사용되었다. broadcasting 방식은 각 모바일 기기 주위의 모든 기기로 사용자 정보를 전송함으로써 많은 트래픽을 유발시킨다. 본 논문에서는 슈퍼 피어 방식을 이용하여 메시지 전송 양을 줄여, CF를 이용한 추천 서비스를 보다 효율적으로 하고, 추천성능을 유지하게 하였다. 실험을 통해 본 논문에서 제시한 방식이 broadcasting 방식의 메시지 양을 53% 감소시켰음을 보였다.

센서 네트워크에서 클러스터 상태 전이를 이용한 에너지 절약 방안 (A Energy Saving Method using Cluster State Transition in Sensor Networks)

  • 김진수
    • 한국컴퓨터정보학회논문지
    • /
    • 제12권2호
    • /
    • pp.141-150
    • /
    • 2007
  • 본 논문에서는 센서 네트워크의 수명을 길게 하기 위해 각 센서 및 클러스터 헤드에서의 데이터 전송량을 줄이기 위한 방법을 제안한다. 센서의 에너지 소모를 줄이는 가장 중요한 요소는 전송되는 메시지 수를 줄이는 것이다. 본 논문에서는 노드의 에너지를 보다 효율적으로 사용하기 위해 노드의 클러스터 상태를 초기상태, 클러스터 헤드 상태 클러스터 멤버 상태, 비 전송 클러스터 헤드 상태, 비 전송 클러스터 멤버 상태, 수면 상태 등의 여섯 가지 상태로 분류해서 관리한다. 이는 일반적으로 필터의 폭을 넓혀 필터링을 많이 하는 것보다 필터링 효율은 증대시키면서 필터링에 따른 데이터 부정확성을 최소한 줄이는 효과를 가진다. 이 방법은 기존의 연구보다 더 효율적이고 효과적인 방법이다. 다양한 실험을 통해서, 제안한 방법이 다른 방법들보다 더 많은 메시지를 줄이고, 네트워크의 생존기간이 더 증가하였음을 보여준다.

  • PDF

공유가상공간에서 다중경로샘플링을 이용한 동적 이벤트 필터링 기법 (A Dynamic Event Filtering Technique using Multi-Level Path Sampling in a Shared Virtual Environment)

  • 유석종;최윤철;고견
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제26권11호
    • /
    • pp.1306-1313
    • /
    • 1999
  • 본 연구는 인터넷 기반 공유가상공간에서 시스템의 확장성을 유지하기 위하여 이동객체를 대상으로 하는 이벤트 필터링 기법을 제안하고자 한다. 제안된 다중격자 모델 기법은 이동객체의 경로 상에서 대표적인 이벤트를 샘플링하는 방식을 사용한다. 이 방식은 메시지 트래픽의 양을 동적으로 조절하기 위하여 이동객체 간의 관심정도 정보를 수치적으로 변환하여 이벤트 갱신빈도에 반영한다. 대량의 이동객체를 생성하여 제안된 기법을 적용한 성능평가 실험에서 기존의 방식에 비하여 평균 메시지 전송량이 50%이상 감소하는 것으로 확인할 수 있었다. 다중격자 모델은 참여자의 수와 메시지 트래픽 상황에 따라 가상환경의 공유 QoS를 동적으로 조절할 수 있으며, 인터넷 상에서 다수 사용자를 위한 3차원 가상사회 구축 및 온라인 네트워크 게임 개발 등에 활용될 수 있을 것이다.Abstract This paper proposes an event filtering technique that can dynamically control a large amount of event messages produced by moving objects like avatars or autonomous objects in a distributed virtual environment. The proposed multi-level grid model technique uses the method that extracts the representative events from the paths of moving objects. For dynamic control of message traffics, this technique digitizes the DOIs of the avatars and reflects the interest information controlling the frequency of message transmission. For the performance evaluation, a large number of moving objects were created and the model was applied to these avatar groups. In the experiments, more than 50% of messages have been reduced in comparison with the existing AOI-based filtering techniques. The proposed technique can dynamically control the QoS in proportion to the number of users and the amount of messages where a large number of users share a virtual space. This model can be applied to the development of 3D collaborative virtual societies and multi-user online games in the Internet.

이기종 SOAP 노드의 실시간 성능 모니터링 시스템 (A Performance Monitoring System for Heterogeneous SOAP Nodes)

  • 이우중;김정선
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권6호
    • /
    • pp.484-498
    • /
    • 2004
  • 본 논문에서는 Apache Axis나 .Net과 같은 SOAP 기반 미들웨어 상에 존재하는 SOAP 노드에 대한 실시간 성능 모니터링을 수행하는 방법으로써 네트워크 패킷 필터링을 통한 SOAP 오퍼레이션 검출 방법인 "TCP 흐름을 이용한 SOAP 오퍼레이션 검출 방법"을 제시하였다. 네트워크 패킷 필터링에 의한 SOAP 오퍼레이션 검출 방법은 Raw 패킷 내부에 단편화되어서 전송되는 SOAP 메시지를 직접 분석하기 때문에 다양한 SOAP 기반 미들웨어에 독립적으로 SOAP 노드를 모니터링 할 수 있게 한다 그러나 Raw 패킷들로부터 SOAP 메시지를 추출하여 분석하는 과정은 시스템의 많은 자원을 필요로 한다. 이러한 문제점을 해결하기 위하여 본 논문에서는 "TCP 플래그를 이용한 선별적인 TCP 흐름에서의 SOAP 오퍼레이션 검출 방법"을 제시하고 첫 번째 방법과의 성능을 비교하였다. 본 논문에서는 제시한 검출 방법을 바탕으로, 패킷 필터링을 통하여 SOAP 오퍼레이션을 검출하는 SOAP Sniffer 컴포넌트와 이를 이용한 SOAP 모니터링 시스템을 구현하였다. 본 논문에서 구현한 SOAP 모니터링 시스템은 SOAP 기반 미들웨어에 독립적인 모니터링 방법을 제공하므로 서로 다른 SOAP 기반 미들웨어 상에 존재하는 SOAP 노드 간 트랜잭션 모니터링이나 로드밸런싱을 위한 모니터링 등의 다양한 활용이 가능할 것이다.

사용자 맞춤형 스팸 문자 필터링 시스템 (Personalized Mobile Junk Message Filtering System)

  • 이승재;최덕재
    • 한국콘텐츠학회논문지
    • /
    • 제11권12호
    • /
    • pp.122-135
    • /
    • 2011
  • 스팸 문자 메시지는 모바일 이용자에게 불쾌감을 줄 뿐만 아니라 불필요한 사회비용을 유발하는 유해 요소이다. 특히 스마트워크 시스템에서 핵심 단말인 스마트폰으로 유입되는 스팸 문자는 업무능률 향상이라는 스마트워크의 취지를 무색하게 만들 수 있어 이에 대한 연구가 필요하다. 본 논문에서는 스팸 자동분류기로 스팸 메시지를 차단함에 있어서, 오분류 결과를 학습군에 재반영하여 연산량을 줄이고 인식 성능을 개선할 수 있는 방법을 제안하였다. 스팸 분류기는 스마트폰에서 독립적으로 동작하고, 사용자의 수신 메시지만으로 학습하므로 사용자의 분류 판단 성향을 반영할 수 있다. 많은 컴퓨팅 자원을 소비해야 하는 전처리, 특징 선정, 훈련 과정은 사용자의 인증 컴퓨터가 담당하고 필터링 과정만을 스마트폰에서 처리한다. 실험 결과 95%이상의 양호한 결과를 보였고 스팸 분류기는 스마트폰의 일정 자원만을 점유하면서 동작하였다.