• 제목/요약/키워드: 필터링특성

검색결과 644건 처리시간 0.032초

듀얼 SMS 스팸 필터링: 그래프 기반 자질 가중치 기법 (Dual SMS SPAM Filtering: A Graph-based Feature Weighting Method)

  • 황재원;고영중
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.95-99
    • /
    • 2014
  • 본 논문에서는 최근 급속히 증가하여 사회적 이슈가 되고 있는 SMS 스팸 필터링을 위한 듀얼 SMS 스팸필터링 기법을 제안한다. 지속적으로 증가하고 새롭게 변형되는 SMS 문자 필터링을 위해서는 패턴 및 스팸 단어 사전을 통한 필터링은 많은 수작업을 요구하여 부적합하다. 그리하여 기계 학습을 이용한 자동화 시스템 구축이 요구되고 있으며, 효과적인 기계 학습을 위해서는 자질 선택과 자질의 가중치 책정 방법이 중요하다. 하지만 SMS 문자 특성상 문장들이 짧기 때문에 출현하는 자질의 수가 적어 분류의 어려움을 겪게 된다. 이 같은 문제를 개선하기 위하여 본 논문에서는 슬라이딩 윈도우 기반 N-gram 확장을 통해 자질을 확장하고, 확장된 자질로 그래프를 구축하여 얕은 구조적 특징을 표현한다. 학습 데이터에 출현한 N-gram 자질을 정점(Vertex)으로, 자질의 출현 빈도를 그래프의 간선(Edge)의 가중치로 설정하여 햄(HAM)과 스팸(SPAM) 그래프를 각각 구성한다. 이렇게 구성된 그래프를 바탕으로 노드의 중요도와 간선의 가중치를 활용하여 최종적인 자질의 가중치를 결정한다. 입력 문자가 도착하면 스팸과 햄의 그래프를 각각 이용하여 입력 문자의 2개의 자질 벡터(Vector)를 생성한다. 생성된 자질 벡터를 지지 벡터 기계(Support Vector Machine)를 이용하여 각 SVM 확률 값(Probability Score)을 얻어 스팸 여부를 결정한다. 3가지의 실험환경에서 바이그램 자질과 이진 가중치를 사용한 기본 시스템보다 F1-Score의 약 최대 2.7%, 최소 0.5%까지 향상되었으며, 결과적으로 평균 약 1.35%의 성능 향상을 얻을 수 있었다.

  • PDF

음성 정보와 DTW 알고리즘을 활용한 성인 컨텐츠 필터링 (Adult Contents Filtering using Voice Information and DTW)

  • 조정익;이일병
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국지능시스템학회 2008년도 춘계학술대회 학술발표회 논문집
    • /
    • pp.432-434
    • /
    • 2008
  • 본 논문은 필터링 수행율을 향상시키기 위해, DTW 알고리즘을 제시한다. 여기에서 말하는 컨텐츠 필터링은 음성의 특징을 사용해서 컨텐츠를 구분하는 것을 확인하는 기술이다. 즉, 이 방법이 일반 컨텐츠와 성인 컨텐츠를 구분한다. 음성에 대한 정보를 추출하는 방법이 컨텐츠를 필터링하는데 있어서 기여를 할 수 있다. 즉, DTW 알고리즘을 사용하여 필터링 인식률을 향상하는 방법이라고 제안을 한다. 마지막으로, 본 논문에서 제안한 방법의 적용 가능성과 일반성을 평가하기위하여 수치적인 예를 적용한다. 제안하는 성질의 정확도를 시험하기 위해서 실험을 제공하였다. 결과적으로 일반 컨텐츠와 성인 컨텐츠 특성의 차이를 알았다. 추후에 이 성질을 필터링 성능 향상에 응용할 수 있다.

  • PDF

협력적 필터링 알고리즘의 예측 성과와 사용자 선호도 평가치 특성과의 관계에 관한 연구

  • 이희춘;이석준
    • 대한안전경영과학회:학술대회논문집
    • /
    • 대한안전경영과학회 2012년 추계학술대회
    • /
    • pp.87-92
    • /
    • 2012
  • 본 연구는 전자상거래에서 협력적 필터링 알고리즘을 통한 사용자의 선호도 예측 정확도와 사용자가 평가한 선호도 평가치의 관계를 분석하여 알고리즘의 예측 정확도에 영향을 미치는 평가치의 통계적 특성에 관하여 연구한다. 협력적 필터링 알고리즘의 예측 정확도는 상품에 대해 공통의 관심을 갖는 이웃 사용자들의 선정과 이들의 선호도 경향이 중요한 요인이지만 본 연구에서는 선호도 예측을 위한 자신의 선호도 평가치 특성이 알고리즘에 중요한 요인임을 제시한다. 이러한 평가치의 평균, 표준편차, 왜도, 첨도 등과 같은 통계적 특성이 선호도 예측 정확도와 연관성이 있음을 제시하여 차후 연구에서 선호도 예측 이전에 사용자의 선호도 예측성과에 대한 사전평가의 가능성을 제시하고자 한다.

  • PDF

유전 알고리즘을 이용한 도파관 스텁 구조의 최적화 (Optimization of a waveguide with stubs based on the genetic algorithm)

  • 조용희
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2009년도 춘계 종합학술대회 논문집
    • /
    • pp.648-651
    • /
    • 2009
  • 다양한 통신시스템 설계에 사용되는 다중 스텁 도파관 구조가 주파수 필터링 특성을 가진 것을 모드정합법을 이용해 보인다. 주파수 필터링 특성을 가진 다중 스텁 도파관 구조의 통과 대역과 차단 대역을 자동으로 설계하기 위해 적합도 함수를 정의하고 유전 알고리즘으로 구현 가능함을 보인다. 스텁 도파관 구조가 주파수 필터링 특성을 가진 것을 수치해석적으로 보이고 다양한 매개변수에 대한 특성변화를 관찰한다.

  • PDF

본문과 덧글의 동시출현 자질을 이용한 역 카이제곱 기반 블로그 덧글 스팸 필터 시스템 (A Comment Spam Filter System based on Inverse Chi-Square Using of Co-occurrence Feature Between Comment and Blog Post)

  • 전희원;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2007년도 제19회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.122-127
    • /
    • 2007
  • 최근 대표적인 1인 미디어의 형태인 블로그는 개인 기록의 수단뿐만 아니라 기업의 홍보에까지 널리 사용되는 인터넷 미디어이다. 그러나 누구나 글을 쓸 수 있다는 자유로움 이면에 이를 이용한 덧글 스팸이 성행이 성행하고 있다. 일반적인 스팸 필터의 경우 그 해당 덧글만을 가지고 스팸 필터링을 한다. 그러나 특성상 스팸인 덧글이 정상인 덧글보다 상대적으로 짧기 때문에 일반적인 덧글 자체만의 필터링 방법으로는 높은 정확도를 기대하기 힘든 단점이 있다. 본 논문에서는 정상인 덧글과 본문간의 내용상의 유사도가 있음을 가정해 이런 정보를 역카이제곱 분류기에 동시출현(co-occurrence) 정보로 부여함으로써 스팸 필터의 정확도를 높이고자 했으며, 실제 그러한 정보를 추가함으로 단순한 확률기반 스팸 필터링 방법을 사용하는 것보다 스팸 필터의 전반적인 성능이 상승되었음을 실험 결과를 통해 알 수 있었다.

  • PDF

실시간 2차원 Separable 메디안 필터 (Real-time 2-D Separable Median Filter)

  • Jae Gil Jeong
    • 한국컴퓨터산업학회논문지
    • /
    • 제3권3호
    • /
    • pp.321-330
    • /
    • 2002
  • 2차원 메디안필터는 정지영상 및 동영상 신호처리 분야에 많이 활용되고 있다. 최근의 급속한 VLSI기술의 발전은 적절한 비용으로 실시간 2차원 메디안 필터의 구현을 가능하게 하여 주고 있다. 효율적인 VLSI구현을 위해서는 적은 양의 메모리 사용, 규칙적인 계산, 지역 데이터 전달 등의 특성을 갖는 알고리즘과 VLSI 구조가 필수적이다. 본 논문에서는 위와 같은 특성을 갖는 새로운 실시간 2차원 메디안필터의 VLSI구조를 제안하였다. 이를 위하여 메디안필터링 알고리즘을 분석하여 메디안 필터링 알고리즘에 내재되어 있는 병렬처리 특성, 특히 파이프라인 가능성을 최대한 활용할 수 있도록 하였다. 또한 Separable 2차원 메디안 필터링 알고리즘을 사용하여 하드웨어 복잡성을 크게 감소시켰다. Separable 2차원 메디안필터는 기존의 메디안필터와 거의 유사한 성능을 보여주었으며 bit-slice pipeline median searching 알고리즘은 기존의 메디안 필터에서 문제가 되었던 window의 크기에 따라 하드웨어 복잡성이 크게 증가하는 문제를 해결하여 window 크기에 관계없이 2차원 실시간 메디안 필터의 VLSI 구현을 가능하게 하여 주었다. C 언어를 이용한 행위레벨 시뮬레이션을 통하여 성능을 확인하고 분석하였다.

  • PDF

송.수신 이메일의 학습을 통해 긍정 오류를 줄이는 개선된 베이지안 필터링 기법 (Improved Bayesian Filtering mechanism to reduce the false positives by training both Sending and Receiving e-mails)

  • 김두환;유종덕;정수환
    • 정보보호학회논문지
    • /
    • 제18권2호
    • /
    • pp.129-137
    • /
    • 2008
  • 본 논문에서는 기존의 베이지안 필터링 방식에서 발생하는 긍정 오류를 줄이기 위한 개선된 베이지안 필터링 기법을 제안한다. 기존의 베이지안 필터링 방식에서는 이메일 서버에서 학습한 DB를 일괄적으로 개별 사용자들에게 적용한다. 또한 수신 이메일 위주의 학습 방식은 양질의 정상 DB를 학습하는데 어려움을 준다. 이러한 문제로 인해 기존의 베이지안 필터링 기법에서는 정상 이메일을 스팸 이메일로 판단하는 긍정 오류가 발생한다. 제안 기법에서는 사용자의 송신 이메일을 양질의 정상 DB 정보로 판단하여 베이지안 정상 DB에 자동으로 학습한다. 뿐만 아니라 개별 사용자에게 독립적인 베이지안 DB를 제공하여 사용자 개개인의 이메일 송 수신 특성을 고려한 필터링 서비스를 제공한다. 제안 기법은 기존의 베이지안 필터링 기법보다 필터링의 정확성에서 평균 3.13% 향상된 결과를 보인다.

초음파 데이터에서 실시간 잡음 감쇄를 이용한 광선 투사법 (Volume Ray Casting for Ultrasound Data Using Real-Time Noise Reduction)

  • 서강희;권구주;신병석
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2005년도 춘계학술발표대회
    • /
    • pp.1623-1626
    • /
    • 2005
  • 초음파 영상 기법은 장기, 연조직, 혈류를 검사하는데 쓰이는 영상 진단법이다. 초음파 장비를 통해 얻어진 초음파 볼륨 데이터는 장비 특성상 많은 잡음(speckle noise)을 포함하기 때문에, 깨끗한 영상을 얻기 위해서는 잡음 필터링(noise filtering)이 필요하다. 그런데, 볼륨 데이터 모든 영역에 대해 잡음 필터링을 적용할 경우 전처리 시간이 길어져 실시간으로 초음파 볼륨 데이터를 렌더링하기 어렵다. 본 논문에서는 실시간으로 입력되는 초음파 볼륨 데이터를 가시화 하기위하여 전처리 시간 없이 잡음을 제거하는 방법을 제안한다. 전처리 시간에 전체 볼륨 데이터에 대해 잡음 필터링을 적용하지 않고, 영상을 생성하는 동안 참조되는 복셀(voxel)에 대해서만 잡음 필터를 적용하여 얻은 값을 사용한다. 이때 필터링에 소요되는 시간을 최소화하기 위해 가장 단순한 평균화 필터를 사용한다. 그리고 복셀에 적용되는 3차원 필터를 3단계의 1차원 필터 연산 단계로 분할 한 후, 각 단계별 연산을 거친 복셀들에 대해서는 다시 연산을 하지 않도록 하여 중복을 피한다. 이를 통해 전처리 시간 없이 기존 방법과 동일한 화질을 유지하는 최종 영상을 만들어 낸다.

  • PDF

CDCTLMS를 이용한 변환평면 적응 필터링 (Transform Domain Adaptive Filtering with a Chirp Discrete Cosine Transform LMS)

  • 전창익;여송필;전광석;이진;김성환
    • 한국음향학회지
    • /
    • 제19권8호
    • /
    • pp.54-62
    • /
    • 2000
  • 적응 필터링 기법은 시간에 따라 신호의 통계적 특성이 변화한때 많이 응용되는 신호처리의 분야이다. 적응필터의 성능 평가는 보통 구조의 복잡도 (complexity), 수렴 속도 (convergence speed) 및 오조정 (misadjustment)을 가지고 평가한다. 적응 필터의 실시간 구현을 위해서는 구조가 간단해야 피고 수렴속도는 빨라야 한다. 본 연구에서는 수렴속도 향상을 위해 변환 평면에서의 적응 필터링 기법에 대해 제안하였다. 먼저 CZT (Chirp Z-Transform)의 주파수 확대해석하는 특성과 DCT (Discrete Cosine Transform)의 실수연산 특성을 모두 가지는 CDCT (Chirp Discrete Cosine Transform)을 제안하였고, 이를 이용한 CDCTLMS (Chirp Discrete Cosine Transform LMS)을 제안하였다. 제안된 방법은 기존의 NLMS (normalized least mean square)알고리즘과 대표적인 변환평면 적응 필터링 방법인 DCTLMS (discrete cosine transform LMS) 알고리즘과의 학습곡선 (loaming curve)의 비교를 통하여 우수함을 입증하였으며 실제 초음파 신호처리에의 응용을 보였다.

  • PDF

고해상도 비디오 압축을 위한 향상된 분리 적응형 보간 필터 (An Enhanced Separable Adaptive Interpolation Filter for High-Definition Video Compression)

  • 윤여진;정승원;최해철;최진수;고성제
    • 한국방송∙미디어공학회:학술대회논문집
    • /
    • 한국방송공학회 2009년도 추계학술대회
    • /
    • pp.53-56
    • /
    • 2009
  • 최근 HD 방송의 실현과 함께 HDTV가 빠르게 상용화되면서 고화질 비디오를 더 효율적으로 압축하기 위한 기술 개발이 활발하게 진행되고 있다. 최신 표준 비디오 압축 방식인 H.264/AVC에서는 고정 6탭 필터를 사용하여 참조 영상을 보간하고 움직임 예측을 수행하는데, 이의 압축 효율을 향상시키기 위하여 고정 필터를 개선한 비분리 적응형 보간 필터가 개발되었다. 하지만 비분리 적응형 보간 필터는 압축률뿐만 아니라 계산량도 증가하는 단점이 있기 때문에 2차원 필터를 1차원 필터의 연결로 모델링 한 분리 적응형 보간 필터가 개발되었고, 그 결과 압축률은 비슷하게 유지하면서 계산량을 훨씬 줄일 수 있게 되었다. 분리 적응형 보간 필터는 1차원 필터 모델링을 할 때, 수평방향의 필터링 수행 후 수직방향 필터링을 하기 때문에 이를 통해 만들어진 보간 영상은 원 영상의 수평방향에 대한 특성을 더 많이 반영하게 된다. 따라서 수직방향으로 더 높은 주파수 특성을 갖는 영상의 경우에는 효율이 떨어지게 된다. 이를 고려하여 본 논문에서는 영상의 수직방향 주파수 특성을 더 많이 반영할 수 있는 보간 필터를 추가함으로써 영상의 주파수 특성에 따라 보간 필터를 적응적으로 선택하는 향상된 분리 적응형 보간 필터를 제안한다. 제안한 알고리즘을 이용할 경우 기존의 분리 적응형 보간 필터에 비해 움직임 예측 및 보상이 더 정확하게 이뤄질 수 있으며, 부호화 효율이 향상됨을 확인할 수 있다.

  • PDF