• 정보처리학회논문지C
• /
• 제13C권2호
• /
• pp.259-266
• /
• 2006

스팸 메일의 양의 급증함에 따라, 다양한 스팸 메일 필터링 기법이 제시되고 있다. 이런 필터링 기법 가운데, 학습 기반 필터링 기법은 현재 가장 보편화된 필터링 기법 가운데 하나이다. 본고에서는 신경망과, 유전자알고리즘, 카이제곱통계를 이용한 학습 기반 필터링 기법을 제시한다. 제안된 필터링 기법은 기존 필터링 기법의 문제를 해결하고, 스팸 메일 필터링에 높은 정확도를 제공할 수 있다 제안된 필터링 기법은 스팸메일 필터링 정확도와 정상 메일 필터링 정확도에서 각각 95.25%와 95.31%의 높은 정확도를 보인다. 이런 실험 결과는 기존의 규칙 기반 필터링 기법과 베이지안 필터링 기법에 비해 각각 7%, 12% 이상 높은 수치이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2014년도 제26회 한글 및 한국어 정보처리 학술대회
• /
• pp.95-99
• /
• 2014

본 논문에서는 최근 급속히 증가하여 사회적 이슈가 되고 있는 SMS 스팸 필터링을 위한 듀얼 SMS 스팸필터링 기법을 제안한다. 지속적으로 증가하고 새롭게 변형되는 SMS 문자 필터링을 위해서는 패턴 및 스팸 단어 사전을 통한 필터링은 많은 수작업을 요구하여 부적합하다. 그리하여 기계 학습을 이용한 자동화 시스템 구축이 요구되고 있으며, 효과적인 기계 학습을 위해서는 자질 선택과 자질의 가중치 책정 방법이 중요하다. 하지만 SMS 문자 특성상 문장들이 짧기 때문에 출현하는 자질의 수가 적어 분류의 어려움을 겪게 된다. 이 같은 문제를 개선하기 위하여 본 논문에서는 슬라이딩 윈도우 기반 N-gram 확장을 통해 자질을 확장하고, 확장된 자질로 그래프를 구축하여 얕은 구조적 특징을 표현한다. 학습 데이터에 출현한 N-gram 자질을 정점(Vertex)으로, 자질의 출현 빈도를 그래프의 간선(Edge)의 가중치로 설정하여 햄(HAM)과 스팸(SPAM) 그래프를 각각 구성한다. 이렇게 구성된 그래프를 바탕으로 노드의 중요도와 간선의 가중치를 활용하여 최종적인 자질의 가중치를 결정한다. 입력 문자가 도착하면 스팸과 햄의 그래프를 각각 이용하여 입력 문자의 2개의 자질 벡터(Vector)를 생성한다. 생성된 자질 벡터를 지지 벡터 기계(Support Vector Machine)를 이용하여 각 SVM 확률 값(Probability Score)을 얻어 스팸 여부를 결정한다. 3가지의 실험환경에서 바이그램 자질과 이진 가중치를 사용한 기본 시스템보다 F1-Score의 약 최대 2.7%, 최소 0.5%까지 향상되었으며, 결과적으로 평균 약 1.35%의 성능 향상을 얻을 수 있었다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2016년도 추계학술발표대회
• /
• pp.746-749
• /
• 2016

주제 기반 크롤링(Topical Crawling)으로 수집된 문서들은 서로 비슷한 단어들을 가지고 있기 때문에 정작 주어진 주제에 적합하지 않은 문서 들을 포함할 수 있다. 이를 해결하기 위해 특정 주제에 해당하는 문서만을 필터링하는 작업이 필요하다. 본 논문은 화재 뉴스 기사에 대한 필터링을 위해 단어 기반 속성과 어울려 화재 뉴스 기사의 특성을 고려한 메타 데이터 속성을 추출하여 이에 특화된 기계학습 메커니즘을 제안하였다. 제안 기법의 F1-측정치는 92.1 %로서, 현재 최고의 성능을 보이는 SVM, 나이브베이즈 알고리즘보다. 2~3% 개선된 것이다.

• 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
• /
• 한국정보과학회언어공학연구회 2019년도 제31회 한글 및 한국어 정보처리 학술대회
• /
• pp.221-224
• /
• 2019

딥러닝을 이용한 Neural Machine Translation(NMT)의 등장으로 기계번역 분야에서 기존의 규칙 기반,통계기반 방식을 압도하는 좋은 성능을 보이고 있다. 본 논문은 기계번역 모델도 중요하지만 무엇보다 중요한 것은 고품질의 학습데이터를 구성하는 일과 전처리라고 판단하여 이에 관련된 다양한 실험을 진행하였다. 인공신경망 기계번역 시스템의 학습데이터 즉 병렬 코퍼스를 구축할 때 양질의 데이터를 확보하는 것이 무엇보다 중요하다. 그러나 양질의 데이터를 구하는 일은 저작권 확보의 문제, 병렬 말뭉치 구축의 어려움, 노이즈 등을 이유로 쉽지 않은 상황이다. 본 논문은 고품질의 학습데이터를 구축하기 위하여 병렬 코퍼스 필터링 기법을 제시한다. 병렬 코퍼스 필터링이란 정제와 다르게 학습 데이터에 부합하지 않다고 판단되며 소스, 타겟 쌍을 함께 삭제 시켜 버린다. 또한 기계번역에서 무엇보다 중요한 단계는 바로 Subword Tokenization 단계이다. 본 논문은 다양한 실험을 통하여 한-영 기계번역에서 가장 높은 성능을 보이는 Subword Tokenization 방법론을 제시한다. 오픈 된 한-영 병렬 말뭉치로 실험을 진행한 결과 병렬 코퍼스 필터링을 진행한 데이터로 만든 모델이 더 좋은 BLEU 점수를 보였으며 본 논문에서 제안하는 형태소 분석 단위 분리를 진행 후 Unigram이 반영된 SentencePiece 모델로 Subword Tokenization를 진행 하였을 시 가장 좋은 성능을 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 하계학술대회
• /
• pp.107-108
• /
• 2014

부화소 기반 영상 축소기법은 각각의 부화소를 조절함으로써 픽셀 기반 영상 축소기법보다 해상도를 향상시킬 수 있는 방법이다. 그러나 부화소에 의한 해상도의 증가는 종종 색상정보의 왜곡을 발생시킨다. 부화소 랜더링의 주요과제는 선명도를 유지함과 동시에 색조왜곡현상을 억제하는 것이다. 선행연구들은 부화소랜더링을 위해 1 차원 혹은 2 차원 필터를 최적화 하였지만, 지역적인 특성을 고려하지 않았기 때문에 출력영상의 화질이 저하되는 현상이 발생한다. 본 논문은 위와 같은 문제를 해결하기 위해 내용적응형 2D FIR 필터를 제작방법을 제안한다. 제안필터는 충분한 수의 저해상도 패치와 고해상도 패치 쌍을 이용하여 임의의 고해상도 패치로부터 고화질의 저해상도 패치를 만들기 위한 최적의 내용적응형 2D FIR 필터를 학습한다. 학습된 필터에 의한 실험결과 제안하는 필터가 종례기법들 보다 색조왜곡현상이 현저히 줄어들고, 출력영상의 선명도를 유지함을 보여준다.

• 한국지능정보시스템학회:학술대회논문집
• /
• 한국지능정보시스템학회 2005년도 공동추계학술대회
• /
• pp.526-535
• /
• 2005

우리나라의 주민등록증은 주소지, 주민등록 변호, 얼굴사진, 지문 등 개개인의 방대한 정보를 가진다. 현재의 플라스틱 주민등록증은 위조 및 변조가 쉽고 날로 전문화 되어가고 있다. 따라서 육안으로 위조 및 변조 사실을 쉽게 확인하기가 어려워 사회적으로 많은 문제를 일으키고 있다. 이에 본 논문에서는 주민등록증 영상을 자동 인식할 수 있는 개선된 ART2 기반 RBF 네트워크와 얼굴인증을 이용한 주민등록증 자동 인식 방법을 제안한다. 제안된 방법은 주민등록증 영상에서 주민등록번호와 발행일을 추출하기 위하여 영상을 소벨마스크와 미디언 필터링을 적용한 후에 수평 스미어링을 적용하여 주민등록번호와 발행일 영역을 검출한다. 그리고 4 방향 윤곽선 추적 알고리즘으로 개별 문자를 추출하기 위한 전 단계로 주민등록증 영상에 대해 고주파 필터링을 적용하여 주민등록증 영상 전체를 이진화 한다. 이진화된 주민등록영상에서 COM 마스크를 적용하여 주민등록번호와 발행일 코드를 복원하고 검출된 각 영역에 대해 4 방향 윤곽선 추적 알고리즘으로 개별 문자를 추출한다. 추출된 개별 문자는 개선된 ART2 기반 RBF 네트워크를 제안하여 인식에 적용한다. 제안된 ART2 기반 RBF 네트워크는 학습 성능을 개선하기 위하여 중간충과 출력층의 학습에 퍼지 제어 기법을 적용하여 학습률을 동적으로 조정한다. 얼굴인증은 템플릿 매칭 알고리즘을 이용하여 얼굴 템플릿 데이터베이스를 구축하고 주민등록증애서 추출된 얼굴영역과의 유사도를 측정하여 주민등록증 얼굴 영역의 위조여부를 판별한다.

• 정보관리학회지
• /
• 제20권3호
• /
• pp.111-127
• /
• 2003

이 연구의 목적은 사건을 연구대상으로 하는 사건트래킹 기법이 과연 최신 사건 정보를 검색함에 있어 기존의 정보필터링 기법보다 성능이 우수한가를 살펴보는 데 있다. 따라서 이 연구에서는 특정 사건에 관한 최신 기사를 보다 효과적으로 검색하여 제공하는 기법을 찾아내기 위하여 kNN(k-Nearest Neighbors) 분류기를 응용한 사건트래킹 기법과 질의기반 정보필터링 기법을 사용하여 사건검색 실험을 수행한 후 두 기법의 검색 성능을 비교하였다. 사건트래킹 실험은 초기의 고정 학습문서 집합을 사용한 사건트래킹과 트래킹 과정에서 변화하는 동적 학습문서 집합을 사용한 사건트래킹의 두 가지 방법으로 수행되었다. 정보필터링 실험도 초기질의를 사용한 정보 필터링과 필터링 과정에서 계속 수정되는 질의를 사용한 정보필터링의 두 가지 방법으로 수행되었다. 실험 결과 사건트래킹 기법에서는 고정 학습문서 집합을 사용한 경우가 동적 학습문서 집합을 사용한 경우보다 더 우수한 성능을 보였으며, 정보필터링 기법에서는 초기질의를 사용한 경우가 수정질의를 사용한 경우보다 더 좋은 성능을 보였다. 또한 고정 학습문서 집합을 사용한 사건트래킹과 초기질의를 사용한 정보필터링을 비교한 결과 정보필터링 기법이 사건트래킹 기법에 비해 더 좋은 사건검색 성능을 보이는 것으로 나타났다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2019년도 추계학술발표대회
• /
• pp.998-1001
• /
• 2019

최근에 게임이나 채팅 프로그램 내에서의 비속어 필터링은 금칙어 기반으로 운영되고 있다. 하지만 금칙어 기반의 프로그램은 여러 한계점을 보이며, 따라서, 본 논문에서는 'Text-CNN'을 활용한 딥러닝 기법에 기반하여 비속어 필터링 프로그램을 제안한다. 데이터의 자질을 '자모' 단위로 전처리하여 학습시키고 어느 부분이 비속어인지 검출하여 마스킹 처리하는 'LIME 알고리즘'을 사용하여 우리의 프로그램을 이용하는 사용자들에게 바른 언어습관을 지향하며 더 나아가 올바른 인터넷 문화를 조성할 수 있도록 필터링 채팅 프로그램을 제안한다.

• 정보과학회 컴퓨팅의 실제 논문지
• /
• 제23권1호
• /
• pp.57-64
• /
• 2017

문자 메시지는 휴대폰을 사용하는 사람들에게 중요한 의사소통의 방법 중 하나이다. 또한 친구맺기 방식이 필요 없이 사용이 가능하기 때문에 이를 악용한 불법 광고 스팸메시지가 기승을 부리고 있다. 최근 스팸 필터링을 위해 기계 학습을 이용한 시스템들이 등장 하였지만 많은 계산을 필요로 하는 단점이 있다. 본 논문에서는 검색할 쿼리를 입력할 때 부정확한 쿼리를 입력하더라도 저장된 데이터베이스와 비교하여 가장 비슷한 단어를 차수 개념을 적용하여 유추하는 집합 기반 POI(Point of Interest) 검색 알고리즘을 이용하여 스팸 필터링 시스템을 구현하였다. 이 알고리즘을 적용하면 서버 컴퓨팅 없이 문자의 조합만을 이용해 쿼리를 유추할 수 있기 때문에 스팸 필터링에 적용하여 입력된 문자메시지가 교묘하게 변형되더라도 스팸이라고 필터링이 가능하다. 또한 문장 유사도 측정 기법을 활용하여 스팸 필터링 성능을 향상시켰으며, 스팸 필터링에 취약한 특정 유형도 걸러내기 위해 특정 전처리 과정을 지원함으로써 대부분의 스팸메세지를 필터링 가능하도록 하였다. 기존 집합기반 POI 검색 알고리즘과 이를 확장 시킨 문장 유사도 측정 기법, 특정 전처리 과정을 추가한 시스템으로 필터링 시스템의 성능평가를 진행하였다. 그 결과 본 논문에서 구현한 시스템이 기존 집합기반 POI 알고리즘과 비교하여 향상된 스팸 필터링 성능을 보여주는 것을 확인하였다. 또한 이동통신사 3사에서 필터링에 취약한 유형이 본 논문에서 구현한 시스템으로 높은 성능으로 필터링이 가능하다는 것을 확인하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2002년도 추계학술발표논문집 (상)
• /
• pp.343-346
• /
• 2002

스팸메일이 급증함에 따라 신뢰할 수 있는 전자메일 필터의 요구가 늘어나는 추세다. 스팸메일을 보내는 스패머(spammer)의 거의 대부분은 광고가 주요 목적이다. 멀티미디어(multimedia)기반의 전자메일은 정보전달 및 시각효과가 뛰어나 스패머가 선호하는 전자메일의 한 형태이다. 이런 종류의 전자메일은 텍스트 기반(基盤) 스팸메일 필터의 성능을 떨어뜨리거나 필터링을 아예 불가능하게 한다. 본 연구에서 발신지(發信地) 추적기법과 사례기반학습을 이용해 신뢰할 수 있는 한국어 스팸 메일필터를 설계 및 구현하였다.