• 제목/요약/키워드: Machine-learning Filtering Technique

검색결과 25건 처리시간 0.024초

머신러닝을 이용한 3차원 도로객체의 분류 (Classification of 3D Road Objects Using Machine Learning)

  • 홍송표;김의명
    • 한국측량학회지
    • /
    • 제36권6호
    • /
    • pp.535-544
    • /
    • 2018
  • 급변하는 주변상황이나 대형차량과 같은 큰 지형지물에 센서가 가려질 경우에는 센서만을 이용한 완전 자율주행에는 한계가 따른다. 이에 자율주행을 위해서 센서를 이용한 한계점을 극복할 수 있도록 정밀한 도로지도를 부가적으로 이용하는 방법이 사용되고 있다. 본 연구는 국토지리정보원에서 제공하는 지상 MMS(Mobile Mapping System)로 취득된 3차원 점군자료를 이용하여 도로 객체를 분류하는 연구를 수행하였다. 본 연구를 위해서 원본 3차원 점군자료를 전처리 하고, 지면과 비지면점을 분리하기 위한 필터링 기법을 선정하였다. 또한 차선, 가로등, 안전펜스 등에 해당하는 도로객체를 초기 분할한 후 분할된 객체를 머신러닝의 종류인 서포트 벡터 머신을 이용하여 학습시킨 후 분류하였다. 학습데이터는 분할된 도로객체에서 추출한 고유값을 이용한 기하학적 요소와 높이정보만을 사용하였으며 분류결과 전체정확도는 87%, 카파계수는 0.795로 나타났다. 향후 도로객체의 분류를 위하여 기하학적인 요소 뿐만 아니라 다양한 항목을 추가한다면 분류정확도가 높아질 것으로 예상된다.

베이지안을 이용한 인터넷 커뮤니티 상의 유해 메시지 차단 기법 (Spam Message Filtering with Bayesian Approach for Internet Communities)

  • 김범배;최형기
    • 정보처리학회논문지C
    • /
    • 제13C권6호
    • /
    • pp.733-740
    • /
    • 2006
  • 스팸의 피해가 이메일 서비스를 넘어 인터넷 전반에 걸쳐 급증하는 현재 인터넷은 익명성을 악용하여 해당 커뮤니티의 공동 관심사와는 무관한 메시지들, 즉 상업적 광고, 상호비방, 종교 홍보 등의 스팸 메시지들을 게재하면서 심각한 사회적 문제를 일으키고 있다. 본고에서는 인터넷 커뮤니티 상의 스팸 메시지를 해결하고자 기존의 스팸 메일 차단에 이용되고 있는 베이지안 접근법을 적용한 인터넷 커뮤니티 상의 스팸 메시지 차단 방법을 소개한다. 나아가 인터넷 커뮤니티 상에서의 스팸 메시지 필터링의 효과를 증대시키기 위한 방편으로 스팸 메시지를 다양한 소분류로 세분화가 가능토록 구성했다 이는 인터넷 커뮤니티의 다양한 이용자의 요구를 충족시키기 위한 방안이다. 구현된 베이지안 필터링 기법은 현재 운영되고 있는 사이트들을 대상으로 정확도를 측정하였다.

트위터 기반 이벤트 탐지에서의 기계학습을 통한 지명 노이즈제거 (Geographical Name Denoising by Machine Learning of Event Detection Based on Twitter)

  • 우승민;황병연
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권10호
    • /
    • pp.447-454
    • /
    • 2015
  • 본 논문에서는 트위터 기반 이벤트 탐지에서의 기계학습을 통한 지명 노이즈제거 방식을 제안한다. 최근 스마트폰 이용자의 증가로 소셜 네트워크 서비스(SNS) 이용자가 증가하고 있는 추세이다. 그중 트위터는 140자 이내의 단문서비스와 팔로우 기능으로 정보의 빠른 전달력과 확산성을 가지고 있다. 이러한 특성과 모바일에 최적화된 트위터의 특성상 정보 전달 속도가 매우 빠르기 때문에 재난 상황이나 이벤트 전달의 매개체 역할을 하고 있다. 이와 관련된 연구로는 트위터 사용자 개개인을 이벤트 탐지의 센서로 사용하여 현실에서 발생하는 이벤트를 탐지하였는데 이벤트가 특정 장소에서 발생한다는 특성을 이용해서 지명 키워드를 사용하였다. 그러나 지명과 동형이의어 관계에 관한 노이즈제거에 대한 부분이 누락되어있어서 이벤트 탐지의 정확도를 낮추는 요인이 된다. 이에 본 논문에서는 제거와 예측 두 가지 방식으로 노이즈제거 기법을 적용하였다. 먼저 노이즈 관련 데이터베이스 구축을 이용하여 제거 필터링을 진행한 후에 나이브 베이지안 분류를 이용해서 지명 유무를 결정하였다. 실험 데이터를 이용해서 기계학습을 위한 확률값을 구했으며, 지명마다 본 논문에서 제시하는 예측기법을 검증했을 때 89.6%의 신뢰도로 노이즈제거 기법의 필요성을 보였다.

다중 패턴 인식 기법을 이용한 DWT 전력 스펙트럼 밀도 기반 기계 고장 진단 기법 (Machine Fault Diagnosis Method based on DWT Power Spectral Density using Multi Patten Recognition)

  • 강경원;이경민;칼렙;권기룡
    • 한국멀티미디어학회논문지
    • /
    • 제22권11호
    • /
    • pp.1233-1241
    • /
    • 2019
  • The goal of the sound-based mechanical fault diagnosis technique is to automatically find abnormal signals in the machine using acoustic emission. Conventional methods of using mathematical models have been found to be inaccurate due to the complexity of industrial mechanical systems and the existence of nonlinear factors such as noise. Therefore, any fault diagnosis issue can be treated as a pattern recognition problem. We propose an automatic fault diagnosis method using discrete wavelet transform and power spectrum density using multi pattern recognition. First, we perform DWT-based filtering analysis for noise cancelling and effective feature extraction. Next, the power spectral density(PSD) is performed on each subband of the DWT in order to effectively extract feature vectors of sound. Finally, each PSD data is extracted with the features of the classifier using multi pattern recognition. The results show that the proposed method can not only be used effectively to detect faults as well as apply to various automatic diagnosis system based on sound.

머신러닝을 이용한 공연문화예술 개인화 장르 추천 시스템 (A Personalized Recommendation System Using Machine Learning for Performing Arts Genre)

  • 김형수;박예린;이정민
    • 경영정보학연구
    • /
    • 제21권4호
    • /
    • pp.31-45
    • /
    • 2019
  • 공연문화예술 시장의 확대에도 불구하고, 중소규모 공연장은 소비자의 정보 접근성이 좋지 않아 어려움을 겪고 있다. 본 연구는 중소규모 공연장의 마케팅 역량을 강화할 수 있는 하나의 대안으로써 머신러닝 기반의 장르 추천 시스템을 제시하고자 한다. 국내 한 공연장의 고객 마스터 DB와 거래이력 DB를 활용하여 고객당 3개의 장르를 추천하는 5개의 추천 시스템을 개발하였다. 추천시점 이후 1년 동안의 실제 공연구매 이력을 바탕으로 추천 시스템의 성능을 비교하여 최적의 추천시스템을 제안하였다. 분석 결과, 단일 예측모형보다는 앙상블 모형 기반의 추천시스템이 우수한 성능을 보이는 것으로 나타났다. 본 연구는 공연문화예술 분야에는 일천했던 개인화 추천 기법을 적용했고, 분석 결과 공연문화예술 분야에서도 충분히 활용할 만한 가치가 있음을 시사하고 있다.

기계학습기법을 이용한 광고 외식 블로그의 자동분류 (Automatic Classification of Advertising Restaurant Blogs Using Machine Learning Techniques)

  • 장재영;이병준;조세진;한다혜;이규홍
    • 한국인터넷방송통신학회논문지
    • /
    • 제16권2호
    • /
    • pp.55-62
    • /
    • 2016
  • 최근 들어 블로그가 제공하는 정보를 활용하여 외식업소를 선택하는 사용자가 크게 늘고 있다. 그러나 국내의 외식관련 블로그들은 파워 블로거에 의한 광고 블로그들이 다수를 차지하고 있어 신뢰성을 잃은 지 오래다. 따라서 블로그의 신뢰성을 확보하기 위해서는 허위 또는 과장되게 작성된 광고 블로그들을 필터링하는 기술이 필수적이다. 본 논문에서는 자동분류 기술을 이용하여 광고 블로그들을 판별하는 기법을 제안한다. 제안된 기법에서는 우선 외식 블로그들 중에서 광고 블로그로 판명된 블로그들을 수집하고 이들에 공통적으로 나타나는 특징들을 분석하였다. 이렇게 추출된 특징들을 이용하여 데이터 마이닝의 자동 분류 알고리즘을 적용하여 광고 블로그 여부를 판단하였다. 또한 다양한 실험을 통해 최적의 알고리즘과 특징들을 선별하였다.

온라인 음악 콘텐츠 추천 시스템 구현을 위한 협업 필터링 기법들의 비교 평가 (Evaluation of Collaborative Filtering Methods for Developing Online Music Contents Recommendation System)

  • 유영석;김지연;손방용;정종진
    • 전기학회논문지
    • /
    • 제66권7호
    • /
    • pp.1083-1091
    • /
    • 2017
  • As big data technologies have been developed and massive data have exploded from users through various channels, CEO of global IT enterprise mentioned core importance of data in next generation business. Therefore various machine learning technologies have been necessary to apply data driven services but especially recommendation has been core technique in viewpoint of directly providing summarized information or exact choice of items to users in information flooding environment. Recently evolved recommendation techniques have been proposed by many researchers and most of service companies with big data tried to apply refined recommendation method on their online business. For example, Amazon used item to item collaborative filtering method on its sales distribution platform. In this paper, we develop a commercial web service for suggesting music contents and implement three representative collaborative filtering methods on the service. We also produce recommendation lists with three methods based on real world sample data and evaluate the usefulness of them by comparison among the produced result. This study is meaningful in terms of suggesting the right direction and practicality when companies and developers want to develop web services by applying big data based recommendation techniques in practical environment.

Accurate and Efficient Log Template Discovery Technique

  • Tak, Byungchul
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권10호
    • /
    • pp.11-21
    • /
    • 2018
  • In this paper we propose a novel log template discovery algorithm which achieves high quality of discovered log templates through iterative log filtering technique. Log templates are the static string pattern of logs that are used to produce actual logs by inserting variable values during runtime. Identifying individual logs into their template category correctly enables us to conduct automated analysis using state-of-the-art machine learning techniques. Our technique looks at the group of logs column-wise and filters the logs that have the value of the highest proportion. We repeat this process per each column until we are left with highly homogeneous set of logs that most likely belong to the same log template category. Then, we determine which column is the static part and which is the variable part by vertically comparing all the logs in the group. This process repeats until we have discovered all the templates from given logs. Also, during this process we discover the custom patterns such as ID formats that are unique to the application. This information helps us quickly identify such strings in the logs as variable parts thereby further increasing the accuracy of the discovered log templates. Existing solutions suffer from log templates being too general or too specific because of the inability to detect custom patterns. Through extensive evaluations we have learned that our proposed method achieves 2 to 20 times better accuracy.

메타 속성을 융합한 기계 학습 기반 화재 뉴스 필터링 기법 (Machine Learning Based Fire News Filtering Technique Incorporating Meta-features)

  • 김태준;김한준
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2016년도 추계학술발표대회
    • /
    • pp.746-749
    • /
    • 2016
  • 주제 기반 크롤링(Topical Crawling)으로 수집된 문서들은 서로 비슷한 단어들을 가지고 있기 때문에 정작 주어진 주제에 적합하지 않은 문서 들을 포함할 수 있다. 이를 해결하기 위해 특정 주제에 해당하는 문서만을 필터링하는 작업이 필요하다. 본 논문은 화재 뉴스 기사에 대한 필터링을 위해 단어 기반 속성과 어울려 화재 뉴스 기사의 특성을 고려한 메타 데이터 속성을 추출하여 이에 특화된 기계학습 메커니즘을 제안하였다. 제안 기법의 F1-측정치는 92.1 %로서, 현재 최고의 성능을 보이는 SVM, 나이브베이즈 알고리즘보다. 2~3% 개선된 것이다.

SkyMapper Optical Follow-up of Gravitational Wave Triggers: Overview of Alert Science Data Pipeline (AlertSDP)

  • Chang, Seo-Won
    • 천문학회보
    • /
    • 제46권1호
    • /
    • pp.61.2-61.2
    • /
    • 2021
  • SkyMapper is the largest-aperture optical wide-field telescope in Australia and can be used for transient detection in the Southern sky. Reference images from its Southern Survey cover the sky at δ <+10 deg to a depth of I ~ 20 mag. It has been used for surveys of extragalactic transients such as supernovae, optical counterparts to gravitational-wave (GW) and fast radio bursts. We adopt an ensemble-based machine learning technique and further filtering scheme that provides high completeness ~98% and purity ~91% across a wide magnitude range. Here we present an important use-case of our robotic transient search, which is the follow-up of GW event triggers from LIGO/Virgo. We discuss the facility's performance in the case of the second binary neutron star merger GW190425. In time for the LIGO/Virgo O4 run, we will have deeper reference images for galaxies within out to ~200 Mpc distance, allowing rapid transient detection to i ~ 21 mag.

  • PDF