• 제목/요약/키워드: Data filtering

검색결과 1,777건 처리시간 0.027초

데이터 마이닝과 칼만필터링에 기반한 단기 물 수요예측 알고리즘 (Short-term Water Demand Forecasting Algorithm Based on Kalman Filtering with Data Mining)

  • 최기선;신강욱;임상희;전명근
    • 제어로봇시스템학회논문지
    • /
    • 제15권10호
    • /
    • pp.1056-1061
    • /
    • 2009
  • This paper proposes a short-term water demand forecasting algorithm based on kalman filtering with data mining for sustainable water supply and effective energy saving. The proposed algorithm utilizes a mining method of water supply data and a decision tree method with special days like Chuseok. And the parameters of MLAR (Multi Linear Auto Regression) model are estimated by Kalman filtering algorithm. Thus, we can achieve the practicality of the proposed forecasting algorithm through the good results applied to actual operation data.

Development of a Personalized Similarity Measure using Genetic Algorithms for Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제23권12호
    • /
    • pp.219-226
    • /
    • 2018
  • Collaborative filtering has been most popular approach to recommend items in online recommender systems. However, collaborative filtering is known to suffer from data sparsity problem. As a simple way to overcome this problem in literature, Jaccard index has been adopted to combine with the existing similarity measures. We analyze performance of such combination in various data environments. We also find optimal weights of factors in the combination using a genetic algorithm to formulate a similarity measure. Furthermore, optimal weights are searched for each user independently, in order to reflect each user's different rating behavior. Performance of the resulting personalized similarity measure is examined using two datasets with different data characteristics. It presents overall superiority to previous measures in terms of recommendation and prediction qualities regardless of the characteristics of the data environment.

RFID 데이터 스트림의 효율적인 필터링 기법 (Efficient Filtering Method for RFID Data Streams)

  • 윤홍원
    • 한국콘텐츠학회논문지
    • /
    • 제7권10호
    • /
    • pp.27-35
    • /
    • 2007
  • RFID 기술은 객체의 추적이나 SCM 시스템에서 중요한 역할을 하고 있으며 RFID 응용에서는 새로운 데이터 관리 방법을 필요로 하고 있다. RFID 데이터는 자동으로 빠르게 생성되며 객체의 실시간 모니터링이나 추적에 사용되고 있다. 이러한 RFID 응용의 대부분은 이벤트가 발생할 때 타임스탬프를 가지는 특성이 있다. 본 논문에서는 RFID 객체를 모니터링하고 상태 변화의 이력을 관리하기 위하여 시간지원 RFID 데이터 모델을 제시하고 이 모델에 기반을 둔 비활성 데이터의 필터링 기법을 제안하다. 제안한 시간지원 RFID 데이터 모델은 RFID 객체를 모니터링할 수 있는 핵심 연산을 포함하고 있으며, 비활성 데이터의 필터링 기법을 통하여 질의 처리의 속도가 향상됨을 보였다.

RFID 무선 프로토콜 필터링의 설계와 확률적 인식 과정 시뮬레이션 (Design of RFID Air Protocol Filtering and Probabilistic Simulation of Identification Procedure)

  • 박현성;김종덕
    • 한국통신학회논문지
    • /
    • 제34권6B호
    • /
    • pp.585-594
    • /
    • 2009
  • RFID 리더에서의 효율적인 필터링은 RFID 시스템의 성능에 있어 중요한 요소이다. RFID 기술 사용이 보편화되면 태그 및 리더의 수가 크게 늘고 리더가 필터링 없이 수집한 태그 정보 모두를 그대로 RFID 응용 시스템으로 전달할 경우 통신망 및 응용 시스템에 부하를 증가시켜 성능에 악영향을 미치기 때문이다. 본 논문은 RFID 무선 프로토콜 구간 필터링과 무선 인식 후 필터링이라는 단계적인 필터링 기능 조합으로 효과적으로 필터링을 수행하는 방법을 제안한다. 특히 계산 기하학을 활용하여 무선 프로토콜 구간의 필터링을 효율적으로 수행할 수 있는 구체적 방법론을 제시하였다. 시뮬레이션을 통해 제안한 방법의 성능을 검증하였는데 무선 프로토콜 구간의 필터링 없이 수행한 순차적인 필터링에 비해 성능이 50% 정도 개선됨을 확인하였다.

고속 RFID 필터링 엔진의 설계와 캐쉬 기반 성능 향상 (Design of a High-Speed RFID Filtering Engine and Cache Based Improvement)

  • 박현성;김종덕
    • 한국통신학회논문지
    • /
    • 제31권5A호
    • /
    • pp.517-525
    • /
    • 2006
  • 본 논문은 다수의 RFID 태그가 사용되고 있는 환경에서 고속 필터링을 수행하기 위한 필터링 엔진을 설계한다. 이를 위하여 우리는 고속 라우터나 방화벽에 적용되었던 고속 패킷 필터링 기법이 RFID 데이터 필터링과 매우 유사함을 보이고 그 중 대표적인 기법인 Bit Parallelism 기반의 Aggregated Bit Vector(ABV)를 고속 RFID 필터링 엔진에 적용한다. 또한, RFID 데이터 필터링의 성향을 관찰한 결과 태그 인식 및 필터 부합의 시간적 중복성을 발견하고 두 가지 캐쉬(태그 캐쉬, 필터 캐쉬)를 적용하여 추가적인 필터링 성능 향상을 꾀하였다. 설계한 RFID 고속 필터링 엔진의 성능 평가를 위해 프로토타입 애플리케이션을 제작하여 시뮬레이션을 수행하였다. 결과로써 기존의 순차적인 RFID 데이터 필터링에 비해 고속의 필터링 성능을 보이며 특히 필터의 수가 증가할수록 필터링의 효율이 높아짐을 보인다.

가중 윈도우를 통한 사용자 이력 기반 추천 시스템 (Weighted Window Assisted User History Based Recommendation System)

  • 황성민;;;김경백
    • 정보처리학회논문지:소프트웨어 및 데이터공학
    • /
    • 제4권6호
    • /
    • pp.253-260
    • /
    • 2015
  • 온라인에서 물품을 구매하고자 할 때, 추천 시스템은 사용자에 맞춘 추천을 하게 되며, 사용자가 관심을 가질만한 새로운 물품까지 추천해 준다. Collaborative filtering 등, 여러 모델들이 보다 정확한 추천을 위해 제안되었으며, 활발히 연구되고 있다. 그중 Collaborative filtering은 사용자 선호도를 예측하는 데 좋은 결과를 보여주지만 사용자 개체 및 데이터가 부족한 환경에서는 사용자들끼리의 비교를 힘들게 하여 collaborative filtering이 적용되기 힘들게 한다. 새로 시작하는 시스템이거나 사용자 개체 수가 적은 경우, 문제가 발생하며, 이와 같은 상황에서는 content-based filtering이 사용된다. 하지만 content-based filtering은 비슷한 물건만 추천해주거나, 사용자 성향 변화를 제대로 반영하지 못하는 등의 여러 단점을 가지고 있다. 이러한 한계점들을 극복하기 위해서 사용자 구매 기록에 가중 윈도우를 적용하고, 사용자 구매 기록 분석을 통한 윈도우 가중치 조정을 수행하는 시스템을 제안한다. 사용자 성향의 변화에 민감하게 반응할 수 있고, 이를 기반으로 무의미한 추천을 제거하며, 사용자가 찾기 어려운 관련 물품 추천이 가능한 새로운 상품도 추천하는 시스템을 제시하며, 언급된 사용자 개체 및 데이터가 부족한 환경에서의 동작을 검증하기 위해, 스타트업 무역업체에서 제공된 상품정보 기반 실험을 통해 제안된 시스템의 동작을 검증하였다.

SemFilter: 단순하며 효율적인 시맨틱 XML 메시지 필터링 (SemFilter: A Simple and Efficient Semantic XML Message Filtering)

  • 김재훈;박석
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제14권7호
    • /
    • pp.680-693
    • /
    • 2008
  • XML 메시지 필터링에 관한 최근의 연구들은 모든 출판되는 데이타 소스들이 필터링 시스템에 정의된 유일한 전역 스키마를 따르는 것을 가정한다. 하지만 이러한 가정을 넘어서, 데이타 제공자들이 그들 자신의 스키마를 자유롭게 사용할 수 있는 서비스를 고려할 수 있다. 즉, 데이타 소스들이 이질적인 환경이다. 하지만 XML 필터링 시스템에서 데이타 소스는 다수이며, 또한 출판되는 데이타들은 수시로 생성되고, 갱신되며, 사라진다. 즉, 매우 다이내믹한 환경이다. 본 논문에서는 그러한 다이내믹한 환경을 고려하여 고안된 단순하며 효율적인 의미적 XPath 질의 번역 구현을 소개한다. 특별히 제안되는 질의 번역 기법은 어떤 비주얼한 데이타 가이드가 제공되지 않는 환경에서 사용자가 자신의 지식과 경험에만 의존하여 작성한 질의를 번역하는 것에 초점을 맞춘다. 이러한 환경에서, 사용자는 다수의 이질적인 데이타를 질의하기 때문에, 사용자의 기억상의 스키마에 의존하여 작성된 질의는 실제 스키마와 불일치할 수 있다. 본 연구에서는 제안하는 의미적 XPath 질의 기법이 이러한 문제를 고려하도록 설계한다. 몇 가지 실험 결과는 제안된 질의 번역 기법이 수용할 만한 질의 번역시간을 제공하며, 기존의 방법과 비교하여 실제적임을 보여 준다.

A Study on the Context-Aware Reasoning Filtering Mechanism in USN

  • Sung, Kyung;Kim, Seok-Hun;Hong, Min
    • Journal of information and communication convergence engineering
    • /
    • 제9권4호
    • /
    • pp.452-456
    • /
    • 2011
  • Context-awareness system can provide an optimized services to users. Analyzing physical and complex circumstance elements which give direct or indirect influence to users can tell what users want. However, there are various situation informations around users and it requires high level technology to extract the service what users really want among those informations. The circumstance of the user can be changed from moment to moment, even the service what users want also can be changed in every minutes. Recently the researches to provide the service which a user demands has been progressed actively. Web based filtering method which reaches commercialization is a one of good examples. This method extracts necessary data according to users' demands from the documents on the Web or multimedia informations. However, there is a limit to use it to provide Context-awareness service because it extracts static data, not dynamic data. There is also other researches with a rule based filtering method in progress to filter situation information but this method doesn't have mechanism for dynamic data as well. We would like to solve these problems by providing a dynamic situation information filtering mechanism applying an weighted value about each property of objects and also applying Web based dynamic categories in this paper when unnecessary data should be filtered.

무선 센서 네트워크에서 동적 여과를 위한 퍼지 기반 확률 조절 기법 (Probability Adjustment Scheme for the Dynamic Filtering in Wireless Sensor Networks Using Fuzzy Logic)

  • 한만호;이해영;조대호
    • 한국정보통신설비학회:학술대회논문집
    • /
    • 한국정보통신설비학회 2008년도 정보통신설비 학술대회
    • /
    • pp.159-162
    • /
    • 2008
  • Generally, sensor nodes can be easily compromised and seized by an adversary because sensor nodes are hostile environments after dissemination. An adversary may be various security attacks into the networks using compromised node. False data injection attack using compromised node, it may not only cause false alarms, but also the depletion of the severe amount of energy waste. Dynamic en-route scheme for Filtering False Data Injection (DEF) can detect and drop such forged report during the forwarding process. In this scheme, each forwarding nodes verify reports using a regular probability. In this paper, we propose verification probability adjustment scheme of forwarding nodes though a fuzzy rule-base system for the Dynamic en-route filtering scheme for Filtering False Data Injection in sensor networks. Verification probability determination of forwarding nodes use false traffic rate and distance form source to base station.

  • PDF

Filtering Effect in Supervised Classification of Polarimetric Ground Based SAR Images

  • Kang, Moon-Kyung;Kim, Kwang-Eun;Cho, Seong-Jun;Lee, Hoon-Yol;Lee, Jae-Hee
    • 대한원격탐사학회지
    • /
    • 제26권6호
    • /
    • pp.705-719
    • /
    • 2010
  • We investigated the speckle filtering effect in supervised classification of the C-band polarimetric Ground Based SAR image data. Wishart classification method was used for the supervised classification of the polarimetric GB-SAR image data and total of 6 kinds of speckle filters were applied before supervised classification, which are boxcar, Gaussian, Lopez, IDAN, the refined Lee, and the refined Lee sigma filters. For each filters, we changed the filtering kernel size from $3{\times}3$ to $9{\times}9$ to investigate the filtering size effect also. The refined Lee filter with the kernel size of bigger than $5{\times}5$ showed the best result for the Wishart supervised classification of polarimetric GB-SAR image data. The result also showed that the type of trees could be discriminated by Wishart supervised classification of polarimetric GB-SAR image data.