• 제목/요약/키워드: Data Sparsity

검색결과 174건 처리시간 0.029초

Improving the MAE by Removing Lower Rated Items in Recommender System

  • Kim, Sun-Ok;Lee, Seok-Jun;Park, Young-Seo
    • Journal of the Korean Data and Information Science Society
    • /
    • 제19권3호
    • /
    • pp.819-830
    • /
    • 2008
  • Web recommender system was suggested in order to solve the problem which is cause by overflow of information. Collaborative filtering is the technique which predicts and recommends the suitable goods to the user with collection of preference information based on the history which user was interested in. However, there is a difficulty of recommendation by lack of information of goods which have less popularity. In this paper, it has been researched the way to select the sparsity of goods and the preference in order to solve the problem of recommender system's sparsity which is occurred by lack of information, as well as it has been described the solution which develops the quality of recommender system by selection of customers who were interested in.

  • PDF

Auxiliary Stacked Denoising Autoencoder based Collaborative Filtering Recommendation

  • Mu, Ruihui;Zeng, Xiaoqin
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제14권6호
    • /
    • pp.2310-2332
    • /
    • 2020
  • In recent years, deep learning techniques have achieved tremendous successes in natural language processing, speech recognition and image processing. Collaborative filtering(CF) recommendation is one of widely used methods and has significant effects in implementing the new recommendation function, but it also has limitations in dealing with the problem of poor scalability, cold start and data sparsity, etc. Combining the traditional recommendation algorithm with the deep learning model has brought great opportunity for the construction of a new recommender system. In this paper, we propose a novel collaborative recommendation model based on auxiliary stacked denoising autoencoder(ASDAE), the model learns effective the preferences of users from auxiliary information. Firstly, we integrate auxiliary information with rating information. Then, we design a stacked denoising autoencoder based collaborative recommendation model to learn the preferences of users from auxiliary information and rating information. Finally, we conduct comprehensive experiments on three real datasets to compare our proposed model with state-of-the-art methods. Experimental results demonstrate that our proposed model is superior to other recommendation methods.

Collaborative Filtering Algorithm Based on User-Item Attribute Preference

  • Ji, JiaQi;Chung, Yeongjee
    • Journal of information and communication convergence engineering
    • /
    • 제17권2호
    • /
    • pp.135-141
    • /
    • 2019
  • Collaborative filtering algorithms often encounter data sparsity issues. To overcome this issue, auxiliary information of relevant items is analyzed and an item attribute matrix is derived. In this study, we combine the user-item attribute preference with the traditional similarity calculation method to develop an improved similarity calculation approach and use weights to control the importance of these two elements. A collaborative filtering algorithm based on user-item attribute preference is proposed. The experimental results show that the performance of the recommender system is the most optimal when the weight of traditional similarity is equal to that of user-item attribute preference similarity. Although the rating-matrix is sparse, better recommendation results can be obtained by adding a suitable proportion of user-item attribute preference similarity. Moreover, the mean absolute error of the proposed approach is less than that of two traditional collaborative filtering algorithms.

Intelligent recommendation method of intelligent tourism scenic spot route based on collaborative filtering

  • Liu Hui
    • KSII Transactions on Internet and Information Systems (TIIS)
    • /
    • 제18권5호
    • /
    • pp.1260-1272
    • /
    • 2024
  • This paper tackles the prevalent challenges faced by existing tourism route recommendation methods, including data sparsity, cold start, and low accuracy. To address these issues, a novel intelligent tourism route recommendation method based on collaborative filtering is introduced. The proposed method incorporates a series of key steps. Firstly, it calculates the interest level of users by analyzing the item attribute rating values. By leveraging this information, the method can effectively capture the preferences and interests of users. Additionally, a user attribute rating matrix is constructed by extracting implicit user behavior preferences, providing a comprehensive understanding of user preferences. Recognizing that user interests can evolve over time, a weight function is introduced to account for the possibility of interest shifting during product use. This weight function enhances the accuracy of recommendations by adapting to the changing preferences of users, improving the overall quality of the suggested tourism routes. The results demonstrate the significant advantages of the approach. Specifically, the proposed method successfully alleviates the problem of data sparsity, enhances neighbor selection, and generates tourism route recommendations that exhibit higher accuracy compared to existing methods.

추천 시스템에서의 데이터 임퓨테이션 분석 (Analysis of Data Imputation in Recommender Systems)

  • 이영남;김상욱
    • 정보과학회 논문지
    • /
    • 제44권12호
    • /
    • pp.1333-1337
    • /
    • 2017
  • 추천 시스템이란 사용자가 좋아할만한 개인화된 상품을 사용자에게 제안하는 것이다. 최근 상품 수의 증가로 추천 시스템의 중요성이 날로 커지고 있지만, 데이터 희소성 문제는 여전히 추천 시스템의 대표적인 문제로 남아있다. 데이터 희소성 문제는 사용자가 전체 상품 중 일부의 상품에만 평점을 부여하여, 사용자와 상품 관계를 정확히 이해하기 힘든 것을 말한다. 이를 해결하기 위해 가장 여러 가지 접근법이 있는 그 중 대표적인 것인 데이터 임퓨테이션이다. 데이터 임퓨테이션은 사용자가 평가하지 않은 상품의 평점을 추론해 평점 행렬에 채우는 방법이다. 하지만 기존 데이터 임퓨테이션 방법은 사용자가 평가하지 않은 상품에 대한 몇 가지 특성을 놓치고 있다. 본 논문에서는 기존 방법의 한계점을 정의하고, 이를 개선하는 방안 3가지를 제안한다.

연관규칙을 이용한 상황인식 음악 추천 시스템 (A Music Recommendation System based on Context-awareness using Association Rules)

  • 오재택;이상용
    • 디지털융복합연구
    • /
    • 제17권9호
    • /
    • pp.375-381
    • /
    • 2019
  • 최근 추천 시스템은 패션, 동영상, 음악 등을 중심으로 맞춤형 추천 서비스가 제공되어 사용자들의 관심을 모으고 있다. 그러나 이러한 서비스들은 실시간으로 발생하는 상황 정보를 사용하지 않아 여러 상황에 따른 적합한 서비스를 사용자에게 제공하기가 어렵다. 또한 적용되는 상황 정보가 차원을 확장시킬 경우, 데이터 희소성(Data Sparsity)을 증가시켜 사용자들에게 적합한 음악들을 추천할 수 없는 문제가 발생한다. 본 연구에서는 이러한 문제점을 해소시키기 위해 연관규칙(Association Rules)을 적용하여 사용자의 현재 위치 정보와 시간 정보에 대한 관계성 및 규칙들을 이용하여 실시간 상황에서 적합한 음악을 추천하는 시스템을 제안하였다. 수집된 상황 정보를 바탕으로 5-fold Cross Validation을 진행하여 위치와 시간 정보에 따른 추천 시스템의 정확도를 측정하였다. 그 결과 상황 정보가 누적됨에 따라 추천 시스템의 정확도가 향상되는 것을 확인할 수 있었다.

Similarity Measure based on Utilization of Rating Distributions for Data Sparsity Problem in Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권12호
    • /
    • pp.203-210
    • /
    • 2020
  • 메모리 기반의 협력 필터링은 추천 시스템의 대표적인 타입이지만 데이터 희소성이라는 본질적인 문제를 갖고 있다. 이 문제를 해결하기 위해 많은 연구 업적들이 이루어졌으나, 보다 체계적인 접근 방법은 여전히 요구된다. 본 연구는 사용자 간의 유사도를 산출하기 위하여 항목들에 대한 사용자 평가치 분포를 활용한다. 따라서 제안 방법은 사용자의 모든 평가치를 이용하므로, 공통 항목에 대한 평가치만을 이용하는 기존 방법들과 대비된다. 더욱이, 각 항목에 대한 다른 사용자들의 평가치들을 유사도 계산에 반영함으로써 항목 평가치의 광역적인 관점을 취한다. 제안 방법의 성능은 실험을 통하여 평가하였고, 연관된 다른 방법들과 비교하였다. 그 결과, 제안 방법은 예측과 순위 정확도 측면에서 우수한 성능을 보였다. 이러한 예측 정확도의 향상은 전통적인 유사도 척도에 비해 최근의 방법으로 달성한 것보다 최고 2.6배 더 높다.

항목 간 선호도 차이를 이용한 영화 추천 방법 (A Movie Recommendation Method Using Rating Difference Between Items)

  • 오세창;최민
    • 한국정보통신학회논문지
    • /
    • 제17권11호
    • /
    • pp.2602-2608
    • /
    • 2013
  • 영화 추천 문제에 대한 해법으로 사용자 기반 추천 방법과 항목 기반 추천 방법이 연구되어왔다. 그러나 이들은 각각 희박성의 문제와 사용자의 선호도를 반영하지 못한다는 문제를 안고 있다. 이러한 문제들을 해결하기 위해서 유사도의 개념을 이용해 두 가지 방법을 조합하는 연구가 있으나 계산해야 할 파라메타 수가 많아 현실적으로 희박성의 문제에서 자유롭지 못하다. 본 연구에서는 이러한 문제를 보완하기 위하여 항목 간 선호도 차이를 이용한 추천 방법을 제안한다. 이 방법은 계산해야 할 파라메타 수가 적어 희박성의 문제에서 비교적 자유롭다. 또한 파라메타 계산에 사용자들이 평가한 선호도를 반영함으로써 보다 정확한 결과를 얻을 수 있다. 실험 결과 제안된 방법은 초기에는 오류가 크지만 빠르게 성능이 안정화되는 것을 보여준다. 또한 유사도를 이용한 기존의 추천 방법과 비교하여 평균 오류를 0.0538 낮추는 결과를 보였다.

Conditional Generative Adversarial Network(CGAN) 기반 협업 필터링 추천 시스템 (Conditional Generative Adversarial Network based Collaborative Filtering Recommendation System)

  • 강소이;신경식
    • 지능정보연구
    • /
    • 제27권3호
    • /
    • pp.157-173
    • /
    • 2021
  • 소비자의 욕구와 관심에 맞추어 개인화된 제품을 추천하는 추천 시스템은 비즈니스에 필수적인 기술로서의 그 중요성이 증가하고 있다. 추천 시스템의 대표적인 모형 중 협업 필터링은 우수한 성능으로 다양한 분야에서 활용되고 있다. 그러나 협업필터링은 사용자-아이템의 선호도 정보가 충분하지 않을 경우 성능이 저하되는 희소성의 문제가 있다. 또한 실제 평점 데이터의 경우 대부분 높은 점수에 데이터가 편향되어 있어 심한 불균형을 갖는다. 불균형 데이터에 협업 필터링을 적용할 경우 편향된 클래스에 과도하게 학습되어 추천 성능이 저하된다. 이러한 문제를 해결하기 위해 많은 선행연구들이 진행되어 왔지만 추가적인 외부 데이터 또는 기존의 전통적인 오버샘플링 기법에 의존한 추천을 시도하였기에 유용성이 떨어지고 추천 성능 측면에서 한계점이 있었다. 본 연구에서는 CGAN을 기반으로 협업 필터링 구현 시 발생하는 희소성 문제를 해결함과 동시에 실제 데이터에서 발생하는 데이터 불균형을 완화하여 추천의 성능을 높이는 것을 목표로 한다. CGAN을 이용하여 비어있는 사용자-아이템 매트릭스에 실제와 흡사한 가상의 데이터를 생성하여, 희소성을 가지고 있는 기존의 매트릭스로만 학습한 것과 비교했을 때 높은 정확도가 예상된다. 이 과정에서 Condition vector y를 이용하여 소수 클래스에 대한 분포를 파악하고 그 특징을 반영하여 데이터를 생성하였다. 이후 협업 필터링을 적용하고, 하이퍼파라미터 튜닝을 통해 추천 시스템의 성능을 최대화하는데 기여하였다. 비교 대상으로는 전통적인 오버샘플링 기법인 SMOTE, BorderlineSMOTE, SVM-SMOTE, ADASYN와 GAN을 사용하였다. 결과적으로 데이터 희소성을 가지고 있는 기존의 실제 데이터뿐만 아니라 기존 오버샘플링 기법들보다 제안 모형의 추천 성능이 우수함을 확인하였으며, RMSE, MAE 평가 척도에서 가장 높은 예측 정확도를 나타낸다는 사실을 증명하였다.

분산 협력 필터링에 대한 에이전트 기반 접근 방법 (An Agent-based Approach for Distributed Collaborative Filtering)

  • 김병만;이경;;여동규
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제33권11호
    • /
    • pp.953-964
    • /
    • 2006
  • 협력 필털링은 그 유용성으로 인해 현재 학문적으로나 상업적으로 널리 사용되고 있지만 확장성 문제, 평가 데이타의 희박성 문제, 초기 평가 문제 둥을 안고 있다. 본 논문에서는 이러한 문제들을 일부 해결하기 위해 에이전트 간 협력에 기초한 분산 협력필터링 방법을 제안하였다. 제안 방법에서는 사용자의 평가정보를 에이전트가 지역 데이타베이스에 보관하고 이 정보를 친구들에게만 전파하는 방법을 사용함으로써 사용자 증가에 따른 확장성 문제를 해결하고자 하였다. 그리고 평가 데이타 부족에 따른 추천질 저하를 줄이기 위해 친구 에이전트의 의견을 반영하는 방법을 사용하였고 새로운 사용자에 대해서도 추천이 가능토록 하기 위해 사용자 프로파일을 이용한 협력필터링 방법을 사용하였다. 실험결과, 본 제안 방법이 확장성뿐만 아니라 데이타 희박성 문제 및 새로운 사용자 문제에도 도움이 됨을 확인할 수 있었다.