• 제목/요약/키워드: collaborative computation

검색결과 45건 처리시간 0.027초

동시발생 행렬과 하둡 분산처리를 이용한 추천시스템에 관한 연구 (A Study On Recommend System Using Co-occurrence Matrix and Hadoop Distribution Processing)

  • 김창복;정재필
    • 한국항행학회논문지
    • /
    • 제18권5호
    • /
    • pp.468-475
    • /
    • 2014
  • 추천시스템은 선호 데이터가 대형화, 컴퓨터 처리능력과 추천 알고리즘 등에 의해 실시간 추천이 어려워지고 있다. 이에 따라 추천시스템은 대형 선호데이터를 분산처리 하는 방법에 대한 연구가 활발히 진행되고 있다. 본 논문은 하둡 분산처리 플랫폼과 머하웃 기계학습 라이브러리를 이용하여, 선호데이터를 분산 처리하는 방법을 연구하였다. 추천 알고리즘은 아이템 협업필터링과 유사한 동시발생 행렬을 이용하였다. 동시발생 행렬은 하둡 클러스터의 여러 노드에서 분산처리를 할 수 있으며, 기본적으로 많은 계산량이 필요하지만, 분산처리과정에서 계산량을 줄일 수 있다. 또한, 본 논문은 동시발생 행렬처리의 분산 처리과정을 4 단계에서 3 단계로 단순화하였다. 결과로서, 맵리듀스 잡을 감소할 수 있으며, 동일한 추천 파일을 생성할 수 있었다. 또한, 하둡 의사 분산모드를 이용하여 데이터를 처리하였을 때 빠른 처리속도를 보였으며, 맵 출력 데이터가 감소되었다.

추천시스템을 위한 연관군집 최적화 기반 협력적 필터링 방법 (An Collaborative Filtering Method based on Associative Cluster Optimization for Recommendation System)

  • 이현진;지태창
    • 디지털산업정보학회논문지
    • /
    • 제6권3호
    • /
    • pp.19-29
    • /
    • 2010
  • A marketing model is changed from a customer acquisition to customer retention and it is being moved to a way that enhances the quality of customer interaction to add value to our customers. Such personalization is emerging from this background. The Web site is accelerate the adoption of a personalization, and in contrast to the rapid growth of data, quantitative analytical experience is required. For the automated analysis of large amounts of data and the results must be passed in real time of personalization has been interested in technical problems. A recommendation algorithm is an algorithm for the implementation of personalization, which predict whether the customer preferences and purchasing using the database with new customers interested or likely to purchase. As recommended number of users increases, the algorithm increases recommendation time is the problem. In this paper, to solve this problem, a recommendation system based on clustering and dimensionality reduction is proposed. First, clusters customers with such an orientation, then shrink the dimensions of the relationship between customers to low dimensional space. Because finding neighbors for recommendations is performed at low dimensional space, the computation time is greatly reduced.

웹기반 그리드컴퓨팅 프레임워크의 설계 및 구현 (Design and Implementation Web-based Grid-computing Framework)

  • 강경우;강윤희;김도현;조광문;궁상환
    • 한국콘텐츠학회:학술대회논문집
    • /
    • 한국콘텐츠학회 2003년도 춘계종합학술대회논문집
    • /
    • pp.461-465
    • /
    • 2003
  • 고성능 컴퓨팅 자원에서의 그리드 컴퓨팅은 다양한 대규모 계산 문제를 해결하기 위해 적용되고 있다. 응용 프로그램 개발자들에게 분산된 컴퓨팅 자원을 제공하는 다양한 소프트웨어들이 개발되었다. 그러나, 이들 시스템들은 웹기반이 아니거나 협력작업을 위한 기능을 제공하지 않거나 실시간으로 결과를 볼 수 있는 도구를 제공하지 않는다. 네트워크 어플리케이션 개발 측면에서 보면 웹기술은 일반적으로 사용하는 기술이 되고 있다. 특히, 인터페이스가 플랫폼과 독립적이라는 특징 때문에 더욱 그렇다. 본 연구에서는 MPI를 이용해 작성된 병렬 SPMD 어플리케이션의 수행을 위한 웹기반 프레임워크를 제안한다. 또한, 실시간 가시화 기술을 이용해서 협력연구를 위한 환경을 개발하였다.

  • PDF

Using Genre Rating Information for Similarity Estimation in Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제24권12호
    • /
    • pp.93-100
    • /
    • 2019
  • 유사도 계산은 메모리 기반 협력필터링 시스템의 성능에 매우 중요하다. 이 시스템들은 사용자 평가치들을 이용하여 온라인 상업 사이트에서 고객들에게 상품을 추천한다. 더욱 적합한 추천을 위해 현 사용자와 가장 유사한 사용자들을 선정하여 참조한다. 기존 문헌에는 많은 유사도 척도들이 개발되었는데, 이들은 대개 데이터 희소성이나 완전 시작 문제를 내포하고 있다. 본 논문에서는 기존 척도들과는 달리 사용자 평가치들로부터 선호 정보를 최대한 추출함으로써 희소한 데이터 조건에서도 더욱 신뢰할 수 있는 유사도값을 산출하고자 한다. 사용자 평가치 뿐만 아니라 데이터셋이 제공하는 영화장르 정보를 이용하는 새로운 유사도 척도를 제시한다. 본 척도와 기존의 관련된 척도들의 성능 실험을 하였고, 그 결과, 제안 척도는 주요 성능 평가기준 상으로 더욱 우수하거나 유사한 성능 결과를 보임을 확인하였다.

Robust market-based control method for nonlinear structure

  • Song, Jian-Zhu;Li, Hong-Nan;Li, Gang
    • Earthquakes and Structures
    • /
    • 제10권6호
    • /
    • pp.1253-1272
    • /
    • 2016
  • For a nonlinear control system, there are many uncertainties, such as the structural model, controlled parameters and external loads. Although the significant progress has been achieved on the robust control of nonlinear systems through some researches on this issue, there are still some limitations, for instance, the complicated solving process, weak conservatism of system, involuted structures and high order of controllers. In this study, the computational structural mechanics and optimal control theory are adopted to address above problems. The induced norm is the eigenvalue problem in structural mechanics, i.e., the elastic stable Euler critical force or eigenfrequency of structural system. The segment mixed energy is introduced with a precise integration and an extended Wittrick-Williams (W-W) induced norm calculation method. This is then incorporated in the market-based control (MBC) theory and combined with the force analogy method (FAM) to solve the MBC robust strategy (R-MBC) of nonlinear systems. Finally, a single-degree-of-freedom (SDOF) system and a 9-stories steel frame structure are analyzed. The results are compared with those calculated by the $H{\infty}$-robust (R-$H{\infty}$) algorithm, and show the induced norm leads to the infinite control output as soon as it reaches the critical value. The R-MBC strategy has a better control effect than the R-$H{\infty}$ algorithm and has the advantage of strong strain capacity and short online computation time. Thus, it can be applied to large complex structures.

추천의 정확도 및 다양성 향상을 위한 이웃기반 협업 필터링 추천시스템의 개선방안 (Improving Neighborhood-based CF Systems : Towards More Accurate and Diverse Recommendations)

  • 권영옥
    • 지능정보연구
    • /
    • 제18권3호
    • /
    • pp.119-135
    • /
    • 2012
  • 본 연구는 추천의 정확도 및 다양성을 향상시키기 위해, 가장 널리 사용되는 추천 알고리즘의 하나인 이웃 기반의 협업 필터링(Neighborhood-based Collaborative Filtering) 시스템의 개선방안 제시를 목적으로 한다. 이를 위해서 추천 시스템 사용자의 성향을 파악하고 이와 유사한 성향을 가진 이웃 사용자들 중에서 비교 가능한 선호도 정보가 많을수록 높은 가중치를 부여함으로써 최적의 이웃을 선택할 수 있도록 하였다. 영화 데이터를 이용하여 분석한 결과, 대부분의 경우 기존 시스템보다 더 정확하고 다양한 추천 결과를 얻을 수 있었다. 또한 사용자의 선호도를 여러 항목으로 평가할 경우, 사용자의 선호도 정보가 증가하여 추천 결과의 추가적인 향상을 가져왔다. 마지막으로, 추천의 정확도 및 다양성의 요소를 통합적으로 평가할 수 있는 방안을 제시하였다.

Applying Different Similarity Measures based on Jaccard Index in Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권5호
    • /
    • pp.47-53
    • /
    • 2021
  • 희소한 평가 데이터는 사용자들 간의 신뢰할만한 유사도 산출을 저해하기 때문에 추천 시스템을 위한 메모리 기반의 협력 필터링 기법의 성능을 저하시킨다. 기존 연구의 많은 결과물은 이 데이터 희소성 문제를 해결하기 위해 개발되었으며, 가장 단순하고 대표적인 업적은 자카드 계수를 활용하는 방법들이다. 이 계수는 두 사용자의 공통 평가 항목수를 반영하며, 그들 간의 유사도를 보다 정확하게 계산하기 위해 전통적인 유사도 척도와 통합된다. 그러나, 그러한 통합은 데이터 희소성의 정도를 고려하지 않은 매우 단순한 방법이다. 본 연구는 두 사용자의 자카드 계수값에 의거하여 다른 유사도 척도를 적용하는 새로운 아이디어를 제시한다. 제안 방법에서 사용하는 파라미터의 최적값을 구하기 위하여 성능 실험을 진행하였고, 다른 관련된 방법들과 비교 평가하였다. 결과로서, 제안 방법은 예측 정확도와 추천 정확도에 있어서 가장 우수하거나 대등한 성능을 보였다.

Similarity Measure based on Utilization of Rating Distributions for Data Sparsity Problem in Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제25권12호
    • /
    • pp.203-210
    • /
    • 2020
  • 메모리 기반의 협력 필터링은 추천 시스템의 대표적인 타입이지만 데이터 희소성이라는 본질적인 문제를 갖고 있다. 이 문제를 해결하기 위해 많은 연구 업적들이 이루어졌으나, 보다 체계적인 접근 방법은 여전히 요구된다. 본 연구는 사용자 간의 유사도를 산출하기 위하여 항목들에 대한 사용자 평가치 분포를 활용한다. 따라서 제안 방법은 사용자의 모든 평가치를 이용하므로, 공통 항목에 대한 평가치만을 이용하는 기존 방법들과 대비된다. 더욱이, 각 항목에 대한 다른 사용자들의 평가치들을 유사도 계산에 반영함으로써 항목 평가치의 광역적인 관점을 취한다. 제안 방법의 성능은 실험을 통하여 평가하였고, 연관된 다른 방법들과 비교하였다. 그 결과, 제안 방법은 예측과 순위 정확도 측면에서 우수한 성능을 보였다. 이러한 예측 정확도의 향상은 전통적인 유사도 척도에 비해 최근의 방법으로 달성한 것보다 최고 2.6배 더 높다.

A Novel Smart Contract based Optimized Cloud Selection Framework for Efficient Multi-Party Computation

  • Haotian Chen;Abir EL Azzaoui;Sekione Reward Jeremiah;Jong Hyuk Park
    • Journal of Information Processing Systems
    • /
    • 제19권2호
    • /
    • pp.240-257
    • /
    • 2023
  • The industrial Internet of Things (IIoT) is characterized by intelligent connection, real-time data processing, collaborative monitoring, and automatic information processing. The heterogeneous IIoT devices require a high data rate, high reliability, high coverage, and low delay, thus posing a significant challenge to information security. High-performance edge and cloud servers are a good backup solution for IIoT devices with limited capabilities. However, privacy leakage and network attack cases may occur in heterogeneous IIoT environments. Cloud-based multi-party computing is a reliable privacy-protecting technology that encourages multiparty participation in joint computing without privacy disclosure. However, the default cloud selection method does not meet the heterogeneous IIoT requirements. The server can be dishonest, significantly increasing the probability of multi-party computation failure or inefficiency. This paper proposes a blockchain and smart contract-based optimized cloud node selection framework. Different participants choose the best server that meets their performance demands, considering the communication delay. Smart contracts provide a progressive request mechanism to increase participation. The simulation results show that our framework improves overall multi-party computing efficiency by up to 44.73%.

PSO의 특징과 차원성에 관한 비교연구 (Comparative Study on Dimensionality and Characteristic of PSO)

  • 박병준;오성권;김용수;안태천
    • 제어로봇시스템학회논문지
    • /
    • 제12권4호
    • /
    • pp.328-338
    • /
    • 2006
  • A new evolutionary computation technique, called particle swarm optimization(PSO), has been proposed and introduced recently. PSO has been inspired by the social behavior of flocking organisms, such as swarms of birds and fish schools and PSO is an algorithm that follows a collaborative population-based search model. Each particle of swarm flies around in a multidimensional search space looking for the optimal solution. Then, Particles adjust their position according to their own and their neighboring-particles experience. In this paper, characteristics of PSO such as mentioned are reviewed and compared with GA which is based on the evolutionary mechanism in natural selection. Also dimensionalities of PSO and GA are compared throughout numeric experimental studies. The comparative studies demonstrate that PSO is characterized as simple in concept, easy to implement, and computationally efficient and can generate a high-quality solution and stable convergence characteristic than GA.