• 제목/요약/키워드: 희박 행렬

검색결과 17건 처리시간 0.02초

상품 동시 발생 정보와 유사도 정보를 이용한 협업적 필터링 (Collaborative Filtering using Co-Occurrence and Similarity information)

  • 나광택;이주홍
    • 인터넷정보학회논문지
    • /
    • 제18권3호
    • /
    • pp.19-28
    • /
    • 2017
  • 협업적 필터링(CF)은 사용자와 상품간의 관계를 해석하여 특정 사용자에게 상품을 추천 해주는 시스템이다. CF 모델은 컨텐츠 등 다른 추가 정보 없이 평점 데이터만으로 사용자에게 상품을 추천해 줄 수 있다는 장점이 있다. 하지만 사용자는 전체 상품의 극히 일부분만을 소비하고 상품을 소비한 후에도 평점을 부여하지 않는 경우가 매우 많다. 이는 관찰된 평점의 수가 매우 적으며 사용자 평점 행렬이 매우 희박함을 의미한다. 이러한 평점 데이터의 희박성은 CF의 성능을 끌어올리는데 문제를 야기한다. 본 논문에서는 CF 모델 중 하나인 잠재 요인 모델(특히 SVD)의 성능을 끌어올리는데 집중한다. SVD에 상품 유사도 정보와 상품 동시 발생(co occurrence) 정보를 포함시킨 새로운 모델을 제안한다. 평점 데이터로부터 얻어지는 유사도와 동시 발생 정보는 상품 잠재 요인에 대한 잠재 공간상의 표현력을 높여주어 기존방법보다 Recall은 약 16%, Precision과 NDCG는 각각 8%, 7% 상승하였다. 본 논문에서 제안하는 방법이 향후 다른 추천 시스템과 결합하면 기존의 방법보다 더 좋은 성능을 보여줄 것이다.

사용자-상품 행렬의 최적화와 협력적 사용자 프로파일을 이용한 그룹의 대표 선호도 추출 (Extracting Typical Group Preferences through User-Item Optimization and User Profiles in Collaborative Filtering System)

  • 고수정
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권7호
    • /
    • pp.581-591
    • /
    • 2005
  • 협력적 여과 시스템은 희박성과 단지 두 고객만의 선호도에 따른 상관 관계로 추천을 제공한다는 문제점과 군집내의 가장 유사한 두 사용자만의 상관 관계에 의하여 추천을 한다는 단점이 있다. 또한, 상품의 내용을 기반으로 하지 않고 선호도만을 기반으로 하므로 추천의 정확도가 사용자에 의해 평가한 자료에만 의존한다는 문제점도 있다. 이와 같이 평가된 자료를 추천에 이용할 경우, 모든 사용자가 모든 상품에 대해 성의 있게 평가할 수는 없으므로 추천의 정확도가 낮아지는 결과를 가져온다. 따라서 본 논문에서는 엔트로피을 사용하여 사용자가 상품에 대하여 평가한 자료를 기반으로 검증되지 않은 사용자를 제외시키고, 다음으로 사용자 프로파일을 생성한 후 사용자를 군집시키며, 마지막으로 그룹의 대표 선호도를 추출하는 방법을 제안한다. 기존의 사용자 군집을 이용한 방법은 군집내의 사용자만을 대상으로 유사한 사용자를 찾으므로 희박성은 해결할 수 있으나 그 외의 단점을 해결하지 못하였다. 제안한 방법에서는 상품에 대해 평가한 선호도 뿐만 아니라 상품에 대한 정보를 반영하기 위하여 연관 단어 마이닝의 방법에 의해 협력적 사용자의 프로파일을 생성하고, 이를 기반으로 벡터 공간 모델과 K-means 알고리즘에 의해 사용자를 군집시킨다. 군집된 사용자를 대상으로 상품의 선호도와 사용자의 엔트로피를 병합함으로써 최종적으로 그룹의 대표 선호도를 추출한다. 대표 선호도를 이용한 추천 시스템은 한 사용자의 부정확한 선호도를 기반으로 추천을 하는 경우에 나타나는 추천의 부정확도 문제를 해결하며, 군집내의 가장 유사한 두 사용자만의 상관 관계에 의하여 추천을 하는 단점을 보완하고, 또한 그룹 내에 가장 유사한 사용자를 찾는 데 소요되는 시간을 절약할 수 있다는 장점을 갖는다.

저차원 선형 모델을 이용한 하이브리드 협력적 여과 (A Hybrid Collaborative Filtering Using a Low-dimensional Linear Model)

  • 고수정
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제36권10호
    • /
    • pp.777-785
    • /
    • 2009
  • 협력적 여과는 특별한 아이템에 대한 사용자의 선호도를 예측하는 데 사용하는 기술이다. 이러한 협력적 여과 기술은 사용자 기반 접근 방식과 아이템 기반 접근 방식으로 구분할 수 있으며, 많은 상업적인 추천 시스템에서 광범위하게 사용되고 있다. 본 논문에서는 저차원 선형 모델을 사용하여 사용자 기반과 아이템 기반을 통합하는 하이브리드 협력적 여과 방법을 제안한다. 제안한 방법에서는 저차원 선형모델 중 비음수 행렬 분해(NMF)를 이용하여 기존의 협력적 여과 시스템의 문제점인 희박상과 대용량성의 문제점을 해결한다. 협력적 여과 시스템에서 NMF를 이용하는 방법은 사용자를 의미 관계로 표현할 때 유용하게 사용되나 사용자-아이템 행렬의 평가값에 따라 정확도가 낮아질 수 있으며, 모델 기반의 방법이기 때문아 계산 과정이 복잡하여 동적인 추천이 불가능하다는 단점을 갖는다. 이러한 단점을 보완하기 위하여 제안된 방법에서는 NMF에 의해 군집된 그룹을 대상으로 TF-lDF를 이용하여 그룹의 특징을 추출한다. 또한, 아이템 기반에서 아이템간의 유사도를 계산하기 위하여 상호정보량(mutual information)을 이용한다. 오프라인 상에서 훈련집합의 사용자를 군집시키고 그룹의 특징을 추출한 후, 온라인 상에서 추출한 그룹의 특징을 이용하여 새로운 사용자를 가장 최적의 그룹으로 분류함으로써 사용자를 분류하는 데 걸리는 시간을 단축시켜 동적인 추천을 가능하게 하며, 사용자 기반과 아이템 기반을 병합함으로써 기존의 방법보다 정확도를 높인다.

그래프 분할 및 다중 프론탈 기법에 의거한 3차원 전자기장의 병렬 해석 (Parallel Computation on the Three-dimensional Electromagnetic Field by the Graph Partitioning and Multi-frontal Method)

  • 강승훈;송동현;최재원;신상준
    • 한국항공우주학회지
    • /
    • 제50권12호
    • /
    • pp.889-898
    • /
    • 2022
  • 본 논문에서는 3차원 전자기장의 병렬 해석 기법을 제안하였다. 시간 조화 벡터 파동 방정식 및 유한요소 기법에 기반한 전자기장 산란 해석이 수행되었으며, 모서리 기반 요소 및 2차 흡수 경계 조건이 도입되었다. 개발한 알고리즘은 유한요소망을 분할한 뒤 각 프로세서에 할당함으로써 요소별 수치적분 및 행렬 조립 과정의 병렬화를 달성하였다. 이때 부영역 생성을 위해 그래프 분할 라이브러리인 METIS가 도입되었다. 대형 희박행렬 방정식의 계산은 다중 프론탈 기법 기반 병렬 연산 라이브러리인 MUMPS를 통해 수행되었다. 개발된 프로그램의 정확도는 Mie 이론해 및 ANSYS HFSS 결과와의 비교를 통해 검증되었다. 또한 사용된 프로세서 수에 따른 가속 지표를 측정하여 확장성을 확인하였다. 완전 전기 도체 구, 등·이방성 유전체 구 및 유도탄 예제 형상에 대한 전자기장 산란 해석이 수행되었다. 개발된 프로그램의 알고리즘은 추후 유한요소 분할 및 합성법에 활용될 예정이며, 더욱 확장된 병렬 연산 성능을 목표하고자 한다.

Co-rotational 비선형 정식화 및 FETI-local 기법을 결합한 비선형 대용량/다물체 구조 해석 알고리듬 개발 (Computational Algorithm for Nonlinear Large-scale/Multibody Structural Analysis Based on Co-rotational Formulation with FETI-local Method)

  • 조해성;주현식;이영헌;곽민철;신상준;여재익
    • 한국항공우주학회지
    • /
    • 제44권9호
    • /
    • pp.775-780
    • /
    • 2016
  • 본 논문에서는 비선형 다물체 동역학 해석에 적용 가능한 구조해석을 개발하였다. 비선형 구조 해석을 위해 Co-rotational 이론 기반의 유한요소를 개발하였다. 그리고 국부 Lagrange 승수를 활용한 영역분할해석 기법을 적용하여 대용량/다물체 해석이 가능한 구조해석 알고리듬을 개발하였다. 기 개발한 구조 해석은 외팔보 및 다물체 구조에 대한 비선형 정적 해석 예제에 적용하였다. 병렬 계산에 따른 성능 평가는 희박행렬 계산 라이브러리인 PARDISO와 비교하였다. 이를 통해 기 개발 구조해석의 계산 속도 향상을 확인하였다.

협력적 여과 시스템에서 사용자 변동 계수를 이용한 기본 평가간 예측 (Default Voting using User Coefficient of Variance in Collaborative Filtering System)

  • 고수정
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제32권11호
    • /
    • pp.1111-1120
    • /
    • 2005
  • 협력적 여과 시스템에서 대부분의 사용자들은 모든 아이템에 대하여 선호도를 평가하지 않으므로 인하여 사용자~아이템 행렬은 희박성을 나타내며, 또한 사용자가 평가하지 않은 아이템으로부터 결측치가 발생한다. 일반적인 결측치 예측 방법은 특정 대상의 사용자가 평가하지 않은 결측치를 이 사용자와 비슷한 흥미를 갖는 사용자들의 평가값을 기반으로 예측하나, 기본 평가값 예측 방법은 사용자-아이템 렬의 결측치를 특정 사용자가 아닌 전체 사용자에 대하여 예측한다. 기본 평가값 예측 방법 중 가장 많이 사용되는 방법은 아이템 평균이나 사용자 평균을 이용한 방법이다. 그러나 이 방법은 아이템이나 사용자의 특성, 또한 데이타 집합의 분포 특성을 전혀 고려하지 않는다는 문제점을 갖는다. 본 논문에서는 이러한 문제점을 해결하기 위하여 데이타 집합에 나타난 사용자의 변동 계수를 이용하는 기본 평가값 예측방법을 제안한다. 제안한 방법에서는 수식을 이용하여 자동적으로 사용자 변동 계수의 임계값을 선택하고, 그 임계값에 따라 사용자 평균에서 아이템 평균으로 전환하여 사용자들의 결측치에 대한 기본 평가값을 결정한다. 그러나 사용자 변동 계수들의 분포 정보로 인하여 사용자 변동 계수와 임계갈이 항상 일정한 관계를 유지하는 것이 아니므로, 제안된 방법에서는 임계값을 선택하기 위하여 사용자 변동 계수의 평균과 변동 계수의 분포 정보를 병합한다. 제안된 방법은 사용자가 영화에 대하여 평가한 MovieLens 데이타 집합을 대상으로 평가되었으며, 기존의 기본 평가값 예측 방법보다 그 성능이 우수함을 보인다.

사용자 행동 기반의 사회적 관계를 결합한 사용자 협업적 여과 방법 (Incorporating Social Relationship discovered from User's Behavior into Collaborative Filtering)

  • 타이쎄타;하인애;조근식
    • 지능정보연구
    • /
    • 제19권2호
    • /
    • pp.1-20
    • /
    • 2013
  • 소셜 네트워크는 사용자들의 공통된 관심사, 경험, 그리고 일상 생활들을 함께 공유하기 위해 소셜 네트워크 상 사람들을 서로 연결시켜주는 거대한 커뮤니케이션 플랫폼이다. 소셜 네트워크상의 사용자들은 포스팅, 댓글, 인스턴스 메시지, 게임, 소셜 이벤트 외에도 다양한 애플리케이션을 통해 다른 사용자들과 소통하고 개인 정보 관리하는데 많은 시간을 소비한다. 소셜 네트워크 상의 풍부한 사용자 정보는 추천시스템이 추천 성능을 향상시키기 위해 필요한 큰 잠재력이 되었다. 대부분의 사용자들은 어떤 상품을 구매하기 전 가까운 관계이거나 같은 성향을 가진 사람들의 의견을 반영하여 의사 결정을 하게 된다. 그러므로 소셜 네트워크에서의 사용자 관계는 추천시스템을 위한 사용자 선호도 예측을 효율적으로 높이는데 중요한 요소라 할 수 있다. 일부 연구자들은 소셜 네트워크에서의 사용자와 다른 사용자들 사이의 상호작용 즉, 소셜 관계(social relationship)와 같은 소셜 데이터가 추천시스템에서 추천의 질에 어떠한 영향을 미치는가를 연구하고 있다. 추천시스템은 아마존, 이베이, Last.fm과 같은 큰 규모의 전자상거래 사이트 또한 채택하여 사용되는 시스템으로, 추천시스템을 위한 방법으로는 협업적 여과 방법과 내용 기반 여과 방법이 있다. 협업적 여과 방법은 사용자들의 선호도 학습에 의해 사용자가 아직 평가하지 않은 아이템 중 선호할 수 있는 아이템을 정확하게 제안하기 위한 추천시스템 방법 중 하나이다. 협업적 여과는 사용자들의 데이터에 초점을 맞춘 방법으로 유사한 배경과 선호도를 가지는 사용자들로부터 정보를 수집하여 사용자들의 선호도 예측을 자동으로 발생시킨다. 특히 협업적 여과는 근접한 이웃 사용자들에 의해서 목적 사용자가 선호할 수 있는 아이템을 제시하는 것으로 유사한 이웃 사용자를 찾는 것이 중요하다. 좋은 이웃 사용자 발견은 사용자와 아이템을 고려하는 방법이 일반적이다. 각 사용자는 아이템 즉, 영화, 상품, 책 등에 자신의 선호도를 나타내기 위하여 평가 값을 입력하고, 시스템은 이를 바탕으로 사용자-평가 행렬을 구축한다. 이 사용자-평가 행렬은 목적 사용자와 유사하게 아이템을 평가한 사용자 그룹을 찾기 위한 것으로, 목적 사용자가 아직 평가하지 않은 아이템에 대하여 사용자-평가 매트릭스를 통해 그 평가 값을 예측한다. 현재 이 협업적 여과 방법은 전자상거래와 정보 검색에서 적용되어 개인화 시스템에 효율적으로 사용되고 있다. 하지만 초기 사용자 문제, 데이터 희박성 문제와 확장성 그리고 예측 정확도 향상 등 해결해야 할 과제가 여전히 남아 있다. 이러한 문제들을 해소하기 위해 많은 연구자들은 하이브리드, 신뢰기반, 소셜 네트워크 기반 협업적 여과와 같은 다양한 방법을 제안하였다. 본 논문에서는 전통적인 협업적 여과 방식의 예측 정확도와 추천 성능을 향상시키기 위해 소셜 네트워크에 존재하는 소셜 관계를 이용한 협업적 여과 시스템을 제안한다. 소셜 관계는 소셜 네트워크 서비스 중 하나인 페이스북 사용자들이 남긴 포스팅과 사용자의 소셜 네트워크 친구와 의견 교류 중 남긴 코멘트와 같은 사용자 행동을 기반으로 정의된다. 소셜 관계를 구축하기 위해 소셜 네트워크 사용자의 포스팅과 댓글을 추출하고, 추출된 텍스트에 불용어 및 특수 기호 제거와 스테밍 등 전처리를 수행하였다. 특징 벡터는 TF-IDF를 이용하여 전처리된 텍스트에 나타난 각 단어에 대한 특징 점수를 계산함으로써 구축된다. 본 논문에서 이웃 사용자를 결정하기 위해 사용되는 사용자 간 유사도는 특징 벡터를 이용한 사용자 행동 유사도와 사용자의 영화 평가를 기반으로 한 전통적 방법의 유사도를 결합하여 계산된다. 제안하는 시스템은 목표 사용자와 제안한 방법을 통해 결정된 이웃 사용자 집단을 기반으로 목표 사용자가 평가하지 않은 아이템에 대한 선호도를 예측하고 Top-N 아이템을 선별하여 사용자에게 아이템을 추천하게 된다. 본 논문에서 제안하는 방법을 확인하고 평가하기 위하여 IMDB에서 제공하는 영화 정보 기반으로 영화 평가 시스템을 구축하였다. 예측 정확도를 평가하기 위해 MAE 값을 이용하여 제안하는 알고리즘이 얼마나 정확한 추천을 수행하는지에 대한 예측 정확도를 측정하였다. 그리고 정확도, 재현율 및 F1값 등을 활용하여 시스템의 성능을 평가하였으며, 시스템의 추천 품질은 커버리지를 이용하여 평가되었다. 실험 결과로부터 본 논문에서 제안한 시스템이 보다 더 정확하고 좋은 성능으로 사용자에게 아이템을 추천하는 것을 볼 수 있었다. 특히 소셜 네트워크에서 사용자 행동을 기반으로 한 소셜 관계를 이용함으로써 추천 정확도를 6% 향상시킴을 보였다. 또한 벤치마크 알고리즘과의 성능비교 실험을 통해 7% 향상된 추천 성능의 결과를 보여준다. 그러므로 사용자의 행동으로부터 관찰된 소셜 관계를 CF방법과 결합한 제안한 방법이 정확한 추천시스템을 위해 유용하며, 추천시스템의 성능과 품질을 향상시킬 수 있음을 알 수 있다.