• 제목/요약/키워드: 자카드 유사도

검색결과 35건 처리시간 0.025초

협력필터링의 데이터 희소성 해결을 위한 자카드 지수 반영의 유사도 성능 분석 (Performance Analysis of Similarity Reflecting Jaccard Index for Solving Data Sparsity in Collaborative Filtering)

  • 이수정
    • 컴퓨터교육학회논문지
    • /
    • 제19권4호
    • /
    • pp.59-66
    • /
    • 2016
  • 협력 필터링 시스템에서 데이터 희소성 문제의 해결을 위해 공통평가항목수를 반영하는 방법이 연구되었다. 이러한 방법으로 널리 알려진 자카드 지수는 기존의 유사도 척도와 결합되어 성능을 개선할 수 있었다. 그러나, 다양한 데이터 환경에서 여러 유사도 척도들과 각각 결합했을 때의 성능 개선 효과에 대한 분석 연구는 미미하므로, 본 연구는 이에 대한 분석을 목적으로 한다. 우선 자카드 지수 자체를 유사도 척도로 사용했을때 희소한 데이터셋 상에서 전통적인 척도들보다 월등한 예측 성능을 보였고 추천 성능도 매우 우수하였다. 자카드 지수를 결합함으로써 기존 유사도 척도는 데이터 특성에 상관없이 성능이 대개 향상되었고, 특히 코사인 유사도는 희소한 데이터셋에서 가장 큰 향상을 이루었으나, 평균차이 제곱(Mean Squared Difference)의 유사도는 밀집된 데이터셋에서 오히려 저하된 예측 성능을 보였다. 따라서, 자카드 지수를 결합하여 사용하기 위해 데이터 환경 특성과 유사도 척도를 고려할 필요가 있다.

Min-Max Hash를 활용한 다중 집합 기반의 유사도 측정 (Min-Max Hash for Similarity Measurement based on Multiset)

  • 윤진욱;김병욱
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2019년도 춘계학술발표대회
    • /
    • pp.36-39
    • /
    • 2019
  • 데이터 마이닝에서 클러스터링은 서로 유사한 특징을 갖는 데이터들을 동일한 클래스로 분류하는 방법이다. 클러스터링에는 다양한 방법이 존재하지만 대표적으로 집합으로 표현된 데이터들의 유사도를 측정하기 위해서는 자카드 유사도(Jaccard Similarity)를 이용한다. 자카드 유사도는 서로 다른 집합 간의 공통된 부분을 상대적으로 평가하여 유사도를 측정하는 방법이다. 그러나 최근에는 데이터를 저장할 수 있는 기술과 매체의 발전으로 표현할 수 있는 데이터의 영역과 범위는 발전되고 있기 때문에 많은 연산과 시간의 비용이 발생하게 된다. 이를 해결하기 위해서 두 데이터의 표본의 유사도를 통해 실제 데이터들의 유사도를 추정할 수 있는 Min-Hash 가 제안되었다. 본 논문에서는 이를 활용하여 집합의 영역을 다중 집합(Multiset)으로 확장하여 중복되는 값을 가질 수 있는 두 데이터 간의 유사도를 효율적으로 추정할 수 있는 Min-Max Hash 를 제안한다.

Jaccard Index Reflecting Time-Context for User-based Collaborative Filtering

  • Soojung Lee
    • 한국컴퓨터정보학회논문지
    • /
    • 제28권10호
    • /
    • pp.163-170
    • /
    • 2023
  • 추천 시스템의 구현 방식들 중 하나인 사용자 기반의 협력 필터링 기법은 유사한 평가 이력을 가진 이웃 사용자들의 산출을 기반으로 하여, 이들의 선호 항목들을 추천한다. 그러나 공통된 평가 이력이 적을 경우에 추천의 질이 현저히 저하되는 데이터 희소성 문제를 근본적으로 갖고 있다. 이러한 문제의 해결을 위하여 많은 기존 연구에서 자카드 계수를 유사도 척도와 접목하는 다양한 방법들을 제안해 왔다. 본 연구에서는 자카드 계수에 시간 인지 개념을 도입하여 공통 항목의 평가 시간에 따라 다른 비중으로 가중합하는 방안을 제시한다. 다양한 성능 척도와 시간 주기를 활용하여 실험을 수행한 결과, 제안 방법이 대부분의 척도에서 원래의 자카드 계수에 비해 가장 우수한 성능을 보였으며, 최적의 시간 주기는 성능 척도의 종류에 따라 다름을 확인하였다.

Applying Different Similarity Measures based on Jaccard Index in Collaborative Filtering

  • Lee, Soojung
    • 한국컴퓨터정보학회논문지
    • /
    • 제26권5호
    • /
    • pp.47-53
    • /
    • 2021
  • 희소한 평가 데이터는 사용자들 간의 신뢰할만한 유사도 산출을 저해하기 때문에 추천 시스템을 위한 메모리 기반의 협력 필터링 기법의 성능을 저하시킨다. 기존 연구의 많은 결과물은 이 데이터 희소성 문제를 해결하기 위해 개발되었으며, 가장 단순하고 대표적인 업적은 자카드 계수를 활용하는 방법들이다. 이 계수는 두 사용자의 공통 평가 항목수를 반영하며, 그들 간의 유사도를 보다 정확하게 계산하기 위해 전통적인 유사도 척도와 통합된다. 그러나, 그러한 통합은 데이터 희소성의 정도를 고려하지 않은 매우 단순한 방법이다. 본 연구는 두 사용자의 자카드 계수값에 의거하여 다른 유사도 척도를 적용하는 새로운 아이디어를 제시한다. 제안 방법에서 사용하는 파라미터의 최적값을 구하기 위하여 성능 실험을 진행하였고, 다른 관련된 방법들과 비교 평가하였다. 결과로서, 제안 방법은 예측 정확도와 추천 정확도에 있어서 가장 우수하거나 대등한 성능을 보였다.

OPAC에서 자동분류 열람을 위한 계층 클러스터링 연구 (Hierarchic Document Clustering in OPAC)

  • 노정순
    • 정보관리학회지
    • /
    • 제21권1호
    • /
    • pp.93-117
    • /
    • 2004
  • 본 연구는 OPAC에서 계층 클러스터링을 응용하여 소장자료를 계층구조로 분류하여 열람하는데 사용될 수 있는 최적의 계층 클러스터링 모형을 찾기 위한 목적으로 수행되었다. 문헌정보학 분야 단행본과 학위논문으로 실험집단을 구축하여 다양한 색인기법(서명단어 자동색인과 통제어 통합색인)과 용어가중치 기법(절대빈도와 이진빈도), 유사도 계수(다이스, 자카드, 피어슨, 코싸인, 제곱 유클리드), 클러스터링 기법(집단간 평균연결, 집단내 평균연결, 완전연결)을 변수로 실험하였다. 연구결과 집단간 평균연결법과 제곱 유클리드 유사도를 제외하고 나머지 유사도 계수와 클러스터링 기법은 비교적 우수한 클러스터를 생성하였으나, 통제어 통합색인을 이진빈도로 가중치를 부여하여 완전연결법과 집단간 평균연결법으로 클러스터링 하였을 때 가장 좋은 클러스터가 생성되었다. 그러나 자카드 유사도 계수를 사용한 집단간 평균연결법이 십진구조와 더 유사하였다.

GCN 과 자카드 유사도를 활용한 악성코드 탐지 기법 연구 (A Study for Detecting Malware Using GCN)

  • 박양훈;김봉현;최선오
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2021년도 추계학술발표대회
    • /
    • pp.213-216
    • /
    • 2021
  • 기술이 발전함에 따라 악성코드 또한 함께 발전하여 보안 위협이 증가되고 있다. 특히 PowerShell 과 같은 스크립트 언어를 사용하여 포렌식이 어려운 Fileless 악성코드가 지속적으로 증가하고 있다. 이에 본 논문에서 PowerShell 데이터셋을 활용하여 기존 패턴은 탐지할 수 없는 한계점을 가진 시그니처 또는 휴리스틱 기반 탐지 기법을 보완하여 기존의 악성코드들을 학습 및 새로운 악성코드를 추측하는 것이 가능한 심층 학습 기술, Graph Convolutional Networks 과 자카드 유사도를 활용하여 기존의 방식에 비해 더 효율적으로 탐지를 이루어 내는지를 판단해보려한다.

자카드 유사도 기법을 이용한 채용 매칭 멘토링 시스템 (Recruitment matching mentoring system using Jaccard Similarity)

  • 장승훈;최봉준
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2023년도 제68차 하계학술대회논문집 31권2호
    • /
    • pp.699-700
    • /
    • 2023
  • 최근 국내 기업에서는 블라인트 테스트나 포트폴리오와 같은 자료를 활용하여 채용하는 추세이다. 지원자마다 개인의 역량이 다를 뿐만 아니라 기업에서 요구하는 기술/경험, 지원 자격, 특정 기술에 대한 경험을 요구한다. 따라서 본 논문에서는 국내 기업의 채용 공고에 기재된 지원 자격, 우대 기술, 우대 사항 등의 데이터와 지원자의 개인 역량(기술 스택, 전공 역량, 진행 프로젝트 등) 데이터를 활용하여 키워드를 추출한다. 지원자와 기업이 입력한 데이터를 통해 추출한 키워드들을 두 개의 집합으로 나눈 뒤 각각의 키워드를 할당한다. 할당받은 집합들을 비교하여 지원자의 정보가 기업의 채용 조건에 얼마나 부합하는지 계산한 후, 해당확률을 지원자에게 제공하는 방식의 시스템이다.

  • PDF

카드소팅을 활용한 디지털 신기술 과정 핵심역량 군집화에 관한 연구 (A Study on Clustering of Core Competencies to Deploy in and Develop Courseworks for New Digital Technology)

  • 이지운;이호;권정흠
    • 실천공학교육논문지
    • /
    • 제14권3호
    • /
    • pp.565-572
    • /
    • 2022
  • 카드소팅(Card sorting)은 항목 간의 관계에 대한 사용자의 인식을 이해하는 데 유용한 데이터 수집 방법으로서, 일반적으로 카드소팅은 사용자 조사 및 평가에 매우 유용한 직관적이고 비용 효율적인 기술이다. 본 연구에서는 각 분야 직업별 핵심역량들은 코스 개발을 위하여 다음 단계인 카드소팅 단계에서 활용되는 역량카드로 사용하고, 결과를 군집화 하기 위해 K-평균 알고리즘을 적용하여 군집화 결과를 도출하였다. 카드소팅 결과 각 분야 직업별 핵심역량들에 대한 역량 군집화는 Participant-Centric Analysis (PCA)를 바탕으로 검증하였고, 이를 바탕으로 역량에 따른 직업별 코스 및 역량 분류 결과와 클러스터링에 의한 카드 유사성 정도는 각 직업별 핵심 역량 카드수에 대해 소팅 참여자 수 대비 군집화에 적합하게 동의한 참여자의 수와 카드 유사성 정도를 도출하였다.

CVE 동향을 반영한 3-Step 보안 취약점 위험도 스코어링 (3-Step Security Vulnerability Risk Scoring considering CVE Trends)

  • 임지혜;이재우
    • 한국정보통신학회논문지
    • /
    • 제27권1호
    • /
    • pp.87-96
    • /
    • 2023
  • 보안 취약점 수가 해마다 증가함에 따라 보안 위협이 지속해서 발생하고 있으며 취약점 위험도의 중요성이 대두되고 있다. 본 논문에서는 보안 취약점 위험도 판단을 위해 동향을 반영한 보안 위협 스코어링 산출식을 고안하였다. 세 단계에 따라 공격 유형과 공급업체, 취약점 동향, 최근 공격 방식과 기법 등의 핵심 항목 요소를 고려하였다. 첫째로는 공격 유형, 공급업체와 CVE 데이터의 관련성 확인 결과를 반영한다. 둘째로는 LDA 알고리즘으로 확인된 토픽 그룹과 CVE 데이터 간 유사성 확인을 위해 자카드 유사도 기법을 사용한다. 셋째로는 최신 버전 MITRE ATT&CK 프레임워크의 공격 방법, 기술 항목 동향과 CVE 간의 관련성 확인 결과를 반영한다. 최종 보안 취약점 위협 산출식 CTRS의 활용성 검토를 위해 공신력 높은 취약점 정보 제공 해외 사이트 내 데이터에 제안한 스코어링 방식을 적용하였다. 본 연구에서 제안한 산출식을 통하여 취약점과 관련된 일부 설명만으로도 관련성과 위험도가 높은 취약점을 확인하여 신속하게 관련 정보를 인지하고 대응할 수 있다.

OPAC에서 탐색결과의 클러스터링에 관한 연구 (The Effectiveness of Hierarchic Clustering on Query Results in OPAC)

  • 노정순
    • 한국문헌정보학회지
    • /
    • 제38권1호
    • /
    • pp.35-50
    • /
    • 2004
  • 본 연구는 한글 OPAC에서 문헌의 분류와 브라우징에 적합한 정적 계층클러스터링 모형이 서명단어 탐색으로 검색된 탐색결과를 클러스터링하는데도 효과적인지를 규명하기 위해 수행되었다. 서명에 출현하는 단어와 색인자가 부여한 통제어를 통합한 색인어를 이진빈도로 가중치를 주어, 다이스와 자카드 계수, 집단 간 평균연결과 완전연결 클러스터링 기법이 테스트되었다. 16개의 서명단어 탐색으로 검색된 문헌을 클러스터링한 결과 최적으로 선택된 클러스터의 정확률은 유사도 계수나 클러스터링 기법에 관계없이 서명단어탐색보다 100%이상 향상되었다. 1단계와 최종단계 클러스터링 모두에서, 정확률 측면에서는 완전연결이, 재현을 측면에서는 집단 간 평균연결이 더 효과적이었으나 통계적으로 유의한 수준은 아니었다. 1단계 클러스터에서 집단 간 평균연결이 보다 높은 재현율을 보인 것은 유의하였다. 다이스와 자카드 사이에 차이는 없었다. 최종클러스터가 선택되기까지 집단 간 평균연결은 너무 긴 계층군집 단계를 필요로 하여 탐색효율 측면에서 바람직해 보이지 않았다.