• Title/Summary/Keyword: 유사도계산

Search Result 791, Processing Time 0.025 seconds

Zero-shot Lexical Semantics based on Perplexity of Pretrained Language Models (사전학습 언어모델의 Perplexity에 기반한 Zero-shot 어휘 의미 모델)

  • Choi, Heyong-Jun;Na, Seung-Hoon
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.473-475
    • /
    • 2021
  • 유의어 추천을 구현하기 위해서는 각 단어 사이의 유사도를 계산하는 것이 필수적이다. 하지만, 기존의 단어간 유사도를 계산하는 여러 방법들은 데이터셋에 등장하지 않은 단어에 대해 유사도를 계산 할 수 없다. 이 논문에서는 이를 해결하기 위해 언어모델의 PPL을 활용하여 단어간 유사도를 계산하였고, 이를 통해 유의어를 추천했을 때 MRR 41.31%의 성능을 확인했다.

  • PDF

A Text-based Similarity Measure for Scientific Literature (텍스트 기반 논문 유사도 계산 방안)

  • Yoon, Seok-Ho;Hwang, Won-Seok;Kim, Sang-Wook
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2010.04a
    • /
    • pp.858-859
    • /
    • 2010
  • 본 논문에서는 텍스트 기반 유사도 계산 방안을 이용하여 논문들 간의 유사도를 계산하는 방안을 제안한다. 논문 데이터베이스에는 논문의 본문이 거의 저장되어 있지 않다. 따라서 논문 데이터베이스에 저장되어 있는 논문의 제목과 요약글들의 키워드들을 이용하여 기존 텍스트 기반 유사도 계산 방안으로 논문들 간의 유사도를 계산할 수 있다. 그러나 논문의 제목과 요약글은 논문의 본문이 가지고 있는 키워드들에 비해서 너무나도 적은 수의 키워드들을 가지고 있기 때문에 해당 키워드들만으로 논문들 간의 유사도를 계산하면 정확도가 낮을 수 있다. 따라서 본 논문에서는 논문을 표현하는 키워드의 수를 증가시키기 위해서 새로운 논문 유사도 계산 방안을 제안한다. 실험을 통하여 제안하는 방안의 우수성을 검증한다.

Similarity Computation between Music Motifs Using Cosine Measure (Cosine Measure를 이용한 음악 동기간 유사도 계산)

  • Lim, Sang-Hyuk;Ku, Kyong-I;Kim, Yoo-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2003.05c
    • /
    • pp.1603-1606
    • /
    • 2003
  • 음악에서 동기는 독립성을 지니는 최소 단위이며, 저작권 검사의 단위로 이용된다 따라서, 한 음악에서 약간의 변화를 가지고 반복되는 주제선율을 추출하거나, 다른 음악간의 유사도를 측정하는데 유사도 계산은 필요하다. 본 논문에서는 비교되는 동기의 선율정보를 음 길이와 음높이가 함께 고려되는 시계열 데이타로 변환하고, cosine measure를 이용하여 동기간의 유사도를 계산한다. 시계열 데이타에서 유사도 계산으로 사용되는 유클리드 거리함수 대신 cosine measure를 이용한 경우, 공간상의 거리 합대신 변화 방향이 반영됨으로써 비교되는 동기간의 유사도를 정확하게 계산한다. 본 논문에서 제안된 동기간의 유사도 계산은 내용 기반 음악 검색에서 색인으로 사용되는 주제선율을 추출하거나, 다른 음악의 동기간의 유사성을 비교하는데 이용될 수 있다.

  • PDF

An iterative algorithm for Ontology mapping (반복적 알고리즘을 이용한 온톨로지 매핑)

  • Ahn, Jinhyun;Choi, Key-Sun
    • Annual Conference on Human and Language Technology
    • /
    • 2009.10a
    • /
    • pp.14-18
    • /
    • 2009
  • 온톨로지 매핑은 서로 다른 온톨로지에 있는 클래스가 유사한 개념을 표현한 것인지 판단하는 문제이다. 클래스 유사도를 계산 하는 방법에는 클래스의 이름 어휘 유사도, 의미 유사도, 클래스 관계/속성 유사도 그리고 클래스 상하위 관계 유사도 등이 제안되었다. 본 논문에서는 이러한 클래스 유사도를 계산하기 위한 반복적 유사도 계산 알고리즘을 제안한다. 매 반복 단계마다 모든 클래스 쌍의 유사도를 전부 갱신 하는 방법과 유사도가 최대인 쌍만 선택적으로 갱신 하는 방법을 비교 실험하였다. 실험 결과 유사도가 최대인 쌍만 업데이트하는 방법의 성능이 좋았고 소요시간도 적었다.

  • PDF

Technique for Path-based Similarity Evaluation of XML Documents (경로 기반의 XML 문서 유사도 계산 기법)

  • Yi Dong-Ae;Jang Duck-Sung
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2004.11a
    • /
    • pp.689-692
    • /
    • 2004
  • XML은 의미적으로는 동일하거나 혹은 유사하지만 서로 다른 구조의 XML 문서들을 허용하므로 XML 문서들을 대상으로 하는 검색, 클러스터링 등의 응용에서는 XML 문서들간의 유사도 계산이 선행되어져야 한다. XML 문서간 유사도를 계산하기 위해서는 문서의 구조 정보인 엘리먼트들과 이들 엘리먼트들의 계층적 구조가 고려되어져야 한다. 본 연구에서는 두 XML 문서가 얼마나 유사한 경로들을 공통으로 가지냐를 두 문서간의 유사도로 보고, 경로 유사도 계산식과, 이를 기반으로 하는 문서 거리 및 문서 유사도 계산식을 정의하여, 유사도 계산 기법을 제안한다. 제안된 기법과 기존 유사도 계산 기법들을 예제 문서들을 통해 계산결과를 비교한다.

  • PDF

A Basic Study on Matching Color Images with Different Color Sets (상이한 칼라 집합으로 구성된 영상의 정합에 관한 기초 연구)

  • 김동균;김성영;김종민;김민환
    • Proceedings of the Korea Multimedia Society Conference
    • /
    • 2002.05c
    • /
    • pp.164-169
    • /
    • 2002
  • 칼라 정보를 이용하여 영상을 정합하기 위해서는 적은 수의 칼라 집합으로 영상을 표현하는 영상 양자화 과정이 필요하다. 적응적 양자화를 사용하는 경우에는 균일 양자화에 비해 높은 정합 성능을 기대할 수 있지만 상이한 칼라 집합의 생성으로 인해 영상 정합 과정이 힘들게 된다. 이에 본 논문에서는 상이한 칼라 집합을 갖는 영상을 정합할 수 있는 기초적인 연구를 수행하였다. 영상 정합을 위해 우선 STR(sort-tile-recursive) 방법[1]을 응용하여 질의 영상의 각 칼라에 대한 유사 칼라를 DB 영상으로부터 빠르게 선정할 수 있는 방법을 개발하였다. 질의 칼라와 유사 칼라간의 유사도를 정의하고 이를 기반으로 영상간의 유사도를 계산함으로써 영상 정합에 이용할 수 있도록 하였다. 칼라간의 유사도는 칼라 차이가 고려되어 정의되는데 칼라 차이는 칼라 공간에서의 칼라 거리로 계산된다. 칼라 거리를 계산하기 위해 유클리디언 거리를 이용할 경우 많은 계산량이 요구되므로 기존의 시티블록 거리나 체스보드 거리에 비해 유클리디언 거리를 좀더 유사하게 근사화하면서 빠른 계산이 가능한 거리 계산 방법을 개발하였다.

  • PDF

Similarity Estimation of Argument Between Noun using Predicate (술어를 활용한 명사 논항간의 유사도 계산)

  • Jo, Byeong-Cheol;Seok, Mi-Ran;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2014.10a
    • /
    • pp.238-241
    • /
    • 2014
  • 본 논문에서는 명사간의 유사도 추정을 위하여 명사 어휘와 술어-논항 관계에 있는 동사들의 유사도를 측정하여 이를 활용하는 연구를 제안한다. 어휘 유사도 추정은 정보 통합과 정보 검색 분야에서 중요한 역할을 한다. 본 연구에서는 유사한 명사 어휘들은 유사한 문맥을 가지고 있으며 동시에 명사 어휘의 문맥에 있어 가장 중요한 문맥 정보는 명사 어휘와 직접적인 구문 관계를 가지고 있는 술어 정보임을 가정하였다. 실험을 위하여 본 연구에서 제시된 유사도와 명사 계층 클래스간의 유사도간의 상관관계를 계산하였다.

  • PDF

Relation Analysis of Disease and Biomarker based on Google Scholar (구글 학술 검색 기반의 질병과 바이오마커 관계 분석)

  • Oh, Byoung-Doo;Kim, Yu-Seop
    • Annual Conference on Human and Language Technology
    • /
    • 2017.10a
    • /
    • pp.238-241
    • /
    • 2017
  • 본 논문에서는 구글 학술 검색 기반의 데이터를 이용하여 질병과 폐질환과 관련된 바이오마커 단어의 유사도를 계산하는 방법을 제안한다. 질병과 바이오마커의 유사도를 계산할 때, 각 단어의 구글 학술 검색의 검색 결과를 이용하였다. 이를 통해 폐질환 관련 바이오마커와 다른 질병간의 관계를 파악하고자 하며, 의료 전문가에게 폐질환 관련 바이오마커와 다른 질병간의 새로운 관계를 제시하고자 한다. 이러한 데이터를 이용하여 계산한 결과, Wor2Vec의 결과를 이용한 코사인 유사도의 결과와 상관 계수가 약 0.64로 상당히 높은 상관 관계를 확인할 수 있었다. 따라서 이 방법을 통해 질병과 바이오마커의 관계를 파악하고자 하였다. 또한 Word2Vec을 이용한 질병과 바이오마커 단어의 벡터 값과 단어 유사도 계산 방법의 결과를 이용한 Deep Neural Networks (DNNs) 모델을 구축하고자 하며, 이를 통해 자동적으로 유사도를 분석하고자 하였다.

  • PDF

Relation Analysis of Disease and Biomarker based on Google Scholar (구글 학술 검색 기반의 질병과 바이오마커 관계 분석)

  • Oh, Byoung-Doo;Kim, Yu-Seop
    • 한국어정보학회:학술대회논문집
    • /
    • 2017.10a
    • /
    • pp.238-241
    • /
    • 2017
  • 본 논문에서는 구글 학술 검색 기반의 데이터를 이용하여 질병과 폐질환과 관련된 바이오마커 단어의 유사도를 계산하는 방법을 제안한다. 질병과 바이오마커의 유사도를 계산할 때, 각 단어의 구글 학술 검색의 검색 결과를 이용하였다. 이를 통해 폐질환 관련 바이오마커와 다른 질병간의 관계를 파악하고자 히며, 의료 전문가에게 폐질환 관련 바이오마커와 다른 질병간의 새로운 관계를 제시하고자 한다. 이러한 데이터를 이용하여 계산한 결과, Wor2Vec의 결과를 이용한 코사인 유사도의 결과와 상관 계수가 약 0.64로 상당히 높은 상관 관계를 확인할 수 있었다. 따라서 이 방법을 통해 질병과 바이오마커의 관계를 파악하고자 하였다. 또한 Word2Vec을 이용한 질병과 바이오마커 단어의 벡터 값과 단어 유사도 계산 방법의 결과를 이용한 Deep Neural Networks (DNNs) 모델을 구축하고자 하며, 이를 통해 자동적으로 유사도를 분석하고자 하였다.

  • PDF

A Sequence Similarity Measure Considering the Product Taxonomy in Transaction Data (구매이력 데이터에서 상품 분류 체계를 고려한 시퀀스 유사도 측정 기법)

  • Yang, Yu-Jeong;Lee, Ki Yong
    • Proceedings of the Korea Information Processing Society Conference
    • /
    • 2019.05a
    • /
    • pp.367-370
    • /
    • 2019
  • 본 논문은 구매이력 데이터에서 상품간의 분류 체계를 고려하여 시퀀스 간의 유사도를 계산하는 새로운 방법을 제안한다. 시퀀스란 두 항목간의 순서가 존재하는 데이터를 의미한다. 항목 간의 선후관계가 중요한 시퀀스 데이터에서는 두 시퀀스 간의 유사도를 정확히 정의하는 것이 중요하다. 본 논문에서는 대표적인 시퀀스 유사도 측정 알고리즘인 편집 거리 알고리즘을 활용하여 구매이력 데이터에서 시퀀스 간의 유사도를 정의한다. 상품은 상품의 특성에 따라 항목 분류 체계에서 여러 범주로 분류된다. 이 경우 기존의 편집 거리 알고리즘에서 문자의 일치유무에 따라 단순히 0 또는 1을 부여하는 것은 부정확하다. 따라서 본 논문은 편집 거리 알고리즘의 수정 연산 중 대체 연산 비용 계산 시 항목 분류 트리를 사용하여 연산 비용이 0 에서 1 사이의 값을 가지도록 세분화하였다. 실험 결과 제안 방법은 대체 연산 비용 계산 시 두 문자가 다르면 단순히 1 을 부여하는 기존의 편집 거리 알고리즘에 비해 시퀀스 간의 유사도를 더 정확하게 계산함을 확인하였다.