• Title/Summary/Keyword: 데이터 검색 알고리즘

검색결과 514건 처리시간 0.033초

링크 분석에 기반한 웹 문서 중요도 평가 알고리즘의 구현 (An Implementation of the Ranking Algorithm for Web Documents based on Link Analysis)

  • 임성채
    • 한국컴퓨터정보학회:학술대회논문집
    • /
    • 한국컴퓨터정보학회 2010년도 제42차 하계학술발표논문집 18권2호
    • /
    • pp.75-78
    • /
    • 2010
  • 웹 검색에는 기존의 정보검색(Information Retrieval) 시스템에서와 다르게 문서 간 하이퍼링크 정보를 바탕으로 각 웹 문서의 고유 중요도를 추정하는 방식이 자주 이용된다. 링크 분석에 기반한 알고리즘 중 PageRank 알고리즘은 구글의 웹 검색 서비스에 적용된 것으로 알려져 있다. 이런 PageRank 알고리즘에 따라 중요도를 계산하는 경우 색인된 웹 문서수가 증가함에 따라 계산에 필요한 CPU 자원의 사용도 함께 증가하며, 문서 수가 수 억 페이지에 달하면 하나의 서버에서는 계산을 수행할 수 없다는 문제가 있다. 본 논문에서는 이런 문제점을 해소하기 위해 여러 대의 서버를 PageRank 계산 용 클러스터로 사용할 수 있는 방법을 제시한다. 제시된 방법은 고속의 LAN을 이용하여 여러 대의 서버를 연결하고 반복적인 행렬 계산을 병렬로 수행할 수 있어 계산 시간을 단축시킬 수 있다. 이런 서버 클러스터 구현을 위해 멀티 쓰레딩 프로그램이 작성되었으며, PageRank 계산에 사용되는 행렬 데이터를 적은 양의 메모리만으로 표현 가능하도록 하였다.

  • PDF

BERT 기반 의미론적 검색을 활용한 관광지 순위 시스템 개발 (Development of a Ranking System for Tourist Destination Using BERT-based Semantic Search)

  • 이강우;김명선;홍순구;노수경
    • 한국산업정보학회논문지
    • /
    • 제29권4호
    • /
    • pp.91-103
    • /
    • 2024
  • 본 연구의 목적은 시맨틱 검색 기법을 활용하여 사용자 쿼리 기반의 타당한 정확도를 가진 관광지 랭킹시스템을 설계하는 것이다. 이를 위해 관광지에 대한 텍스트 리뷰 데이터 수집, 데이터 전처리 및 SBERT를 활용한 임베딩 과정을 거쳤다. 이후 유사도를 측정하고 임계값을 충족하는 데이터를 필터링한 후 카운트 기반 랭킹 알고리즘을 적용하여 쿼리와 의미적으로 유사한 순서로 관광지 순위를 도출하였다. 제안된 랭킹 알고리즘의 평가를 위해 4개의 쿼리로 실험을 진행하여 연관성이 높은 상위 5개 관광지를 도출하였다. 도출된 결과값의 비교를 위해 58,175개의 문장에 직접 라벨을 붙여 세 번째 쿼리인 혼잡도와 의미적으로 연관성이 있는지를 확인하였다. 두 결과값이 유사하여 본 연구에서 제시된 랭킹 알고리즘의 효율성이 검증되었다. 임계값 최적화, 데이터 불균형 등의 문제에도 불구하고 이 연구는 시맨틱 검색 기법을 이용하여 적은 비용과 시간으로도 사용자의 의도를 파악하여 관광지를 추천하는 것이 가능하다는 것을 보여주었다.

국내 과학기술콘텐츠 저자의 소속기관명 식별을 위한 소속기관명 자동 식별 알고리즘에 관한 연구 (A Study on the Identification Algorithm for Organization's Name of Author of Korean Science & Technology Contents)

  • 김진영;이석형;서동준;김광영;윤정선
    • 디지털콘텐츠학회 논문지
    • /
    • 제18권2호
    • /
    • pp.373-382
    • /
    • 2017
  • 과학기술콘텐츠가 증가함에 따라 과학기술콘텐츠의 효율적인 검색을 지원하는 서비스가 요구되고 있다. 저자의 소속기관명을 키워드로 사용할 경우 한 기관에서 생산된 콘텐츠를 확인할 수 있을 뿐만 아니라 저자, 용어를 키워드로 사용한 검색 결과의 식별율을 향상 시킬 수 있다. 검색 키워드로 사용되는 데이터들의 중의성과 모호성으로 인해 검색 결과에 false negative, false positive가 포함될 수 있으므로 데이터의 식별을 통한 통제는 중요하다. 저자의 소속기관명의 식별을 통한 통제 역시 기관의 이명, 약어 검색을 지원가능하게 하므로 매우 중요하지만 기존의 데이터 식별을 통한 통제에 대한 연구는 저자, 용어에 대한 연구가 주를 이루었다. 본 연구에서는 기관명 식별 알고리즘을 제안하고, 한국과학기술정보연구원에서 보유하고 있는 국내 과학기술콘텐츠들에 대한 데이터를 이용한 실험 결과를 보인다.

자기상관을 이용한 음성 신호의 MIDI 변환 (Speech-to-MIDI Conversion with Autocorrelation)

  • 박상보;황인준
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (3)
    • /
    • pp.439-441
    • /
    • 2004
  • 효율적인 멀티미디어 검색의 필요성이 증대됨에 따라 내용기반 멀티미디어의 검색에 대한 다양한 기법들이 소개되고 있다. 그 중에서 친숙한 멜로디를 가지고 사용자가 직접 마이크를 통해 생성한 음성 질의에 대한 분석에 대해 다루고자 한다. 음성 질의에 사용되는 음성 데이터를 분석함으로써 검색에 이용하는 것이다. 음성데이터를 분석하기 위한 방법으로 시간영역에서 가장 많이 쓰이는 기법 중의 하나인 자기상관함수를 사용한다. 자기상관 함수를 이용하여 특정구간에서 발생하는 일정한 주기 즉 기본주기를 검출할 수 있다. 자기상관함수에 의해 분석된 결과를 가지고, 음의 높낮이를 구하기 위한 기본주파수 검출 알고리즘과 음의 길이, 음의 세기를 결정하기 위한 방법을 제안한다.

  • PDF

센서 네트워크 기반 화재 감지 시스템 설계 (Design of Fire Detection System Based on Sensor Network)

  • 육의수;김성호
    • 한국지능시스템학회:학술대회논문집
    • /
    • 한국퍼지및지능시스템학회 2006년도 추계학술대회 학술발표 논문집 제16권 제2호
    • /
    • pp.378-382
    • /
    • 2006
  • 현재 주로 사용되고 있는 화재 감지 장치들은 경고 기반으로 되어 있어 정확한 화재 발생의 위치 검색이 어려우며 장치의 고장이 발생한 경우 고장 유/무의 확인이 어려워 보다 큰 인명 피해 및 재산 피해를 가져올 수 있다. 센서 네트워크 시스템은 통신매체 없이 데이터 송/수신이 가능하며 이를 통한 모니터링 환경의 구축이 쉬워 위치검색 및 고장 검출 알고리즘의 적용이 간단하다. 본 논문에서는 WSN 기반의 화재 감지 시스템을 제안하며 오류검출 알고리즘인 Consensus 알고리즘을 적용하여 그 유용성을 확인하고자 한다.

  • PDF

효율적인 웨이블렛 기반 오디오 데이터 검색 시스템 구현 (Implementation of an Efficient Wavelet Based Audio Data Retrieval System)

  • 이배호;조용춘;김광희
    • 한국음향학회지
    • /
    • 제21권1호
    • /
    • pp.82-88
    • /
    • 2002
  • 본 논문은 오디오 데이터의 검색을 위해 웨이블렛 (wavelet) 변환을 이용한 효율적인 인덱싱 방법을 제안하였다. 오디오 데이터는 그 자신이 가지고 있는 많은 저장공간의 필요, 전송에 있어서의 실시간 필요성, 큰 대역폭등의 다양한 특성 때문에 좋은 검색효율을 위한 인덱스를 구성하기가 쉽지 않다. 신호 및 영상처리에서 각광받고 있는 웨이블렛을 이용한 인덱스는 웨이블렛 변환이 가지고 있는 여러 특징들로 인해 데이터를 블록으로 나누지 않은 상태에서의 인덱싱과 검색을 가능케 한다. 오디오 데이터의 인덱싱은 웨이블렛의 마지막 단계의 고주파 부분과 저주파 부분의 계수를 이용하여 고주파부분은 스트링 매칭 알고리즘에 의해 스트링의 연속으로 변환하고, 저주파 부분은 영점 교차 히스토그램으로 변환한다. 구축된 인덱스를 이용한 오디오 데이터 검색은 질의 데이터와 데이터 베이스안의 인덱스 각 부분, 즉 고주파 부분과 저주파 부분의 스트링을 비교하여 가장 적은 편차를 갖는 결과를 검색 결과로 한다. 본 논문은 적절한 비교 계수 결정, 질의 길이의 변화에 따른 검색율의 변화, 데이터 각 분류별 유사도 검색 효율에 대한 실험을 하였으며, 본 논문에서 제안한 방법이 기존의 방법보다 우수한 성능 향상을 보였다.

MSMP 알고리즘과 RIFLE 알고리즘의 구현 및 성능비교 평가 (Implementation and Performance Evaluation of Comparing MSMP with RIFLE Algorithm)

  • 김동희;원영상;고영웅;김진
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2004년도 가을 학술발표논문집 Vol.31 No.2 (2)
    • /
    • pp.304-306
    • /
    • 2004
  • 생물정보학에서 서열의 유사성을 예측하는 것은 가장 중요한 문제 중의 하나이다. 염기 서열의 유사성을 검색하는 유용한 검색도구들에는 BLAST와 FASTA 등이 있으며 이러한 도구들은 새로운 유기체에 대한 실제 염기 서열을 필요로 한다. 이 경우 서열을 얻기 위한 sequencing 작업이 필요로 하며 시간적인 면에 있어서 상당한 비용을 요구한다. 본 논문에서는 sequencing 작업을 하지 않고 간단한 실험에서 얻을 수 있는 부분적인 Sequence 정보만을 대상으로 데이터 베이스에서 검색을 할 수 있는 두 개의 RIFLE(Rapid Identification of Microorganisms by Fragment Length Evaluation), MSMP(Maximum Site Matching Problem) 알고리즘을 구현하고 실험을 통해 두 알고리즘을 비교 평가한다. 실험결과 RIFLE 알고리즘이 수행 속도 면에서 빠른 반면 MSMP가 산출한 결과에 비해서 신뢰성이 떨어짐을 확인하였다.

  • PDF

시계열 데이타베이스의 인덱스 보간법을 기반으로 정규화 변환을 지원하는 서브시퀀스 매칭 알고리즘 (An Index-Based Subsequence Matching Algorithm Supporting Normalization Transform in Time-Series Databases)

  • 노웅기;감상욱;황규영
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.152-154
    • /
    • 2000
  • 본 논문에서는 시계열 데이터베이스에서 정규화 변환을 지원하는 서브시퀀스 매칭 알고리즘을 제안한다. 정규화 변환은 시계열 데이터간의 절대적인 유클리드 거리에 관계없이, 구성하는 값들의 상대적인 변화 추이가 유사한 패턴을 갖는 시계열 데이터를 검색하는 데에 유용하다. 제안된 알고리즘은 몇 개의 질의 시퀀스 길이에 대해서만 각각 인덱스를 생성한 후, 이를 이용하여 모든 가능한 길이의 질의 시퀀스에 대해서 탐색을 수행한다. 이때, 착오 기각이 발생하지 않음을 증명한다. 본 논문에서는 이와 같이 인덱스가 요구되는 모든 경우 중에서 적당한 간격의 일부에 대해서만 생성된 인덱스를 이용한 탐색 기법을 인덱스 보간법이라 부른다. 질의 시퀀스의 길이 256~512 중 다섯 개의 길이에 대해 인덱스를 생성하여 실험한 결과, 탐색 결과를 선택률이 10-5일 때 제안된 알고리즘의 탐색 성능이 순차 검색에 비하여 평균 14.6배 개선되었다.

  • PDF

구면좌표계 기반에서 3차원 모델 검색 (3D Model Retrieval based on Spherical Coordinate System)

  • 송주환;최성희
    • 전자공학회논문지 IE
    • /
    • 제46권1호
    • /
    • pp.37-43
    • /
    • 2009
  • 본 논문에서는 구면 좌표계 기반에서 3차원 모델을 검색하는 새로운 알고리즘을 제안한다. 3차원 모델 위의 임의의 점들의 좌표(x, y, z)를 구하고, 이 좌표들을 구면좌표계의 좌표로 변환한다. 이 샘플들의 위도(zenith)의 분포를 3차원 모델의 특징으로 정의한다. 임의의 샘플 좌표를 구하기 위해 우리는 Osada가 제안한 방법을 사용하였고, 좌표축을 정규화하기 위하여 PCA 알고리즘을 사용하였다. 데이터는 프린스턴 대학의 벤치마크 데이터를 사용하였으며 Vranic이 제안한 depth buffer-based feature vector 알고리즘과 비교하였고, 본 논문에서 제안한 방법이 정확도에서 12.6% 더 정확하게 모델을 검색하였다.

셀기반 시그니쳐 트리: 고차원 데이터의 유사어 검색을 위한 효율적인 색인 구조 (Cell-based Signature Tree: Efficient Indexing Structures for Similarity Search in High-Dimensional Feature Space)

  • 송광택;장재우
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2000년도 봄 학술발표논문집 Vol.27 No.1 (B)
    • /
    • pp.134-136
    • /
    • 2000
  • 본 논문에서는 고차원의 특징 벡터 공간에서의 객체에 대한 효율적인 검색을 지원하는 셀기반 시그니쳐 트리 색인 구조(CS-트리, CI-트리)를 제안한다. 특징 벡터 공간을 셀로써 분할하고 특징 벡터는 셀의 시그니쳐로 표현되며 트리에 저장된다. 특징 벡터 대신 시그니쳐를 사용하여 트리의 깊이가 낮아짐으로서 검색을 효율적으로 수행할 수 있다. 또한 셀에 적합한 새로운 가지치기 거리를 이용한 유사성 검색 알고리즘으로 수행할 수 있다. 또한 셀에 적합한 새로운 가지치기 거리를 유사성 검색 알고리즘을 제시한다. 마지막으로 우수한 고차원 색인 기법으로 알려져 있는 X-트리와 성능 비교를 수행하여, 성능비교 결과 본 논문에서 제안하는 CS-트리와 CI-트리가 검색 시간 측면에서 최대 30%의 검색 성능이 개선됨을 보인다.

  • PDF