• Title/Summary/Keyword: 텍스트 검색

Search Result 679, Processing Time 0.025 seconds

R3 : Open Domain Question Answering System Using Structure Information of Tables (R3 : 테이블의 구조 정보를 활용한 오픈 도메인 질의응답 시스템)

  • Deokhyung Kang;Gary Geunbae Lee
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.455-460
    • /
    • 2022
  • 오픈 도메인 질의 응답에서 질의에 대한 답변은 질의에 대한 관련 문서를 검색한 다음 질의에 대한 답변을 포함할 수 있는 검색된 문서를 분석함으로써 얻어진다. 문서내의 테이블이 질의와 관련이 있을 수 있음에도 불구하고, 기존의 연구는 주로 문서의 텍스트 부분만을 검색하는 데 초점을 맞추고 있었다. 이에 테이블과 텍스트를 모두 고려하는 질의응답과 관련된 연구가 진행되었으나 테이블의 구조적 정보가 손실되는 등의 한계가 있었다. 본 연구에서는 테이블의 구조적 정보를 모델의 추가적인 임베딩을 통해 활용한 오픈 도메인 질의응답 시스템인 R3를 제안한다. R3는 오픈 도메인 질의 응답 데이터셋인 NQ에 기반한 새로운 데이터셋인 NQ-Open-Multi를 이용해 학습 및 평가하였으며, 테이블의 구조적 정보를 활용하지 않은 시스템에 비해 더 좋은 성능을 보임을 확인할 수 있었다.

  • PDF

Efficient Inverted List Search Technique using Bitmap Filters (비트맵 필터를 이용한 효율적인 역 리스트 탐색 기법)

  • Kwon, In-Teak;Kim, Jong-Ik
    • The KIPS Transactions:PartD
    • /
    • v.18D no.6
    • /
    • pp.415-422
    • /
    • 2011
  • Finding similar strings is an important operation because textual data can have errors, duplications, and inconsistencies by nature. Many algorithms have been developed for string approximate searches and most of them make use of inverted lists to find similar strings. These algorithms basically perform merge operations on inverted lists. In this paper, we develop a bitmap representation of an inverted list and propose an efficient search algorithm that can skip unnecessary inverted lists without searching using bitmap filters. Experimental results show that the proposed technique consistently improve the performance of the search.

Overlay Text Graphic Region Extraction for Video Quality Enhancement Application (비디오 품질 향상 응용을 위한 오버레이 텍스트 그래픽 영역 검출)

  • Lee, Sanghee;Park, Hansung;Ahn, Jungil;On, Youngsang;Jo, Kanghyun
    • Journal of Broadcast Engineering
    • /
    • v.18 no.4
    • /
    • pp.559-571
    • /
    • 2013
  • This paper has presented a few problems when the 2D video superimposed the overlay text was converted to the 3D stereoscopic video. To resolve the problems, it proposes the scenario which the original video is divided into two parts, one is the video only with overlay text graphic region and the other is the video with holes, and then processed respectively. And this paper focuses on research only to detect and extract the overlay text graphic region, which is a first step among the processes in the proposed scenario. To decide whether the overlay text is included or not within a frame, it is used the corner density map based on the Harris corner detector. Following that, the overlay text region is extracted using the hybrid method of color and motion information of the overlay text region. The experiment shows the results of the overlay text region detection and extraction process in a few genre video sequence.

Building Concept Networks using a Wikipedia-based 3-dimensional Text Representation Model (위키피디아 기반의 3차원 텍스트 표현모델을 이용한 개념망 구축 기법)

  • Hong, Ki-Joo;Kim, Han-Joon;Lee, Seung-Yeon
    • KIISE Transactions on Computing Practices
    • /
    • v.21 no.9
    • /
    • pp.596-603
    • /
    • 2015
  • A concept network is an essential knowledge base for semantic search engines, personalized search systems, recommendation systems, and text mining. Recently, studies of extending concept representation using external ontology have been frequently conducted. We thus propose a new way of building 3-dimensional text model-based concept networks using the world knowledge-level Wikipedia ontology. In fact, it is desirable that 'concepts' derived from text documents are defined according to the theoretical framework of formal concept analysis, since relationships among concepts generally change over time. In this paper, concept networks hidden in a given document collection are extracted more reasonably by representing a concept as a term-by-document matrix.

Efficient Storing of Suffix Arrays using Block-Sorting Compression (블록정렬압축을 이용한 접미사배열의 효율적인 저장)

  • Lee, Geon-Ho;Park, Geun-Su
    • Journal of KIISE:Computer Systems and Theory
    • /
    • v.28 no.7
    • /
    • pp.350-355
    • /
    • 2001
  • 블록정렬압축은 빠른 속도로 동작하면서 높은 압축률을 나타내는 압축 방법이다. 또한 블록정렬방식으로 압축된 텍스트는 원래 텍스트를 복원하는 과정에서 접미사배열을 0(n) 시간만에 구할 수 있다. 그러나 접미사배열을 이용하여 효율적인 검색을 수행하려면 lcp(longest common prefix)정보가 추가적으로 필요하다. 본 논문에서는 텍스트와 접미사배열이 주어졌을 때 lcp정보를 0(n) 시간만에 구할 수 있는 알고리즘을 제시한다.

  • PDF

Efficient storing of suffix arrays using block-sorting compression (블록정렬압축을 이용한 접미사배열의 효율적인 저장)

  • 이건호;박근수
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2000.10a
    • /
    • pp.554-556
    • /
    • 2000
  • 블록정렬압축은 빠른 속도로 동작하면서 높은 압축률을 나타내는 압축 방법이다. 또한 블록정렬방식으로 압축된 텍스트는 원래 텍스트를 복원하는 과정에서 접미사배열을 O(n) 시간만에 구할 수 있다. 그러나 접미사배열을 이용하여 효율적인 검색을 수행하려면 lcp(longest common prefix)정보가 추가적으로 필요하다. 본 논문에서는 텍스트와 접미사배열이 주어졌을 때 lcp정보를 O(n)시간만에 구할 수 있는 알고리즘을 제시한다.

  • PDF

Real-time Character Detection System Using EAST Model and OCR (EAST 모델과 OCR을 이용한 실시간 문자 탐지 시스템)

  • Ye-Jun Choi;Mikyeong Moon
    • Proceedings of the Korean Society of Computer Information Conference
    • /
    • 2023.07a
    • /
    • pp.683-684
    • /
    • 2023
  • 웹페이지나 디지털 문서에는 특정 단어나 특정 문구를 검색하는 기능이 있다. 인쇄된 도서나 참고서 등과 같은 인쇄물에는 실시간으로 특정 단어나 특정 문구를 찾는 기능이 없어 어려움을 겪는 경우가 많다. 본 논문에서는 텍스트를 감지(Detection)하는 EAST 모델과 텍스트를 인식(Recognition)하는 EasyOCR을 활용한 실시간 문자 탐지 시스템의 개발내용에 대해 기술한다. 이 시스템을 통해 사용자는 인쇄물에서 실시간으로 원하는 단어나 문구를 찾아 필요한 정보를 빠르게 읽는 것에 효과적일 것을 기대한다.

  • PDF

QualityRank : Measuring Authority of Answer in Q&A Community using Social Network Analysis (QualityRank : 소셜 네트워크 분석을 통한 Q&A 커뮤니티에서 답변의 신뢰 수준 측정)

  • Kim, Deok-Ju;Park, Gun-Woo;Lee, Sang-Hoon
    • Journal of KIISE:Databases
    • /
    • v.37 no.6
    • /
    • pp.343-350
    • /
    • 2010
  • We can get answers we want to know via questioning in Knowledge Search Service (KSS) based on Q&A Community. However, it is getting more difficult to find credible documents in enormous documents, since many anonymous users regardless of credibility are participate in answering on the question. In previous works in KSS, researchers evaluated the quality of documents based on textual information, e.g. recommendation count, click count and non-textual information, e.g. answer length, attached data, conjunction count. Then, the evaluation results are used for enhancing search performance. However, the non-textual information has a problem that it is difficult to get enough information by users in the early stage of Q&A. The textual information also has a limitation for evaluating quality because of judgement by partial factors such as answer length, conjunction counts. In this paper, we propose the QualityRank algorithm to improve the problem by textual and non-textual information. This algorithm ranks the relevant and credible answers by considering textual/non-textual information and user centrality based on Social Network Analysis(SNA). Based on experimental validation we can confirm that the results by our algorithm is improved than those of textual/non-textual in terms of ranking performance.

An Associative Search System for Mobile Life-log Semantic Networks based on Visualization (시각화 기반 모바일 라이프 로그 시맨틱 네트워크 연관 검색 시스템)

  • Oh, Keun-Hyun;Kim, Yong-Jun;Cho, Sung-Bae
    • Journal of KIISE:Computing Practices and Letters
    • /
    • v.16 no.6
    • /
    • pp.727-731
    • /
    • 2010
  • Recently, mobile life-log data are collected by mobile devices and used to recode one's life. In order to help a user search data, a mobile life-log semantic network is introduced for storing logs and retrieving associative information. However, associative search systems on common semantic networks in previous studies provide for a user with only found data as text to users. This paper proposes an associative search system for mobile life-log semantic network that supports selection and keyword associative search of which a process and result are a visualized graph representing associative data and their relationships when a user inputs a keyword for search. In addition, by using semantic abstraction, the system improves user's understanding of search result and simplifies the resulting graph. The system's usability was tested by an experiment comparing the system and a text-based search system.

The Meta Search Agent using Ranking Algorithm with Link Structure Analysis (링크 구조 기반의 순위 알고리즘을 이용한 메타 검색 에이전트)

  • 김형욱;김민구;최경희
    • Proceedings of the Korean Information Science Society Conference
    • /
    • 2002.10d
    • /
    • pp.373-375
    • /
    • 2002
  • 하이퍼 텍스트 구조의 특성을 이용한 순위 평가 알고리즘 중의 하나인 HITS 알고리즘은 웹 페이지들의 상호간에 연결된 링크 정보로부터 웹 문서들의 중요도를 평가하여 순위에 따른 결과를 제시한다. 그러나 초기의 HITS 알고리즘은 문서 내의 링크 빈도 수만을 고려하고, 입력 값으로 주어지는 웹 문서 집합의 특성에 의존적인 단점을 가지고 있다. 본 논문에서는 여러 웹 검색 엔진들로부터 얻어진 문서 집합에 수정된 HITS 알고리즘을 수행하는 메타 검색 에이전트를 설계하여 보다 나은 검색 성능을 구하고, 결과의 지역성을 보완한다.

  • PDF