• 제목/요약/키워드: Question Retrieval System

검색결과 39건 처리시간 0.026초

분산 이형 환경에서의 이동에이전트를 이용한 정보 검색 시스템 (Information Retrieval System based on Mobile Agents in Distributed and Heterogeneous Environment)

  • 박재복;이광용;조근식
    • 한국정보과학회논문지:소프트웨어및응용
    • /
    • 제29권1_2호
    • /
    • pp.30-41
    • /
    • 2002
  • 분산 이형 환경에서 대용량의 정보를 검색하는 새로운 패러다임으로 이동 에이전트가 주목받고 있다. 검색을 수행하기 위해 많은 양의 데이터를 전송하는 대신 검색을 수행하는 에이전트를 검색을 수행할 서버로 직접 전달하는 방식을 이용하는 것이다. 본 논문에서는 분산 이형 환경에 독립적으로 존재하는 정보를 효율적으로 검색할 수 있는 이동 에이전트 기반의 정보 검색 모델을 제시하고 질의응답(Q&A)을 검색하는 시스템을 다지인하고 구현한다. 제안된 모델인 이동 에이전트 기반의 질의응답 검색 시스템(QASSMA : Q&A Search System using Mobile Agents)은 이형 분산의 환경에 존재하는 질의응답 게시판 및 뉴스그룹을 검색할 수 있는 모델이다. QASSMA의 특징을 요약하면, 우선, 최적의 검색 위치로 검색 코드 자체가 이동하여 검색을 수행하므로 기존의 정적인 검색 로봇에 비하여 고정된 네트워크 거리를 극복할 수 있고 단축된 원격 서버와의 네트워크 거리만큼 검색시간을 단축시킬 수 있다. 또한 출발서버에서 검색할 위치로 검색코드가 이동하여 실행되므로 중앙 집중적인 네트워크 트래픽 형성을 막고 출발서버의 부담을 줄일 수 있다. 마지막으로, QASSMA의 이동 검색 에이전트는 검색 환경에 맞는 클래스를 능동적으로 탑재하여 효율적으로 검색 환경의 변화에 대처할 수 있고 다양한 검색 방법을 지원할 수 있다. 본 논문에서는 실험을 통해 제안된 이동 에이전트 기반의 질의응답 시스템의 검색 방법이 기존의 정적인 검색 방법에 비해 효율적임을 보인다.

실시간 인력기반 질의응답 시스템 (Realtime People-powered Question and Answering System)

  • 임희석;류기곤
    • 한국산학기술학회논문지
    • /
    • 제9권3호
    • /
    • pp.721-726
    • /
    • 2008
  • 본 논문은 기존의 정보검색 시스템의 검색 결과에 비연관 문헌이 포함되는 단점과 질의응답 시스템이 가지는 자연어처리 기술의 한계를 극복하고, 사용자의 정보 요구에 실시간으로 정보를 제공하며 사용자의 참여를 적극 활용하여 웹2.0 환경으로의 변화에 적응할 수 있는 실시간 인력기반 질의응답 시스템을 제안한다.

다중 기계학습 방법을 이용한 한국어 커뮤니티 기반 질의-응답 시스템 (A Korean Community-based Question Answering System Using Multiple Machine Learning Methods)

  • 권순재;김주애;강상우;서정연
    • 정보과학회 논문지
    • /
    • 제43권10호
    • /
    • pp.1085-1093
    • /
    • 2016
  • 커뮤니티 기반 질의 응답 시스템은 사용자 질의에 대한 정답을 인터넷 커뮤니티에 사용자들이 게시했던 문서 중에서 선택하여 제공하는 시스템이다. 기존 방법들은 질의 분석의 성능 향상을 위하여 목적 영역에 적합한 규칙을 구축하거나 일부 처리 과정에 기계 학습을 적용하였다. 하지만 기존 방법들은 적용 영역을 확장하거나 수정하는 경우 많은 비용이 소요되며 경우에 따라서는 시스템이 특정 영역에 과적합되는 경우가 발생한다. 본 논문에서는 커뮤니티 기반 질의-응답 시스템의 효과적인 처리를 위해서 시스템의 각 과정에 적합한 기계 학습 방법을 적용하여 전체 과정을 자동화하는 다중 기계학습 방법을 제안한다. 제안 시스템은 사용자 질의를 분석하는 부분과 정답 문서를 선택하는 부분으로 나눌 수 있다. 질의 분석 과정은 질의의 초점 구문을 분석하는 질의 핵심부 추출기와 질의의 주제를 분류하는 질의 유형 분류기로 구성하였으며, 전자는 조건부 무작위장을 사용하고 후자는 지지 벡터 기계를 사용한다. 정답 문서 선택에서는 유사도 측정에서 사용하는 가중치를 인공 신경망으로 학습한다. 또한 인터넷에 커뮤니티에 게시된 데이터는 형태소 분석 결과를 신뢰할 수 없는 경우가 많이 발생한다. 따라서 음절 자질을 사용하여 질의를 분석 단계에서 형태소 분석의 영향을 최소화하는 방법을 제안한다. 제안하는 시스템은 Mean Average Precision 기준으로 0.765, R-Precision 기준으로 0.872의 성능을 보여 기존 시스템보다 성능이 우수하다.

KAB: Knowledge Augmented BERT2BERT Automated Questions-Answering system for Jurisprudential Legal Opinions

  • Alotaibi, Saud S.;Munshi, Amr A.;Farag, Abdullah Tarek;Rakha, Omar Essam;Al Sallab, Ahmad A.;Alotaibi, Majid
    • International Journal of Computer Science & Network Security
    • /
    • 제22권6호
    • /
    • pp.346-356
    • /
    • 2022
  • The jurisprudential legal rules govern the way Muslims react and interact to daily life. This creates a huge stream of questions, that require highly qualified and well-educated individuals, called Muftis. With Muslims representing almost 25% of the planet population, and the scarcity of qualified Muftis, this creates a demand supply problem calling for Automation solutions. This motivates the application of Artificial Intelligence (AI) to solve this problem, which requires a well-designed Question-Answering (QA) system to solve it. In this work, we propose a QA system, based on retrieval augmented generative transformer model for jurisprudential legal question. The main idea in the proposed architecture is the leverage of both state-of-the art transformer models, and the existing knowledge base of legal sources and question-answers. With the sensitivity of the domain in mind, due to its importance in Muslims daily lives, our design balances between exploitation of knowledge bases, and exploration provided by the generative transformer models. We collect a custom data set of 850,000 entries, that includes the question, answer, and category of the question. Our evaluation methodology is based on both quantitative and qualitative methods. We use metrics like BERTScore and METEOR to evaluate the precision and recall of the system. We also provide many qualitative results that show the quality of the generated answers, and how relevant they are to the asked questions.

지식 검색 서비스 개선을 위한 문서의 적합도 및 신뢰도 분석 (Evaluation of the documents from the Web-based Question and Answer Service)

  • 박소연;이준호;전지운
    • 한국문헌정보학회지
    • /
    • 제40권2호
    • /
    • pp.299-314
    • /
    • 2006
  • 지식 검색 서비스가 국내 포탈들의 대표적인 서비스로 정착되었음에도 불구하고, 지금까지 지식 검색 서비스의 질적 향상을 위한 연구나 지식 검색 데이터베이스의 문서 평가에 대한 연구는 미흡한 실정이다. 이에 본 연구에서는 지식 검색 데이터베이스를 구성하는 지식 문서의 평가 기준을 제시하였다. 구체적으로 본 연구에서는 지식 문서를 구성하는 질문 제목, 질문 전체, 답변의 적합도 평가 기준을 제안하고, 답변의 신뢰도 평가 기준도 제시하였다. 이러한 평가 기준에 근거하여 본 연구에서는 지식 문서의 실제 평가를 수행하였다. 본 연구의 결과는 지식 검색 테스트 컬렉션 구축과 신뢰도 컬렉션 구축에 활용되어 궁극적으로 지식 검색 서비스 개선에 기여할 것으로 기대된다.

질의·응답 자동 검색을 지원하는 웹 기반 학습 시스템의 설계 및 구현 (Design & Implementation Of Web-Based Learning System Supporting Automatic Question & Answer Retrieval)

  • 김은주;채정민;정순영
    • 컴퓨터교육학회논문지
    • /
    • 제12권2호
    • /
    • pp.33-45
    • /
    • 2009
  • 웹 기반 학습 시스템은 전자게시판, 질의 응답, 메시지 등 다양한 형태로 상호작용하며, 특히, 질의 응답은 타 학습자의 학습 경험을 간접적으로 경험함으로써 유용하게 학습 효과를 상승시킬 수 있는 곳이다. 본 연구는 기존 웹 기반 학습시스템에서 학습 내용과 학습 질의 응답 시스템 사용 중 발생하는 불편함을 파악하여 학습 내용과 밀접하게 관련된 질의 응답을 학습 내용과 함께 자동 검색해 줌으로써 학습자간 학습 경험을 공유하며 학습 효과를 향상시킬 수 있는 웹 기반 학습 환경을 제안한다. 효과성 및 정확성 분석 결과는 본 연구에서 제안한 질의 응답 자동검색 기반 학습 시스템이 학습내용과 관련된 질의 응답을 자동으로 검색 제공함으로써 학습자의 학습 성취도를 향상시키는데 도움이 된다는 것을 보여 주었다.

  • PDF

질의응답 시스템에서 처음 보는 단어의 역문헌빈도 기반 단어 임베딩 기법 (Inverse Document Frequency-Based Word Embedding of Unseen Words for Question Answering Systems)

  • 이우인;송광호;심규석
    • 정보과학회 논문지
    • /
    • 제43권8호
    • /
    • pp.902-909
    • /
    • 2016
  • 질의응답 시스템은 사용자의 질문에 대한 답을 찾아주는 시스템으로, 기존의 검색엔진이 사용자의 질의에 대해 관련된 문서의 링크만을 찾아주는 반면 질문에 대한 최종적인 답을 찾아준다는 차이점이 있다. 특정 분야에 국한되지 않고 다양한 질문을 처리해주는 오픈 도메인 질의응답 시스템에 필요한 연구들이 최근 자연어 처리, 인공지능, 데이터 마이닝 등 학계의 다양한 분야들에서 뜨거운 관심을 받고 있다. 하지만 관련 연구에서는 학습 데이터에는 없었던 단어들이 질문에 대한 정확한 답과 유사한 오답을 구별해내는데 결정적인 역할을 할 수 있음에도, 이러한 처음 보는 단어들을 모두 단일 토큰으로 치환해버리는 문제가 있다. 본 논문에서는 문맥 정보를 통해 이러한 모르는 단어에 대한 벡터를 계산하는 방법을 제안한다. 그리고 역문헌빈도 가중치를 활용하여 문맥정보를 더 효율적으로 처리하는 모델을 제안한다. 또한 풍부한 실험을 통해 질의응답 시스템의 모델 학습 속도 및 정확성이 기존 연구에 비해 향상됨을 확인하였다.

문서 말뭉치 기반 질의응답 시스템 (Text Corpus-based Question Answering System)

  • 김한준;김민경;장재영
    • 디지털콘텐츠학회 논문지
    • /
    • 제11권3호
    • /
    • pp.375-383
    • /
    • 2010
  • 질의응답시스템을 구축하는데 있어서 사용자 질의로 입력된 자연어 문장을 문법적 또는 의미적으로 완벽하게 분석하는 작업과 그 질의에 대한 정확한 답변을 찾아내는 작업은 쉬운 일이 아니다. 본 논문에서는 질의응답시스템 구축의 난제를 극복하기 위해, 문서 말뭉치에 기반하여 질의문을 자동 생성, 저장하여 이를 키워드로 검색하는 새로운 방식의 시스템을 제안한다. 질의문 생성을 위한 기본 아이디어는 수집 문서의 주요 문장에 대해 고유명사인식 기술을 활용하여 사람, 사물, 장소, 시간 등의 고유명사를 인식한 후, 각 고유명사에 해당하는 자연어 질의문을 생성하는 것이다. 질의문은 두가지 유형인 단순형 및 문장구조유지형 질의문으로 구분한다. 시스템은 이렇게 준비된 질의문 데이터베이스를 가지고 입력된 검색 키워드에 대하여 관련 질의문과 답변을 쉽게 얻을 수 있다. 본 연구의 관건은 생성된 질의문이 명확한 해답을 도출할 수 있는 의미있는 질의문을 생성하는 것이다. 이를 위해 본 연구에서는 질의문의 원천이 되는 평서문장을 선별하는 원칙과 선별된 평서문으로부터 의미있는 질의문을 생성하는 방법론을 제시한다.

질의응답시스템 응답순위 개선을 위한 새로운 유사도 계산방법 (A New Similarity Measure for Improving Ranking in QA Systems)

  • 김명관;박영택
    • 한국정보과학회논문지:컴퓨팅의 실제 및 레터
    • /
    • 제10권6호
    • /
    • pp.529-536
    • /
    • 2004
  • 본 논문에서는 질의응답시스템의 성능을 개선하기 위해 문장의 위치정보와 질의형태분류기를 사용하여 질의에 대한 대답순위를 조정하는 새로운 질의-문서 유사도 계산을 제안한다. 이를 위해 첫째로 문서내용을 표현하고 문서의 위치정보를 반영하기 위해 개념그래프를 사용한다. 이 방법은 문서비교에 대표적으로 사용되는 Dice-Coefficient에 기반하고 문장에서 단어의 위치정보론 반영한 유사도 계산이다. 두번째로 질의응답시스템의 대답순위를 개선하기 위하여 질의형태를 고려한 기계학습을 통한 질문에 대한 분류를 하였으며 이를 위해서 뉴스그룹의 FAQ 문서 30,000개를 가지고 기계학습 방법인 나이브 베이지안을 사용한 분류기를 구현하였다. 이에 대한 평가를 위해 세계적인 정보검색대회인 TREC-9의 질의응답시스템분야에 제출된 데이타를 가지고 실험하였으며 기존의 방법에 비해 자동학습기법을 사용하였음에도 평균상호순위가 0.29, 상위 5위에 정답을 포함시킨 경우가 55.1%의 성능을 보였다. 이 방법은 다른 시스템과 달리 질의형태분류를 기계학습 방법을 사용하여 자동으로 학습하는 것에 의의를 갖는다.

ExoTime: Temporal Information Extraction from Korean Texts Using Knowledge Base

  • Jeong, Young-Seob;Lim, Chae-Gyun;Choi, Ho-Jin
    • 한국컴퓨터정보학회논문지
    • /
    • 제22권12호
    • /
    • pp.35-48
    • /
    • 2017
  • Extracting temporal information from documents is becoming more important, because it can be used to various applications such as Question-Answering (QA) systems, Recommendation systems, or Information Retrieval (IR) systems. Most previous studies only focus on English documents, and they are not applicable to the other languages due to the inherent characteristics of languages. In this paper, we propose a new system, named ExoTime, designed to extract temporal information from Korean documents. The ExoTime adopts an external Knowledge Base (KB) in order to achieve better prediction performance, and it also applies a bagging method to the temporal relation prediction. We show that the effectiveness of the proposed approaches by empirical results using Korean TimeBank. The ExoTime system works as a part of ExoBrain that is an artificial intelligent QA system.