• 제목/요약/키워드: 검색 기반 답변 시스템

검색결과 34건 처리시간 0.023초

온라인가나다를 위한 주제 분류 기반 유사 질문 검색 시스템 (Similar Question Search System for online Q&A for the Korean Language Based on Topic Classification)

  • 문정민;송영호;진지환;이현섭;이현아
    • 인지과학
    • /
    • 제26권3호
    • /
    • pp.263-278
    • /
    • 2015
  • 국립국어원의 온라인가나다 서비스는 한국어에 대한 질문을 등록하면 전문가가 답변을 작성하는 인터넷 서비스이다. 이러한 서비스는 유사한 질문이 자주 등록되는 문제점이 있다, 만일 새롭게 등록되는 질문과 유사한 질문을 자동으로 찾아 그 질문에 대한 답변을 등록 즉시 제공한다면, 질문자는 빠른 시간에 답변을 얻을 수 있고 서비스 관리자는 수동 답변 작성의 부담을 덜 수 있다. 본 논문에서는 온라인가나다의 특성을 분석하여 자주 질문되는 다섯 개의 주제 분류를 설정하고, 주제 분류 유사도와 함께 음소와 음절단위 수열유사도와 벡터 유사도를 결합하여 유사한 질문을 검색하는 시스템을 제안한다. 평가에서는 본 논문에서 제시한 주제 분류 정보를 활용하여 검색 정확률이 향상되는 결과를 얻었다. 최종 실험에서는 Mean Reciprocal Rank(MRR)가 0.756, 정답이 1위와 5위내에 검색될 확률은 각각 68.31%, 87.32%를 보였다.

증강된 질문을 이용한 RoBERTa 기반 Dense Passage Retrieval (Dense Retrieval using Pretrained RoBERTa with Augmented Query)

  • 박준범;홍범석;최원석;한영섭;전병기;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2022년도 제34회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.141-145
    • /
    • 2022
  • 다중 문서 기반 대화 시스템에서 응답 시스템은 올바른 답변을 생성하기 위해서 여러 개의 문서 중 질문과 가장 관련 있는 문서를 검색하는 것부터 시작해야 한다. DialDoc 2022 Shared Task[1]를 비롯한 최근의 연구들은 대화 시스템의 문서 검색 과정을 위해 Dense Passage Retrieval(DPR)[2] 모델을 사용하고 있으며 검색기의 성능 개선을 위해 Re-ranking과 Hard negative sampling 같은 방법들이 연구되고 있다. 본 논문에서는 문서에 기반하는 대화 데이터의 양이 적거나 제한될 경우, 주어진 데이터를 효율적으로 활용해 보고자 검색기를 생성 모델을 이용하여 문서의 엔티티를 기반으로 질문을 생성하고 기존 데이터에 증강하는 방법을 제시했으며 실험의 결과로 MRR metric의 경우 0.96 ~ 1.56의 성능 향상을, R@1 metric의 경우 1.2 ~ 1.57의 성능 향상을 확인하였다.

  • PDF

색인어 정규화 및 응답 필터링을 이용한 검색기반 채팅 모델 (Retrieval-based Chat Model using Index-Term Normalization and Answer Filtering)

  • 이현구;김민경;김진태;김학수;이연수;최맹식
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2017년도 제29회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.197-200
    • /
    • 2017
  • 채팅 모델은 인간과 컴퓨터가 신변잡기 대화를 나눌 수 있게 해주는 시스템으로 빠른 속도로 발전하는 인공지능 음성언어 비서 시스템에 필수적으로 사용되는 기술이다. 본 논문에서는 검색기반 채팅 모델에서 발생하는 검색 효율 문제와 정확하지 못한 답변을 출력하는 문제를 해결하기 위해 색인어 정규화와 응답 필터링이 적용된 검색기반 채팅 모델을 제안한다. 색인어 정규화를 통해 99.3%의 색인 커버리지를 확보하였으며 필터링 모델을 통해 기존 검색 모델에서보다 향상된 사용자 만족도를 얻었다.

  • PDF

색인어 정규화 및 응답 필터링을 이용한 검색기반 채팅 모델 (Retrieval-based Chat Model using Index-Term Normalization and Answer Filtering)

  • 이현구;김민경;김진태;김학수;이연수;최맹식
    • 한국어정보학회:학술대회논문집
    • /
    • 한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회
    • /
    • pp.197-200
    • /
    • 2017
  • 채팅 모델은 인간과 컴퓨터가 신변잡기 대화를 나눌 수 있게 해주는 시스템으로 빠른 속도로 발전하는 인공지능 음성언어 비서 시스템에 필수적으로 사용되는 기술이다. 본 논문에서는 검색기반 채팅 모델에서 발생하는 검색 효율 문제와 정확하지 못한 답변을 출력하는 문제를 해결하기 위해 색인어 정규화와 응답 필터링이 적용된 검색기반 채팅 모델을 제안한다. 색인어 정규화를 통해 99.3%의 색인 커버리지를 확보하였으며 필터링 모델을 통해 기존 검색 모델에서보다 향상된 사용자 만족도를 얻었다.

  • PDF

Zero-shot 기반 다중 문서 그라운딩된 대화 시스템 (Zero-shot Dialogue System Grounded in Multiple Documents)

  • 박준범;홍범석;최원석;한영섭;전병기;나승훈
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.399-403
    • /
    • 2023
  • 본 논문에서는 다중 문서 기반의 대화 시스템을 통한 효율적인 정보 검색과 응답 생성에 중점을 둡니다. 대규모 데이터 집합에서 정확한 문서를 선택하는 데 필요한 검색의 중요성을 강조하며, 현재 검색 방법의 한계와 문제점을 지적합니다. 또한 더 자연스러운 답변을 생성하기 위해 대규모 언어 모델을 사용하게 되면서 fine-tuning 시에 발생하는 제약과 낭비를 모델의 제로샷 생성 능력을 활용하여 개선하려는 방안을 제안하며, 모델의 크기와 자원의 효율성에 대한 고려사항을 논의합니다. 우리의 접근 방식은 대규모 언어 모델을 프롬프트와 함께 다중 문서로 학습 없이 정보를 검색하고 응답을 생성하는 방향으로 접근하여 대화 시스템의 효율성과 유용성을 향상시킬 수 있음을 제시합니다.

  • PDF

시멘틱 웹 환경에서의 이동 에이전트 기반 자동 정보 공유 시스템 (Automatic Information Sharing System Based on Mobile Agent in Semantic Web)

  • 노경신;유영훈;조근식
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2003년도 가을 학술발표논문집 Vol.30 No.2 (1)
    • /
    • pp.112-114
    • /
    • 2003
  • 현재의 웹은 동일한 답변을 요구하는 중복된 질문들과 은톨로지의 부재로 인해 심각한 자원 낭비의 문제를 안고 있다. 이러한 문제를 해결하기 위하여 이동 에이전트를 이용한 정보 공유 시스템이 대안으로 제시되었으나, 서버 수의 급증에 따른 자료 처리시간 증가와 사용자의 의도라는 전설 다른 달변을 가져오는 등의 문제를 여전히 안고 있다. 따라서 본 논문에서는 이물 해결하기 위해 RDF와 ROFS 기반의 은톨로지를 활용한 시스템을 제안한다. 본 논문에서 제안하는 시스템은 잔바 기반의 이동 에이전트와 RDF, RDFS 기반의 은톨로지로 구성된다. 분산 이형 환경에서 독립적으로 운영되던 질의 응답 게시판을 검색할 때, 이동 에이전트는 코드의 이동으로 네트워크의 부하를 방지하고 구조화된 온톨로지는 질문에 대한 도메인을 확인함으로써 효율적인 이동 에이전트의 라우팅을 제공한다. 본 논문에서 제안한 시스템을 전자상거래에서 빈번하게 발생하는 상품에 대한 소비자들간의 질의 응답 게시판에 적용하여 시멘틱 웹 환경에서 도메인 추론을 통한 에이전트 라우팅과 가중치를 부설하지 않은 클래스의 속성 비교를 이용한 검색 방법이 시간의 단축과 네트워크 부하의 감소, 그리고 기존 시스템의 가장 큰 문제점이었던 정확도(precision)와 재현율(recall)을 개선하는데 효과적이고 타당하다는 것을 보여준다.

  • PDF

사무실 환경 내 다중카메라 영상의 이벤트분석을 통한 자연어 기반 동영상 검색시스템 (Natural Language based Video Retrieval System with Event Analysis of Multi-camera Image Sequence in Office Environment)

  • 임수정;홍진혁;조성배
    • 한국HCI학회:학술대회논문집
    • /
    • 한국HCI학회 2008년도 학술대회 1부
    • /
    • pp.384-389
    • /
    • 2008
  • 최근 동영상을 저장하거나 효과적으로 검색하는 시스템의 필요성이 증가하고 있다. 기존 동영상 검색 시스템은 메뉴나 텍스트 기반의 키워드로 동작하는데, 검색을 위한 정보가 빈약하여 많은 동영상이 동시에 검색되는 경우가 많고, 사용자가 해당 시스템을 사용하기 위한 지식이 필요하다. 본 논문에서는 키워드 기반 질의에 비해 사용자의 의도나 다양한 정보를 포함 할 수 있고 이벤트나 사람 뿐 아니라 인간의 기본적인 행동까지 검색하는 자연어 질의 기반 동영상 검색 시스템을 제안한다. 먼저, 사무실에서 수집된 동영상에 대한 도메인 분석을 통해 메타데이터로 이벤트 데이터베이스를 구축하고, 해당 영역에서의 사용자 질의에 대한 전처리 과정과 분석 작업을 통해 스크립트 데이터베이스를 구축한다. 이렇게 구축된 시스템을 바탕으로 대화형 질의와 답변 쌍 매칭을 통해 동영상을 검색한다. 10명의 사용자를 대상으로 메뉴 기반 검색 시스템과의 성능 평가와 프로세스 평가 비교 검증을 통해, 성능이나 사용자 만족도면에서 제안하는 시스템이 우수함을 보였다.

  • PDF

지인 기반의 스마트 지식공유 시스템에 관한 연구 (A Study on Smart Knowledge Sharing System with Friends)

  • 윤원범;박기남;임희석
    • 디지털융복합연구
    • /
    • 제11권2호
    • /
    • pp.279-285
    • /
    • 2013
  • 정보통신망과 컴퓨터 기술의 발전은 수많은 정보 및 지식을 생산해 내는 기반이 되었고, 최근 대중화가 가속화 되고 있는 스마트디바이스는 사용자가 원하는 정보와 지식을 쉽게 획득할 수 있는 도구로 사용되고 있다. 이에 본 논문에서는 인터넷 정보와 소셜네트워크를 활용한 스마트 디바이스 기반의 지식공유 시스템을 제안한다. 제안하는 시스템은 사용자 질의에 대해 인터넷 정보 검색, 축적된 지식 검색, 소셜네트워크 상의 지인 답변 기능으로 구성된다. 제안한 시스템의 효용성 분석을 위하여 사용자 만족도 평가를 실시하였다. 실험결과 스마트디바이스를 이용한 지식공유 시스템이 일반 정보검색엔진에 비해 통계적으로 유의미한 만족도를 나타냈다.

구조적 패턴매칭에 기반한 대화형 에이전트 (A Conversational Agent based on Structured Pattern Matching)

  • 이승익;조성배
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2001년도 봄 학술발표논문집 Vol.28 No.1 (B)
    • /
    • pp.409-411
    • /
    • 2001
  • 인터넷 사이트의 정보량이 증가함에 따라 사용자에게 필요한 정보를 검색할 수 있는 도구를제공해야 할 필요성이 증대되고 있다. 아직까지는 대부분의 사이트에서 키워드에 기반한 단순한 검색기법을 주로 사용하는데, 이 방식은 사용자의 의도를 제대로 표현하기 어렵기 때문에 검색결과가 지나치게 많거나 의도하지 않은 결과를 얻기 쉽고, 사용자가 자연스럽게 정보를 검색할 수 없는 문제가 있다. 이 논문에서는 자연어를 통하여 사용자에게 보다 정확하고 친절하게 적절한 정보를 제공해주는 대화형 에이전트를 제안한다. 이 시스템은 기존의 자연어처리 기법의 한계를 극복하기 위하여 질의-답변간의 융통성 있는 패턴매칭 기법을 사용하며, 효과적인 매칭을 위하여 포섭구조에 기반한 질의분류를 선행하는 구조적 패턴매칭 방식 사용한다. 간단한 웹 페이지를 소개하는 문제에 적용한 결과, 그 가능성 및 개선점을 파악할 수 있었다.

  • PDF

Pointer-Generator Networks를 이용한 cQA 시스템 질문 요약 (Pointer-Generator Networks for Community Question Answering Summarization)

  • 김원우;김선훈;장헌석;강인호;박광현
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2018년도 제30회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.126-131
    • /
    • 2018
  • cQA(Community-based Question Answering) 시스템은 사용자들이 질문을 남기고 답변을 작성하는 시스템이다. cQA는 사용자의 편의를 위해 기존의 축적된 질문을 검색하거나 카테고리로 분류하는 기능을 제공한다. 질문의 길이가 길 경우 검색이나 카테고리 분류의 정확도가 떨어지는 한계가 있는데, 이를 극복하기 위해 cQA 질문을 요약하는 모델을 구축할 필요가 있다. 하지만 이러한 모델을 구축하려면 대량의 요약 데이터를 확보해야 하는 어려움이 존재한다. 본 논문에서는 이러한 어려움을 극복하기 위해 cQA의 질문 제목, 본문으로 데이터를 확보하고 필터링을 통해 요약 데이터 셋을 만들었다. 또한 본문의 대표 단어를 이용하여 추상 요약을 하기 위해 딥러닝 기반의 Pointer-generator model을 사용하였다. 실험 결과, 기존의 추출 요약 방식보다 딥러닝 기반의 추상 요약 방식의 성능이 더 좋았으며 Pointer-generator model이 보다 좋은 성능을 보였다.

  • PDF