• 제목/요약/키워드: 질의 언어

검색결과 802건 처리시간 0.025초

자연어 질의 정보 검색 시스템의 비주제어 탐색 방법을 통한 성능 개선 (Improving the performance of natural language information retrieval system by using non-keyword search methods.)

  • 이승률;강현규;박세영;이상조
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 1994년도 제6회 한글 및 한국어정보처리 학술대회
    • /
    • pp.374-377
    • /
    • 1994
  • 본 논문에서는 한글 문서 검색 시스템에서 자연어 질의어로 검색할경우, 질의어를 주제어와 참조어로 나누어 재구성하여 검색하는 방법을 제시하였다. 먼저 주제어로 전문검색을 하여 후보 카드들을 추출한 후 비주제어로 다시 본문 탐색을 하여 추출된 카드의 가중치를 재조정함으로써 카드추출의 정확성을 높였다. 이 논문에 제시된 방법의 실험은 한국전자통신연구소 언어정보연구실에서 개발한 멀티미디어 전자 백과 사전의 자연어 검색모듈에서 행하여 졌다. 이 방법으로 별다른 검색속도의 저하나, 저장공간의 추가가 없이 기존의 검색 방법에서보다 약 58%정도의 검색의 정확성이 올라갔다. 본 논문에서 제시한 검색의 방법은 여러가지 응용의 자연어 인터페이스에서 데이타를 검색하는 정보검색의 분야에 적용되어 정확성을 높일 수 있을 것이다.

  • PDF

영상을 이용한 정보검색 (Information Retrieval Using Images)

  • 최윤경;이은애;하석운
    • 한국정보과학회:학술대회논문집
    • /
    • 한국정보과학회 2002년도 가을 학술발표논문집 Vol.29 No.2 (1)
    • /
    • pp.37-39
    • /
    • 2002
  • 정보 검색 시스템은 인터넷에 존재하는 수많은 정보 중에서 사용자가 필요한 특정 정보만을 포함하는 문서를 검색할 수 있다. 현재 정보 검색 시스템은 텍스트를 입력하는 방식을 이용한다. 검색어를 이용하게 되면 몇 개의 키워드를 통하여 원하는 정보를 신속하게 찾을 수 있지만 언어를 기반으로 하기 때문에 각 나라의 언어와 키워드를 알아야 사용할 수 있다는 단점이 있다. 이런 문제점을 해결하기 위해 본 시스템은 언어와 키워드를 알지 못하더라도 정보 검색이 가능하도록 누구나 쉽게 의미를 알 수 있는 영상을 질의로 하는 시스템을 제안한다. 본 시스템은 데이터베이스 내에 200개의 비교 대상 영상들을 5개의 대분류로 나눈 후 각각 3개의 소분류로 나누어 영상의 특징 및 키워드를 추출하여 영상특징키워드 데이터베이스(IFKDB, Image Feature Keyword DataBase)에 저장하였다. 사용자 인터페이스를 통해 새로운 영상을 만들거나 흑은 기존에 만들어진 영상을 선택하여 질의로 사용하면 질의 영상의 특징 중 에지를 추출하여 IFKDB와 비교하여 유사도가 높은 영상의 키워드 중 적정 개수를 선택하여 정보 검색의 키워드로 사용할 수 있게 하였다. 사용자가 그린 단순한 영상으로 검색이 가능하고 사용자가 원하는 영상과 비슷한 영상을 찾을 수 있으며 영상으로 정보 검색이 가능하므로 검색의 편의성을 제공한다.

  • PDF

강건한 질의응답 모델을 위한 데이터셋 증강 기법 (Adversarial Examples for Robust Reading Comprehension)

  • 장한솔;전창욱;최주영;심묘섭;김현;민경구
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.41-46
    • /
    • 2021
  • 기계 독해는 문단과 질문이 주어질 때에 정답을 맞추는 자연어처리의 연구분야다. 최근 기계 독해 모델이 사람보다 높은 성능을 보여주고 있지만, 문단과 질의가 크게 변하지 않더라도 예상과 다른 결과를 만들어 성능에 영향을 주기도 한다. 본 논문에서는 문단과 질문 두 가지 관점에서 적대적 예시 데이터를 사용하여 보다 강건한 질의응답 모델을 훈련하는 방식을 제안한다. 트랜스포머 인코더 모델을 활용하였으며, 데이터를 생성하기 위해서 KorQuAD 1.0 데이터셋에 적대적 예시를 추가하여 실험을 진행하였다. 적대적 예시를 이용한 데이터로 실험한 결과, 기존 모델보다 1% 가량 높은 성능을 보였다. 또한 질의의 적대적 예시 데이터를 활용하였을 때, 기존 KorQuAD 1.0 데이터에 대한 성능 향상을 확인하였다.

  • PDF

양보다 질? : 병렬 말뭉치의 양과 질이 인공신경망 기계번역에 미치는 효과 (Quality, not Quantity? : Effect of parallel corpus quantity and quality on Neural Machine Translation)

  • 박찬준;이연수;이찬희;임희석
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.363-368
    • /
    • 2020
  • 글로벌 시대를 맞이하여 언어의 장벽을 해소하기 위하여 기계번역 연구들이 전 세계적으로 이루어지고 있다. 딥러닝의 등장으로 기존 규칙 및 통계기반 방법론에 비하여 눈에 띄는 성능향상을 이루어내고 있으며 많은 연구들이 이루어지고 있다. 인공신경망 기반 기계번역 모델을 만들 때 가장 중요한 요소는 병렬 말뭉치의 양과 질이다. 본 논문은 한-영 대용량의 말뭉치를 수집하고 병렬 말뭉치 필터링 기법을 적용하여 데이터의 양과 질을 충족시켰으며 한-영 기계번역 관련 객관적인 테스트셋인 Iwslt 16, Iwslt 17을 기준으로 기존 한-영 기계번역 관련 연구 중 가장 좋은 성능을 보였다.

  • PDF

사전 학습 모델의 위치 임베딩 길이 제한 문제를 극복하기 위한 방법론 (Methodology for Overcoming the Problem of Position Embedding Length Limitation in Pre-training Models)

  • 정민수;허탁성;이주환;김지수;이경욱;김경선
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2023년도 제35회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.463-467
    • /
    • 2023
  • 사전 학습 모델을 특정 데이터에 미세 조정할 때, 최대 길이는 사전 학습에 사용한 최대 길이 파라미터를 그대로 사용해야 한다. 이는 상대적으로 긴 시퀀스의 처리를 요구하는 일부 작업에서 단점으로 작용한다. 본 연구는 상대적으로 긴 시퀀스의 처리를 요구하는 질의 응답(Question Answering, QA) 작업에서 사전 학습 모델을 활용할 때 발생하는 시퀀스 길이 제한에 따른 성능 저하 문제를 극복하는 방법론을 제시한다. KorQuAD v1.0과 AIHub에서 확보한 데이터셋 4종에 대하여 BERT와 RoBERTa를 이용해 성능을 검증하였으며, 실험 결과, 평균적으로 길이가 긴 문서를 보유한 데이터에 대해 성능이 향상됨을 확인할 수 있었다.

  • PDF

질의생성 모델을 이용한 전자우편 질의응답 시스템 (An E-Mail Question Answering System using Question Generation Model)

  • 장정선;김상범;서희철;임해창
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.176-183
    • /
    • 2002
  • 전자우편과 같이 일정한 질의 형식을 가지고 있는 긴 자연어 질의에 대해서 사용자 질의 단어에 가중치를 부과하는 방법과 질의에 대한 정답을 기존의 질의응답 집합에서 유사한 질의를 검색하여 그 정답을 사용자에게 제공하는 전자우편 질의응답 시스템을 제안한다. 사용자의 긴 자연어 질의가 주어지면 질의의 범주와 문장의 중요도 정보를 이용하여 질의에서 사용된 단어가 주제어로 쓰였을 확률을 계산하고, 계산된 확률에 기반하여 중요도를 할당하는 질의생성 모델을 제안한다. 또한 사용자 질의와 기존에 문의되어진 전자우편 질의의 유사도를 단어의 빈도를 고려한 어휘유사도, 한글 시소러스(Thesaurus)를 이용한 의미유사도와 본 논문에서 제안한 질의생성 모델을 이용한 주제 유사도를 이용하여 계산한다. 실험을 위하여 실세계에서 사용 중인 질의응답 집합을 이용하여 실험을 하였으며 각 유사도 계산 방법의 기여도를 비교 평가하고 제안한 질의생성모델이 성능향상에 미치는 영향을 평가하였다.

  • PDF

자연어 기반 온톨로지 질의 모듈 연구 (A Study on the Ontology Query Module based on Natural Language)

  • 김원필;공현장
    • 전자공학회논문지CI
    • /
    • 제47권1호
    • /
    • pp.146-151
    • /
    • 2010
  • 온톨로지 내의 효율적 정보 탐색을 위한 질의 처리 부분은 온톨로지 응용의 측면에서 반드시 해결되어야 할 부분이다. 기존의 온톨로지에 대한 질의 처리 시스템은 온톨로지에 표현된 사실만을 분석하여, 단순 구조적 사실 정보만을 사용자에게 제공 함으로써 데이터베이스 시스템 및 텍스트 기반 정보처리 시스템과 크게 다른 점이 없었다. 사실상, 기존의 온톨로지 질의 시스템들에서 사용하고 있는 질의 언어의 구조나 형식이 데이터베이스 시스템의 질의 언어(SQL)에 모태를 두고 있으므로, 온톨로지와 데이터베이스의 질의 처리 및 그 결과는 거의 동일하다. 이에 본 연구에서는 온톨로지 사용의 효율성을 극대화하기 위해 온톨로지에 대한 단순 질의 처리가 아닌, 추론 규칙에 기반한 추론된 사실들을 모두 처리할 수 있는 온톨로지 추론 및 질의에 대한 통합 시스템 개발의 필요성을 인식하고, 온톨로지에 대한 효율적 질의 처리 방법을 연구하였다.

지지 벡터 기계를 이용한 질의 유형 분류기 (A Question Type Classifier Using a Support Vector Machine)

  • 안영훈;김학수;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2002년도 제14회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.129-136
    • /
    • 2002
  • 고성능의 질의응답 시스템을 구현하기 위해서는 사용자의 질의 유형의 난이도에 관계없이 의도를 파악할 수 있는 질의유형 분류기가 필요하다. 본 논문에서는 문서 범주화 기법을 이용한 질의 유형 분류기를 제안한다. 본 논문에서 제안하는 질의 유형 분류기의 분류 과정은 다음과 같다. 우선, 사용자 질의에 포함된 어휘, 품사, 의미표지와 같은 다양한 정보를 이용하여 사용자 질의로부터 자질들을 추출한다. 이 과정에서 질의의 구문 특성을 반영하기 위해서 슬라이딩 윈도 기법을 이용한다. 또한, 다량의 자질들 중에서 유용한 것들만을 선택하기 위해서 카이 제곱 통계량을 이용한다. 추출된 자질들은 벡터 공간 모델로 표현되고, 문서 범주화 기법 중 하나인 지지 벡터 기계(support vector machine, SVM)는 이 정보들을 이용하여 질의 유형을 분류한다. 본 논문에서 제안하는 시스템은 질의 유형 분류 문제에지지 벡터 기계를 이용한 자동문서 범주화 기법을 도입하여 86.4%의 높은 분류 정확도를 보였다. 또한 질의 유형 분류기를 통계적 방법으로 구축함으로써 lexico-syntactic 패턴과 같은 규칙을 기술하는 수작업을 배제할 수 있으며, 응용 영역의 변화에 대해서도 안정적인 처리와 빠른 이식성을 보장한다.

  • PDF

효율적인 시멘틱 질의 처리를 위한 인덱싱 기법 (Indexing Mechanism for Efficient Semantic Query Processing)

  • 김학수;차현석;손진현
    • 한국정보처리학회:학술대회논문집
    • /
    • 한국정보처리학회 2006년도 춘계학술발표대회
    • /
    • pp.97-100
    • /
    • 2006
  • RDF 는 트리플의 집합으로서 그래프 데이터 모델로 표현되며, 사용자는 RDF 그래프 모델로부터 정보를 검색하기 위해 시멘틱 질의 언어를 사용한다. 그러나 이러한 접근 방식은 최악의 경우 전체 그래프 데이터 모델을 검색해야 되는 문제점이 발생한다. 이에 따라 최근의 연구에서는 시멘틱 질의를 효율적으로 처리하기 위해서 인덱스를 사용한다. 시멘틱 질의 언어(RDQL, SPARQL)의 핵심은 RDF 트리플에 대한 패턴을 기술함으로써 원하는 트리플 정보를 검색할 수 있게 하는 것이다. 따라서, 기존의 인덱스는 단일 트리플을 효율적으로 검색하는 데 초점을 둔다. 거라나 트리플 패턴의 집합으로 질의가 표현될 경우에는 트리플 패턴 사이의 상관관계 때문에 조인비용이 많이 발생하는 문제점이 있다. 본 논문에서는 조인 비용이 발생되는 문제점을 해결하기 위한 인덱싱 기법을 제안한다. RDF 그래프 모델에서 유지해야 할 정보를 줄이기 위해서 RDF 그래프 모델에 존재하는 유사한 서브 그래프를 하나의 서브 그래프로 병합한다. 병합절차를 마친 여러 서브 그래프에 존재하는 모든 경로를 인덱스에 유지 함으로써 조인 비용을 제거한다.

  • PDF

문장패턴을 이용한 자연어 질의 시스템에 대한 연구 (A Study on the Natural Language Query System Using Sentence-Pattern)

  • 우근신;송재관;홍성웅;연제용;박찬곤
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2003년도 제15회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.214-218
    • /
    • 2003
  • 질의응답 시스템은 인터넷과 같은 실용적 환경에서 사용될 경우, 실제 사용자의 질의는 다양한 유형으로 나타나게 된다. 따라서 실용적인 시스템에서 사용되는 질의는 문장의 형태나 단어의 쓰임에 관계없이 같은 의도를 가진 질의를 같은 유형으로 분류할 수 있는 의문형 문장패턴을 태깅하여 다양한 형태의 자연어로 기술된 문서에서 원하는 응답으로 처리할 수 있는 질의 응답 시스템은 정보 검색 시스템으로서의 가능성을 보여준다.

  • PDF