• Title/Summary/Keyword: 오픈지식

Search Result 132, Processing Time 0.021 seconds

OK-KGD:Open-domain Korean Knowledge Grounded Dialogue Dataset (OK-KGD:오픈 도메인 한국어 지식 기반 대화 데이터셋 구축)

  • Seona Moon;San Kim;Jinyea Jang;Minyoung Jeung;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.342-345
    • /
    • 2023
  • 최근 자연어처리 연구 중 오픈 도메인 지식 기반 대화는 많은 관심을 받고 있다. 연구를 위해서는 오픈 도메인 환경을 갖추고 적절한 지식을 사용한 대화 데이터셋이 필요하다. 지금까지 오픈 도메인 환경을 갖춘 한국어 지식 기반 대화 데이터셋은 존재하지 않아 한국어가 아닌 데이터셋을 한국어로 기계번역하여 연구에 사용하였다. 이를 사용할 경우 두 가지 단점이 존재한다. 먼저 사용된 지식이 한국 문화에 익숙하지 않아 한국인이 쉽게 알 수 없는 대화 내용이 담겨있다. 그리고 번역체가 남아있어 대화가 자연스럽지 않다. 그래서 본 논문에서는 자연스러운 대화체와 대화 내용을 담기 위해 새로운 오픈 도메인 한국어 지식 기반 대화 데이터셋을 구축하였다. 오픈 도메인 환경 구축을 위해 위키백과와 나무위키의 지식을 사용하였고 사용자와 시스템의 발화로 이루어진 1,773개의 대화 세트를 구축하였다. 시스템 발화는 크게 지식을 사용한 발화, 사용자 질문에 대한 답을 주지 못한 발화, 그리고 지식이 포함되지 않은 발화 3가지로 구성된다. 이렇게 구축한 데이터셋을 통해 KE-T5와 Long-KE-T5를 사용하여 간단한 실험을 진행하였다.

  • PDF

A Tagging Support System : Hi-Tagger (태깅 지원 시스템 : Hi-Tagger)

  • Lee, In Keun;Jung, Jason J.;Hwang, Dosam;Kim, Young Kil
    • Annual Conference on Human and Language Technology
    • /
    • 2012.10a
    • /
    • pp.91-94
    • /
    • 2012
  • 컴퓨터가 인간의 자연언어를 처리하고 이해하도록 하기 위한 많은 연구가 진행되어 왔다. 그러나 컴퓨터에 의해 자동으로 구축한 정보의 신뢰성 문제로 인해 그 효용성이 낮다. 따라서 최근에는 웹 2.0 환경에서의 집단지성을 통한 오픈지식의 구축과 지식 간의 링크 정보의 활용이 주목을 받고 있다. 그러나 양질의 지식을 구축하기 위해서는 인간의 개입이 불가피하며 대부분의 오픈지식도 사용자들의 노력에 의존하여 구축되고 있다. 따라서 본 논문에서는 자연언어로 작성된 문장의 용어에 대한 태깅 작업을 지원하는 태깅지원 시스템을 개발한다. 개발한 시스템에서는 사용자가 문장을 작성하는 과정에서 자동으로 태깅 가능한 용어를 추천하고, 시스템이 추천한 용어에 대해 사용자는 태그셋(tagset) 에 등록된 태그 및 링크로 태깅을 수행한다. 이 시스템을 이용하여 경제, 과학, 문학, 철학의 4개 분야에 대해 5인의 실험자가 한글문서의 태깅 실험을 수행함으로써 개발한 시스템의 효용성을 확인한다.

  • PDF

Improvement of Knowledge Retriever Performance of Open-domain Knowledge-Grounded Korean Dialogue through BM25-based Hard Negative Knowledge Retrieval (BM25 기반 고난도 부정 지식 검색을 통한 오픈 도메인 지식 기반 한국어 대화의 지식 검색 모듈 성능 향상)

  • Seona Moon;San Kim;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.125-130
    • /
    • 2022
  • 최근 자연어처리 연구로 지식 기반 대화에서 대화 내용에 자유로운 주제와 다양한 지식을 포함하는 연구가 활발히 이루어지고 있다. 지식 기반 대화는 대화 내용이 주어질 때 특정 지식 정보를 포함하여 이어질 응답을 생성한다. 이때 대화에 필요한 지식이 검색 가능하여 선택에 제약이 없는 오픈 도메인(Open-domain) 지식 기반 대화가 가능하도록 한다. 오픈 도메인 지식 기반 대화의 성능 향상을 위해서는 대화에 이어지는 자연스러운 답변을 연속적으로 생성하는 응답 생성 모델의 성능 뿐만 아니라, 내용에 어울리는 응답이 생성될 수 있도록 적합한 지식을 선택하는 지식 검색 모델의 성능 향상도 매우 중요하다. 본 논문에서는 오픈 도메인 지식 기반 한국어 대화에서 지식 검색 성능을 높이기 위해 밀집 벡터 기반 검색 방식과 주제어(Keyword) 기반의 검색 방식을 함께 사용하는 것을 제안하였다. 먼저 밀집 벡터 기반의 검색 모델을 학습하고 학습된 모델로부터 고난도 부정(Hard negative) 지식 후보를 생성하고 주제어 기반 검색 방식으로 고난도 부정 지식 후보를 생성하여 각각 밀집 벡터 기반의 검색 모델을 학습하였다. 성능을 측정하기 위해 전체 지식 중에서 하나의 지식을 검색했을 때 정답 지식인 경우를 계산하였고 고난도 부정 지식 후보로 학습한 주제어 기반 검색 모델의 성능이 6.175%로 가장 높은 것을 확인하였다.

  • PDF

Multi-Session Open Domain Knowledge-based dialog collection Tool (멀티-세션 오픈 도메인 지식기반 대화 수집 툴)

  • Tae-Yong Kim;San Kim;Saim Shin
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.491-496
    • /
    • 2022
  • 최근 멀티-세션 데이터로 장기간 페르소나와 대화 일관성을 유지하며 인터넷에서 대화와 관련된 지식을 활용하는 대화모델 연구가 활발히 진행되고 있다. 하지만 이를 위한 한국어 멀티-세션 오픈 도메인 지식 기반 대화 데이터는 공개되지 않아 한국어 대화모델 연구에 어려움이 있다. 따라서 본 논문에서는 한국어 멀티-세션 오픈 도메인 지식 기반 데이터의 필요성을 시사하고, 데이터 수집을 위한 툴을 제안한다. 제안하는 수집 툴은 양질의 데이터 수집을 위해 작업자들이 사용하기 편하도록 UI/UX를 구성하였으며, 대화 생성 시 텍스트뿐만 아니라 정보가 밀집된 테이블도 대화에 활용할 지식으로 참조할 수 있도록 구현하였다. 제안하는 수집 툴은 웹 랜덤채팅 시스템에 기반을 두어 작업자가 여러 다른 작업자와 같은 확률로 매칭되게 구현되었으며, 일정 확률로 기존 대화로부터 대화를 시작하도록 함으로써 멀티-세션 대화 수집이 가능하도록 하였다.

  • PDF

A study on the Implementation of Institutional Repository based on Open Access (오픈액세스기반 지식정보저장소 구축에 관한 연구)

  • Hwang, Hye-Kyong;Kim, Hye-Sun;Choi, Seon-Heui
    • Journal of the Korean BIBLIA Society for library and Information Science
    • /
    • v.15 no.1
    • /
    • pp.91-116
    • /
    • 2004
  • This study is carried out as a precedent work for the implementation of an Open Access Initiative(OAI) compatible with Korean libraries. Institutional Repository is a new concept for collecting, managing, disseminating, and preserving scholarly works created in digital form by faculty and researchers in individual organizations according to open access paradigm. This study briefly outlines the need for Institutional Repository, their role, constitutional elements, benefits and drawbacks. This is followed by recent case studies of SHEPRA, Dspace, eDoc Server and dCollection. The conceptual model of Institutional Repository was suggested and the key considerations to be taken into account for the successful implementation of Institutional Repository at the beginning stage were proposed from a stakeholder's perspective.

  • PDF

Neuro-symbolic relational models on knowledge base for open-domain question answering (지식베이스상 뉴로 심볼릭 관계 모델을 이용한 오픈 도메인 질의응답)

  • Lee, Young-Hoon;Na, Seung-Hoon;Choi, Yun-Su;Lee, Hye-Woo;Chang, Du-Seong
    • Annual Conference on Human and Language Technology
    • /
    • 2020.10a
    • /
    • pp.433-436
    • /
    • 2020
  • 오픈 도메인 질의응답은 주로 관련된 문서를 검색하고 문서 집합에서 정답을 찾는 방식으로 문제를 해결하는 검색 기반 질의응답 방법을 사용한다. 이러한 검색 기반 질의응답은 정답이 검색된 문서 집합에 존재하지 않는 경우 정답을 찾을 수 없다는 한계가 존재하게 된다. 본 연구에서는 NIL-Aware 방법을 이용하여 Unanswerable한 질문인 경우 문서 자원이 아닌 지식 베이스 자원을 활용하는 뉴로-심볼릭 지식 베이스 질의응답과의 결합 모델을 제안하고 한국어 질의응답 데이터에 적용함으로 제안하는 결합 방법의 유의미성을 확인한다.

  • PDF

A Study on Sustaining Knowledge Contribution Intention of Participants in the Open Source Software Development Communities (오픈소스 개발 커뮤니티 참여자들의 지속적 지식기여 의도에 관한 연구)

  • Jin Oh Ju;Kyung Tae Hwang
    • Information Systems Review
    • /
    • v.18 no.3
    • /
    • pp.111-135
    • /
    • 2016
  • The major characteristic of open source software (OSS) is innovativeness. Innovativeness stems from the process of sharing and solving technical problems. This study analyzes the impact of voluntary participation and collaboration of OSS developers on sustained participation in the community based on organizational citizenship behavior and social capital theories. Based on Bolino et al. (2002) and Wasko and Faraj (2005), a research model and hypotheses are developed. A total of 152 OSS developers participated in the survey. The hypotheses are tested by LISREL modeling. The results of analysis show that royalty, social participation, and advocacy participation enhance or positively influence social capital. In addition, reciprocity and shared vision reinforce intention of sustained knowledge contribution. However, the result shows a statistically insignificant relationship between social participation and shared vision and between cohesiveness and intention of sustained knowledge contribution.

Rertieval-Augmented Generation for Korean Open-domain Question Answering (RAG를 이용한 한국어 오픈 도메인 질의 응답)

  • Daewook Kang;Seung-Hoon Na;Tae-Hyeong Kim;Hwi-Jung Ryu;Du-Seong Chang
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.105-108
    • /
    • 2022
  • 오픈 도메인 질의 응답은 사전학습 언어모델의 파라미터에 저장되는 정보만을 사용하여 답하는 질의 응답 방식과 달리 대량의 문서 등에서 질의에 대한 정답을 찾는 문제이다. 최근 등장한 Dense Retrieval은 BERT 등의 모델을 사용해 질의와 문서들의 벡터 연산으로 질의와 문서간의 유사도를 판별하여 문서를 검색한다. 이러한 Dense Retrieval을 활용하는 방안 중 RAG는 Dense Retrieval을 이용한 외부 지식과 인코더-디코더 모델에 내재된 지식을 결합하여 성능을 향상시킨다. 본 논문에서는 RAG를 한국어 오픈 도메인 질의 응답 데이터에 적용하여 베이스라인에 비해 일부 향상된 성능을 보임을 확인하였다.

  • PDF

A Recording of the Transition Process to the Open Access Publishing in JKSARM (한국기록관리학회지의 오픈액세스 출판 전환 과정 기록)

  • Joung, Kyoung Hee
    • Journal of Korean Society of Archives and Records Management
    • /
    • v.20 no.4
    • /
    • pp.205-227
    • /
    • 2020
  • This paper is a record of the transitioning of the Journal of Korean Society of Archives and Records Management to open access. To understand this process, this paper explains the meaning of the conflict over the copyright among commercial journal aggregators, scholarly societies and public sector aggregators. In addition, this paper explains the declarations for open access transition in scholarly societies in the fields of library and information science and other humanities & social sciences in Korea. This paper records the practices and problems that the scholarly society as a publisher has faced in related to securing the journal publication cost, expanding the channels of distribution, and reforming the regulation of the journal. This paper also attempts to understand this transition process as making a knowledge commons.