• Title/Summary/Keyword: 모델 이해

Search Result 2,808, Processing Time 0.03 seconds

Real-Time Visual Grounding for Natural Language Instructions with Deep Neural Network (심층 신경망을 이용한 자연어 지시의 실시간 시각적 접지)

  • Hwang, Jisu;Kim, Incheol
    • Annual Conference of KIPS
    • /
    • 2019.05a
    • /
    • pp.487-490
    • /
    • 2019
  • 시각과 언어 기반의 이동(VLN)은 3차원 실내 환경에서 실시간 입력 영상과 자연어 지시들을 이해함으로써, 에이전트 스스로 목적지까지 이동해야 하는 인공지능 문제이다. 이 문제는 에이전트의 영상 및 자연어 이해 능력뿐만 아니라, 상황 추론과 행동 계획 능력도 함께 요구하는 복합 지능 문제이다. 본 논문에서는 시각과 언어 기반의 이동(VLN) 작업을 위한 새로운 심층 신경망 모델을 제안한다. 제안모델에서는 입력 영상에서 합성곱 신경망을 통해 추출하는 시각적 특징과 자연어 지시에서 순환 신경망을 통해 추출하는 언어적 특징 외에, 자연어 지시에서 언급하는 장소와 랜드마크 물체들을 영상에서 별도로 탐지해내고 이들을 추가적으로 행동 선택을 위한 특징들로 이용한다. 다양한 3차원 실내 환경들을 제공하는 Matterport3D 시뮬레이터와 Room-to-Room(R2R) 벤치마크 데이터 집합을 이용한 실험들을 통해, 본 논문에서 제안하는 모델의 높은 성능과 효과를 확인할 수 있었다.

Deep Prompt Tuning based Machine Comprehension on Korean Question Answering (Deep Prompt Tuning 기반 한국어 질의응답 기계 독해)

  • Juhyeong Kim;Sang-Woo Kang
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.269-274
    • /
    • 2023
  • 질의응답 (Question Answering)은 주어진 질문을 이해하여 그에 맞는 답변을 생성하는 자연어 처리 분야의 핵심적인 기계 독해 작업이다. 현재 대다수의 자연어 이해 작업은 사전학습 언어 모델에 미세 조정 (finetuning)하는 방식으로 학습되고, 질의응답 역시 이러한 방법으로 진행된다. 하지만 미세 조정을 통한 전이학습은 사전학습 모델의 크기가 커질수록 전이학습이 잘 이루어지지 않는다는 단점이 있다. 게다가 많은 양의 파라미터를 갱신한 후 새로운 가중치들을 저장하여야 한다는 용량의 부담이 존재한다. 본 연구는 최근 대두되는 deep prompt tuning 방법론을 한국어 추출형 질의응답에 적용하여, 미세 조정에 비해 학습시간을 단축시키고 적은 양의 파라미터를 활용하여 성능을 개선했다. 또한 한국어 추출형 질의응답에 최적의 prompt 길이를 최적화하였으며 오류 분석을 통한 정성적인 평가로 deep prompt tuning이 모델 예측에 미치는 영향을 조사하였다.

  • PDF

A Dataset for Persona-based Korean Dialogue Modeling (페르소나 기반 한국어 대화 모델링을 위한 데이터셋)

  • Yohan Lee;Hyun Kim;Jonghun Shin;Minsoo Cho;Ohwoog Kwon;Youngkil Kim
    • Annual Conference on Human and Language Technology
    • /
    • 2022.10a
    • /
    • pp.512-516
    • /
    • 2022
  • 페르소나 기반의 대화 시스템은 일관적인 대화를 수행할 수 있어 많은 관심을 받고 있다. 영어권에서 구축된 페르소나 대화 데이터셋은 서로의 페르소나를 알아가기 보다는 자신의 페르소나에 대해서만 말하는 경향을 보이며 이는 상대방의 말을 이해하여 관련 대화를 진행하는 대화의 특성을 반영하지 못한다. 본 연구에서는 회사 방문객이 안내 시스템과 대화하는 상황을 가정하여 안내 시스템이 주도적으로 방문객의 페르소나를 묻고 관련 대화를 수행하는 데이터셋을 구축함과 동시에 목적지향 대화 시스템의 대화 관리 프레임워크를 기반으로 시스템 주도적인 대화를 모델링하는 페르소나 대화 관리 모델을 제안한다. 실험을 통해 제안한 대화 관리 모델의 대화 이해 및 정책 성능을 검증하고 방문객의 페르소나를 예측할 때 대화 정책의 성능이 향상됨을 보임으로써 구축한 데이터셋이 이해와 정책이 포함된 대화의 특성을 반영하는 것을 확인한다.

  • PDF

Machine Reading Comprehension System to Solve Unanswerable Problems using Method of Mimicking Reading Comprehension Patterns (기계독해 시스템에서 답변 불가능 문제 해결을 위한 독해 패턴 모방 방법)

  • Lee, Yejin;Jang, Youngjin;Lee, Hyeon-gu;Shin, Dongwook;Park, Chanhoon;Kang, Inho;Kim, Harksoo
    • Annual Conference on Human and Language Technology
    • /
    • 2021.10a
    • /
    • pp.139-143
    • /
    • 2021
  • 최근 대용량 말뭉치를 기반으로 한 언어 모델이 개발됨에 따라 다양한 자연어처리 분야에서 사람보다 높은 성능을 보이는 시스템이 제안되었다. 이에 따라, 더 어렵고 복잡한 문제를 해결하기 위한 데이터셋들이 공개되었으며 대표적으로 기계독해 작업에서는 시스템이 질문에 대해 답변할 수 없다고 판단할 수 있는지 평가하기 위한 데이터셋이 공개되었다. 입력 받은 데이터에 대해 답변할 수 없다고 판단하는 것은 실제 애플리케이션에서 중요한 문제이기 때문에, 이를 해결하기 위한 연구도 다양하게 진행되었다. 본 논문에서는 문서를 이해하여 답변할 수 없는 데이터에 대해 효과적으로 판단할 수 있는 기계독해 시스템을 제안한다. 제안 모델은 문서의 내용과 질문에 대한 이해도가 낮을 경우 정확한 정답을 맞히지 못하는 사람의 독해 패턴에서 착안하여 기계독해 시스템의 문서 이해도를 높이고자 한다. KLUE-MRC 개발 데이터를 통한 실험에서 EM, Rouge-w 기준으로 각각 71.73%, 76.80%을 보였다.

  • PDF

The Review for the Etiology of Irritable Bowel Syndrome : A Comprehension and Limitation of the Biopsychosocial Model (과민성 대장증후군의 병인론에 대한 고찰: 생물정신사회 모델의 이해와 한계)

  • Choi, Young-Rak;Lee, Sang-Ick;Kim, Sie-Kyeong
    • Korean Journal of Psychosomatic Medicine
    • /
    • v.13 no.1
    • /
    • pp.3-15
    • /
    • 2005
  • Objectives The author aimed to investigate and understand the limitations of the biopsychosocial model for irritable bowel syndrome by reviewing the priorly reported etiologies in patients with irritable bowel syndrome(IBS). Methods The author reviewed all possible previous studies related to the investigation regarding IBS in the Pub-med & Kisep database from 1977 to 2003. Results : It was impossible that patients with IBS were diagnosed and traced to a single etiology. So, the biopsychosocial model was suggested to be a new paradigm for IBS. Biological, psychological and social factors are interplaying and contributing to the biopsychosocial model affecting each other, thus affecting the biopsychosocial model. Three factors were necessary for understanding the etiology, process of symptoms and clinical outcome of IBS by virtue of their key roles in the developing, precipitating and perpetuating of the illness. However, any treatment application for those three factors faces many obstacles to be overcome. Conclusion : The biopsychosocial model contributed relatively much to the explanation but little to the treatment application of patients with IBS. Therefore, because there seems to be little practical use at present, the author believes biopsychosocial aspects should be researched further.

  • PDF

On a Model-Based Systems Engineering Approach to the Realization of the Integrated Systems Design and Safety Process Model (모델기반 시스템공학 기법을 통한 시스템설계 및 안전프로세스 통합모델의 구현에 관한 연구)

  • Kim, Young-Min;Lee, Jae-Chon
    • Proceedings of the Safety Management and Science Conference
    • /
    • 2013.04a
    • /
    • pp.215-223
    • /
    • 2013
  • 산업기술의 비약적인 발전으로 인해 오늘날 우리가 개발하거나 사용하는 시스템은 보다 기술의 고도화 양상을 보이고 있다. 따라서, 기존의 시스템이 지니고 있어 제공하는 단일 특성에서 벗어나 다양한 학제간 결합된 기술로 기존 시스템이 지니고 있는 관념적인 기능에서 벗어나 다기능을 제공하고 있다. 이로 인해, 기존의 개발단계에서는 보다 높은 설계 신뢰성이 요구되고 있다. 특히, 오늘날 우리사회는 시스템의 개발 성공이라는 안도에서 벗어나 시스템 운용 유지단계에서도 안전성 측면에서 매우 중요성을 인식하고 대비하고 있다. 따라서, 국내에서는 미흡한 상위 단계에서의 설계활동과 또한, 같은 시스템 수명주기 상에서의 시스템 안전활동을 동시에 고려한 동시공학적인 접근에 관한 연구를 본 연구팀은 지속적으로 수행해왔다. 따라서, 기존의 연구결과인 설계와 안전을 동시에 고려한 통합 설계 프로세스 모델에 대해, 시스템개발에 관련한 모든 이해당사자가 공통된 이해를 바탕으로 시스템설계와 안전 활동에 대해 상호 호완성과 공통된 인식을 갖고 접근할 수 있는 방안을 본 연구를 통해 수행하였다. 따라서, 본 연구는 모델기반 시스템공학 기법중 보편적인 언어인 공통 언어를 통해 기존 연구를 통해 제시한 통합설계 프로세스 모델을 구현에 관한 연구 수행을 통한 접근 방안에 관하여 논의하고 있다. 본 연구를 기반으로 향후 추가 연구를 수행한다면, 국내 대형복합시스템의 설계단계에서의 안전성을 동시 고려한 시스템 설계 신뢰성 확보를 위해 도움이 될 것으로 기대 된다.

  • PDF

KoQuality: Curation of High-quality Instruction Data for Korean Language Models (KoQuality: 한국어 언어 모델을 위한 고품질 명령어 데이터 큐레이션)

  • Yohan Na;Dahye Kim;Dong-Kyu Chae
    • Annual Conference on Human and Language Technology
    • /
    • 2023.10a
    • /
    • pp.306-311
    • /
    • 2023
  • 최근 생성형 언어모델에 명령어 튜닝을 적용하여 사람의 명령을잘이해하고, 대답의 성능을 향상시키는 연구가 활발히 수행되고 있으며, 이 과정에서 다양한 명령어 튜닝 데이터셋이 등장하고 있다. 하지만 많은 데이터셋들 중에서 어떤 것을 선택해서 활용하지가 불분명하기 때문에, 현존하는 연구들에서는 단순히 데이터셋을 모두 활용하는 방식으로 명령어 튜닝이 진행되고 있다. 하지만 최근 연구들에서 고품질의 적은 데이터셋으로도 명령어 튜닝을 하기에 충분하다는 결과들이 보고되고 있는 만큼, 많은 명령어 데이터셋에서 고품질의 명령어를 선별할 필요성이 커지고 있다. 이에 따라 본 논문에서는 한국어 데이터셋에서도 명령어 튜닝 데이터셋의 품질을 향상시키기 위해, 기존의 데이터셋들에서 데이터를 큐레이션하여 확보된 적은 양의 고품질의 명령어 데이터셋인 KoQuality를 제안한다. 또한 KoQuality를 활용하여 한국어 언어모델에 명령어 튜닝을 진행하였으며, 이를 통해 자연어 이해 성능을 높일 수 있음을 보인다. 특히 제로샷 상황에서 KoBEST 벤치마크에서 기존의 모델들보다 높은 성능 향상을 보였다.

  • PDF

Generating Contextual Answers Through Latent Weight Attention Calculations based on Latent Variable Modeling (잠재 변수 모델링 기반 잠재 가중치 어텐션 계산을 통한 문맥적 답변 생성 기법)

  • Jong-won Lee;In-whee Joe
    • Annual Conference of KIPS
    • /
    • 2024.05a
    • /
    • pp.611-614
    • /
    • 2024
  • 최근 많은 분야에서 인공지능을 사용한 산업이 각광을 받고 있고 그중 챗-GPT 로 인하여 챗봇에 관한 관심도가 높아져 관련 연구가 많이 진행되고 있다. 특히 질문에 대한 답변을 생성해주는 분야에 대한 연구가 많이 이루어지고 있는데, 질문-답변의 데이터 셋에 대한 학습 방식보다는 질문-답변-배경지식으로 이루어진 데이터 셋에 대한 학습 방식이 많이 연구가 되고 있다. 그러다 보니 배경지식을 어떤 방식으로 모델에게 이해를 해줄 지가 모델 성능에 큰 부분 차지한다. 그리고 최근 연구에 따르면 이러한 배경지식 정보를 이해시키기 위해 잠재 변수 모델링 기법을 활용하는 것이 높은 성능을 갖는다고 하고 트랜스포머 기반 모델 중 생성 문제에서 강점을 보이는 BART(Bidirectional Auto-Regressive Transformer)[1]도 주로 활용된다고 한다. 본 논문에서는 BART 모델에 잠재 변수 모델링 기법 중 잠재 변수를 어텐션에 곱하는 방식을 이용한 모델을 통해 답변 생성 문제에 관한 해결법을 제시하고 그에 대한 결과로 배경지식 정보를 담은 답변을 보인다. 생성된 답변에 대한 평가는 기존에 사용되는 BLEU 방식과 배경지식을 고려한 방식의 BLEU 로 평가한다.

Technical Reviews on Ecosystem Modeling Approach and its Applicability in Ecosystem-Based Coastal Management in Saemangeum Offshore and Geum River Estuary (생태계기반 연안관리를 위한 생태모델 개발방향에 대한 기술적 검토 - 새만금 외해역 및 금강 하구역 사례)

  • Kim, Hae-Cheol;Kim, Yong Hoon;Chang, Won-Keun;Ryu, Jongseong
    • Journal of the Korean Society for Marine Environment & Energy
    • /
    • v.18 no.3
    • /
    • pp.233-244
    • /
    • 2015
  • Marine ecosystem modelling has become a more widely used decision-making tool in coastal ecosystem-based management. However, it is not trivial to develop a well calibrated/validated model with potential applicability and practicality because understanding ecological processes with complexities is a pre-requisite for developing robust ecosystem models and this accompanies a great deal of well coordinated efforts among field-going ecologists, laboratory scientists, modelers, stake-holders and managers. This report aims to provide a brief introduction on two different approaches in marine ecological models: deterministic (mechanistic) and stochastic (statistical) approach. We also included definitions, historical overview of past researches, case studies, and contextual suggestions for coastal management in Korea. A long list of references this report included in this study might be used as an introductory material for those who wish to enter ecosystem modelling field.

Comparison of Arrhenius and VTF Description of Ion Transport Mechanism in the Electrolytes (전해질 이온이동 기작 기술을 위한 아레니우스 모델 및 VTF 모델 비교)

  • Kim, Hyoseop;Koo, Bonhyeop;Lee, Hochun
    • Journal of the Korean Electrochemical Society
    • /
    • v.23 no.4
    • /
    • pp.81-89
    • /
    • 2020
  • To understand the performance of the electrochemical device, the analysis of the mechanism of ionic conduction is important. However, due to the ionic interaction in the electrolyte and the complexity of the electrolyte structure, a clear analysis method of the ion conduction mechanism has not been proposed. Instead, a variety of mathematical models have been devised to explain the mechanism of ion conduction, and this review introduces the Arrhenius and Vogel-Tammann-Fulcher (VTF) model. In general, the above two mathematical models are used to describe the temperature dependence of the transport properties of electrolytes such as ionic conductivity, diffusion coefficient, and viscosity, and a suitable model can be determined through the linearity of the graph consisting of the logarithm of the moving property and the reciprocal of the temperature. Currently, many electrolyte studies are evaluating the suitability of the above two models for electrolytes by varying the composition and temperature range, and the ion conduction mechanism analysis and activation energy calculation are in progress. However, since there are no models that can accurately describe the transport properties of electrolytes, new models and improvement of existing models are needed.