• 제목/요약/키워드: 비디오 질의 응답

검색결과 7건 처리시간 0.024초

비디오 질의 응답 시스템을 위한 전이 학습 기반의 멀티 모달 퓨전 정답 선택 모델 (Transfer Learning-based Multi-Modal Fusion Answer Selection Model for Video Question Answering System)

  • 박규민;박성배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2021년도 제33회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.548-553
    • /
    • 2021
  • 비디오 질의 응답은 입력으로 주어진 비디오와 질문에 적절할 정답을 제공하기 위해 텍스트, 이미지 등 다양한 정보처리가 요구되는 대표적인 multi-modal 문제이다. 질의 응답 시스템은 질의 응답의 성능을 높이기 위해 다수의 서로 다른 응답 모듈을 사용하기도 하며 생성된 정답 후보군 중 가장 적절할 정답을 선택하는 정답 선택 모듈이 필요하다. 정답 선택 모듈은 응답 모듈의 서로 다른 관점을 고려하여 응답 선택을 선택할 필요성이 있다. 하지만 응답 모듈이 black-box 모델인 경우 정답 선택 모듈은 응답 모듈의 parameter와 예측 분포를 통해 지식을 전달 받기 어렵다. 그리고 학습 데이터셋은 응답 모듈이 학습에 사용했기 때문에 과적합 문제로 각 모듈의 관점을 학습하기엔 어려우며 학습 데이터셋 이외 비교적 적은 데이터셋으로 학습해야 하는 문제점이 있다. 본 논문에서는 정답 선택 성능을 높이기 위해 전이 학습 기반의 멀티모달 퓨전 정답 선택 모델을 제안한다. DramaQA 데이터셋을 통해 성능을 측정하여 제안된 모델의 우수성을 실험적으로 증명하였다.

  • PDF

비디오 질의 응답 환경에서 양방향 어텐션을 이용한 질의 난이도 분석 모델 (Neural Question Difficulty Estimator with Bi-directional Attention in VideoQA)

  • 윤수환;박성배
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2020년도 제32회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.501-506
    • /
    • 2020
  • 질의 난이도 분석 문제는 자연어 질의문을 답변할 때 어려움의 정도를 측정하는 문제이다. 질의 난이도 분석 문제는 문서 독해, 의학 시험, 비디오 질의 등과 같은 다양한 데이터셋에서 연구되어 왔다. 본 논문에서는 질의문과 질의문에 응답하기 위한 정보들 간의 관계를 파악하는 것으로 질의 난이도 분석 문제를 접근하여 이를 BERT와 Dual Multi-head Attention을 사용하여 모델링 하였다. 본 논문에서 제안하는 모델의 우수성을 증명하기 위하여 최근 자연언어이해 부분에서 높은 성능을 보여주는 기 학습 언어 모델과 이전 연구의 질의 난이도 분석 모델과의 성능을 비교하였고, 제안 모델은 대표적인 비디오 질의 응답 데이터셋인 DramaQA의 Memory Complexity에서 99.76%, Logical Complexity에서는 89.47%의 정확도로 가장 높은 질의 난이도 분석 성능을 보여주었다.

  • PDF

관계형 데이터베이스 상에서의 다국어 질의 응답 시스템 (A Multi-lingual Question-Answering System on Relational Databases)

  • 정한민;이근배;최원석;민경구;서정연
    • 한국정보과학회 언어공학연구회:학술대회논문집(한글 및 한국어 정보처리)
    • /
    • 한국정보과학회언어공학연구회 2001년도 제13회 한글 및 한국어 정보처리 학술대회
    • /
    • pp.530-537
    • /
    • 2001
  • 본 논문은 자연어 인터페이스에 기반한 관계형 데이터베이스 상에서의 질의 응답 시스템에 대해 기술한다. 본 시스템은 다국어, 다중 도메인, 다중 DBMS를 지원하는 시스템으로, 주로 오디오와 비디오 관련 제품들에 대한 정보를 다룬다. Lexico-semantic pattern (LSP) 문법을 관계형 데이터베이스 상에서의 질의 응답 시스템에 최초로 도입하여 기존의 시스템들에 비해 높은 성능을 보이며, linguistic front-end (LFE)와 database back-end (DBE)를 명확히 구분하고 각종 리소스들을 엔진과 분리함으로써 높은 이식성을 가지도록 한다.

  • PDF

치매노인을 위한 자동대화시스템 (Automatic Dialog System for the Elderly with Dementia)

  • Kim, Sung-ill;Joo, Chang-bok;Shin, Wee-jae
    • 융합신호처리학회 학술대회논문집
    • /
    • 한국신호처리시스템학회 2003년도 하계학술대회 논문집
    • /
    • pp.137-140
    • /
    • 2003
  • 본 연구는 치매노인환자의 생활의 질을 향상시키기 위한 대화시스템의 개발에 목표를 둔다. 제안된 시스템은 주로 세 가지 모듈, 즉, 음성인식, 시간테이블에 의해 구분된 대화 데이터베이스의 자동검색, 그리고 간호사의 녹음음성에 의한 응답 등으로 구성되어 있다. 우선 치매환자가 요양시설에서 자주 발화하는 대화의 내용을 조사하고, 그들의 발화 음성을 인식하고 적절히 응답하도록 구성하였다. 시스템의 평가를 위해서 시스템이 도입되었을 때와 도입되지 않았을 때를 비교, 조사하였다. 시스템이 도입되지 않았을 때는 간호사가 자유로이 케어서비스를 행할 수 있도록 하였다. 비디오 촬영을 통해서 대상자의 행동 및 반응을 조사한 결과, 치매환자의 요구를 충족시키는데 있어서 대화 시스템이 간호사들보다 더 응답적이었다는 것을 알 수 있었다. 게다가, 제안된 시스템은 상호 대화에 있어서 환자가 더 많이 말하도록 유도함을 알 수 있었다.

  • PDF

치매환자를 위한 대화 보조 시스템 (Communication Aid System For Dementia Patients)

  • Sung-Ill Kim;Byoung-Chul Kim
    • 대한의용생체공학회:의공학회지
    • /
    • 제23권6호
    • /
    • pp.459-465
    • /
    • 2002
  • 본 연구는 치매노인 환자들과 간호사들의 생활의 질의 향상에 목표를 준다. 이를 위해 치매환자를 위한 대화보조 시스템이 제안되었고, 이 시스템은 주로 세가지 모듈, 즉, 음성인식엔진, 화상 에이전트, 간호 시케쥴에 의해 구분된 대화 데이터베이스 등으로 구성되었다. 남성 치매환자에 시스템을 도입함에 의해서 간호시설의 실제적인 환경에서 시스템의 평가가 이루어졌고 시스템이 도입되었을 때와 되지 않았을 때의 비교연구도 실시하였다. 치료 전문가(occupational therapist)들이 비디오 촬영을 통해서 대상자의 반응을 평가한 결과, 치매환자의 요구를 충족시키는데 있어서 대화 시스템이 전문간호사들보다 더 응답적이었다는 것을 보여준다. 게다가, 시스템을 도입함에 의해서 대상자의 발화를 유도하는 빈도가 증가함을 알 수 있었다.

초·중등교육에서의 플립러닝 연구사례 분석 (A Study on Cases for Application of Flipped Learning in K-12 Education)

  • 이정민;박현경
    • 디지털융복합연구
    • /
    • 제14권8호
    • /
    • pp.19-36
    • /
    • 2016
  • 본 연구는 국내 외 초 중등교육에서의 플립러닝 설계모형 및 적용 사례를 분석하고, 효과적인 플립러닝 설계를 위한 시사점을 제안하는 것을 목적으로 한다. 이를 위해 최근 6년간 국내 외 학술지에 게재된 플립러닝 논문 14편을 대상으로 교수-학습활동을 분류하고, 플립러닝의 효과성을 살펴보았다. 분석 결과, 첫째, 플립러닝 설계모형으로는 ADDIE 모형을 적용한 플립러닝 모형, 8C모형 등이 제시되었다. 둘째, 교실수업 전 활동으로는 강의비디오 시청, 강의노트 작성 등이 이루어졌고, 교실수업 초기에는 사전학습 확인 활동이, 중기에는 개별 및 협력활동이, 후기에는 퀴즈 및 학습정리 활동이 이루어졌다. 교실수업 후에는 과제 및 질의응답이 수행되었다. 셋째, 교수자가 강의비디오를 제작하는 경우 Screencast-o-matic, Explain Everything 등을 활용하였으며, YouTube나 Phet같은 온라인 웹사이트에 게시된 콘텐츠를 활용하는 경우도 있었다. 넷째, 플립러닝은 학습자의 학업성취, 학습동기 및 학습태도 등의 측면에 긍정적인 영향을 미치는 것으로 확인되었다. 본 연구는 플립러닝에 관한 선행연구 분석을 바탕으로 플립러닝 설계 모형, 교수학습 활동유형 및 강의비디오 제작 방식을 분석하여 교수자가 플립러닝을 준비 및 실행할 때 참고할 기초 자료를 제공하였다는 점에서 연구의 의의가 있다.

음성인식에 기초한 치매환자 노인을 위한 대화시스템 (Dialog System based on Speech Recognition for the Elderly with Dementia)

  • Kim, Sung-Il;Kim, Byoung-Chul
    • 한국정보통신학회논문지
    • /
    • 제6권6호
    • /
    • pp.923-930
    • /
    • 2002
  • 본 연구는 치매노인환자의 생활의 질을 향상시키기 위한 대화시스템의 개발에 목표를 둔다. 제안된 시스템은 주로 세 가지 모듈, 즉, 음성인식, 시간테이블에 의해 구분된 대화 데이터베이스의 자동검색, 그리고 간호사의 녹음음성으로 이루어진 맞장구 등의 긍정적인 대답, 등으로 구성되어 있다. 첫 단계로서, 치매환자가 간호시설에서 자주 발화하는 대화의 내용을 조사하였다. 다음으로, 환자들의 요구를 충족시키기 위해 그들의 발화 음성을 자동인식 하도록 구성하였다. 여기서 시스템의 응답은 전문 간호사의 녹음음성으로 설계되었다. 시스템의 평가를 위해서 시스템이 도입되었을 때와 되지 않았을 때의 비교연구를 실시하였고, 치료 전문가(occupational therapist)들이 비디오 촬영을 통해서 남성 대상자의 반응을 평가하였다. 평가 견과는 치매환자의 요구를 충족시키는데 있어서 대화 시스템이 전문간호사들보다 더욱 답적이었다는 것을 보여준다. 게다가 제안된 시스템은 상호 대화에 있어서 간호사들보다 환자가 더 많이 말하도록 유도함을 알 수 있었다.