Proceedings of the Korea Information Processing Society Conference (한국정보처리학회:학술대회논문집)

  • 2019.10a
  • /
  • Pages.994-997
  • /
  • 2019
  • /
  • 2005-0011(pISSN)
  • /
  • 2671-7298(eISSN)
Korea Information Processing Society (한국정보처리학회)
권호 표지
DOI QR코드

DOI QR Code

Visual Commonsense Reasoning with Knowledge Graph

지식 그래프를 이용한 영상 기반 상식 추론

  • 이재윤 (경기대학교 컴퓨터공학부) ;
  • 김인철 (경기대학교 컴퓨터공학부)
  • Published : 2019.10.30
Download PDF
⟨ Previous Next ⟩

Abstract

영상 기반 상식 추론(VCR) 문제는 기존의 영상 기반 질문-응답(VQA) 문제들과는 달리, 영상에 포함된 사물들 간의 관계 파악과 답변 근거 제시 등 별도의 상식 추론이 요구되는 새로운 지능 문제이다. 본 논문에서는 입력 데이터(영상, 자연어 질문, 응답 리스트)에서 사물들 간의 관계와 맥락 정보를 추출해내는 모듈들 외에, 별도로 ConceptNet과 같은 외부 지식 베이스로부터 관련 상식들을 직접 가져다 GCN 기반의 지식 그래프 임베딩 과정을 거쳐 추가적으로 활용할 수 있는 모듈들을 포함한 새로운 심층 신경망 모델인 KG_VCR을 제안한다. 제안 모델인 KG_VCR의 세부 설계사항들을 소개하고, VCR 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해 제안 모델의 성능을 입증한다.

Keywords