Modeling Relationships between Objects for Referring Expression Comprehension

참조 표현 이해를 위한 물체간의 관계 모델링

참조 표현이란 영상 내의 특정 물체를 가리키는 자연어 문장을 의미한다. 그리고 이러한 자연어 참조 표현을 기초로, 한 영상에서 실제로 대상 물체의 영역을 찾아내는 일을 참조 표현 이해라고 한다. 본 논문은 참조 표현 이해를 위한 새로운 심층 신경망 모델과 학습 방법을 제안한다. 본 논문에서 제안하는 모델은 효과적인 참조 표현 이래를 위해, 참조 표현에서 언급하는 대상 물체와 보조 물체를 모두 고려할 뿐만 아니라, 두 물체간의 관계정보도 활용한다. 또한, 본 논문에서 제안하는 모델은 이러한 다양한 맥락 정보들을 참조 표현 의존적인 방식으로 가중 결합함으로써, 참조 표현에 부합하는 대상 물체 영역을 보다 정확히 탐지해낼 수 있도록 설계하였다. 본 논문에서는 대규모 참조 표현 데이터 집합인 Google RefExp를 이용한 성능 비교 실험들을 통해, 제안하는 모델의 우수성을 확인하였다.