• 정보처리학회논문지:소프트웨어 및 데이터공학
• /
• 제7권2호
• /
• pp.69-76
• /
• 2018

참조 표현이란 장면 영상 내의 특정 물체를 가리키는 자연어 문장들을 의미한다. 본 논문에서는 참조 표현 이해를 위한 새로운 심층 신경망 모델을 제안한다. 본 논문에서 제안하는 모델은 장면 영상 내 대상 물체의 영역을 찾아내기 위해, 참조 표현에서 언급하는 대상 물체뿐만 아니라 보조 물체, 그리고 대상 물체와 보조 물체 사이의 관계까지 풍부한 정보를 활용한다. 또한 제안 모델에서는 영상 내 각 후보 영역의 적합도 계산을 위해 물체 적합도와 관계 적합도를 참조 표현의 문장 구조에 따라 결합한다. 따라서, 본 모델은 크게 총 네 가지 서브 네트워크들로 구성된다: 언어 표현 네트워크(LRN), 물체 정합 네트워크(OMN), 관계 정합 네트워크(RMN), 그리고 가중 결합 네트워크(WCN). 본 논문에서는 세 가지 서로 다른 참조 표현 데이터집합들을 이용한 실험을 통해, 제안 모델이 현존 최고 수준의 참조 표현 이해 성능을 보인다는 것을 입증하였다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2017년도 추계학술발표대회
• /
• pp.869-872
• /
• 2017

참조 표현이란 영상 내의 특정 물체를 가리키는 자연어 문장을 의미한다. 그리고 이러한 자연어 참조 표현을 기초로, 한 영상에서 실제로 대상 물체의 영역을 찾아내는 일을 참조 표현 이해라고 한다. 본 논문은 참조 표현 이해를 위한 새로운 심층 신경망 모델과 학습 방법을 제안한다. 본 논문에서 제안하는 모델은 효과적인 참조 표현 이래를 위해, 참조 표현에서 언급하는 대상 물체와 보조 물체를 모두 고려할 뿐만 아니라, 두 물체간의 관계정보도 활용한다. 또한, 본 논문에서 제안하는 모델은 이러한 다양한 맥락 정보들을 참조 표현 의존적인 방식으로 가중 결합함으로써, 참조 표현에 부합하는 대상 물체 영역을 보다 정확히 탐지해낼 수 있도록 설계하였다. 본 논문에서는 대규모 참조 표현 데이터 집합인 Google RefExp를 이용한 성능 비교 실험들을 통해, 제안하는 모델의 우수성을 확인하였다.