Bio-mimetic Recognition of Action Sequence using Unsupervised Learning

비지도 학습을 이용한 생체 모방 동작 인지 기반의 동작 순서 인식

Making good predictions about the outcome of one's actions would seem to be essential in the context of social interaction and decision-making. This paper proposes a computational model for learning articulated motion patterns for action recognition, which mimics biological-inspired visual perception processing of human brain. Developed model of cortical architecture for the unsupervised learning of motion sequence, builds upon neurophysiological knowledge about the cortical sites such as IT, MT, STS and specific neuronal representation which contribute to articulated motion perception. Experiments show how the model automatically selects significant motion patterns as well as meaningful static snapshot categories from continuous video input. Such key poses correspond to articulated postures which are utilized in probing the trained network to impose implied motion perception from static views. We also present how sequence selective representations are learned in STS by fusing snapshot and motion input and how learned feedback connections enable making predictions about future input sequence. Network simulations demonstrate the computational capacity of the proposed model for motion recognition.

대상의 동작을 잘 예측하는 것은 사회적 상호작용과 의사결정 컨텍스트 이해의 핵심이다. 본 연구는 동작 인식 과정에서 인간 뇌 시각인지 과정을 모방한 방법으로 관절 동작의 동작 순서 패턴을 학습하는 컴퓨팅 모델을 제안하였다. 제안 방법의 핵심은 뇌에서 동작 인지 자극을 처리하는 신경생리학적 IT, MT, STS의 피질 기능과 특정 시각 신경 회로 네트워크 기능을 모방하여 비지도 방법으로 동작 순서를 학습한 후 동작을 예측, 인식하는 것이다. 실험을 통해 제안 모델이 어떻게 연속적으로 입력되는 비디오에서 의미있는 동작 스냅샷 뿐 아니라 중요한 동작 패턴을 자동으로 선택하는 지를 제시하였다. 이 핵심 움직임은 학습 네트워크가 정적 시점에서 정지 영상에 함축된 동작을 인식하는지를 증명하는데 이용하는 관절 자세이다. 또한 STS 피질 영역에서 어떻게 정지와 움직임 입력을 통합하는지를 모방하여 학습하고, 학습한 피드백 연결이 차후 동작의 입력 순서를 어떻게 예측하는지를 제시하였다. 네트워크 시뮬레이션을 통해 동작 인식에 대한 제안 모델의 우수성을 입증하였다.