Automatic Extraction of Image Bases Based on Non-Negative Matrix Factorization for Visual Stimuli Reconstruction

시각 자극 복원을 위한 비음수 행렬 분해 기반의 영상 기저 자동 추출

In this paper, we propose a automatic image bases extraction method for visual image reconstruction from brain activity using Non-negative Matrix Factorization (NMF). Image bases are basic elements to construct and present a visual image. Previous method used brain activity that evoked by predefined 361 image bases of four different sizes: $1{\times}1$, $2{\times}1$, $1{\times}2$, $2{\times}2$, and $2{\times}2$. Then the visual stimuli were reconstructed by linear combination of all the results from these image bases. While the previous method used 361 predefined image bases, the proposed method automatically extracts image bases which represent the image data efficiently. From the experiments, we found that the proposed method reconstructs the visual stimuli better than the previous method.

본 논문에서는 fMRI를 사용하여 뇌신경 반응을 측정한 후, 자극으로 주어진 $10{\times}10$ 크기의 이진 영상을 사전 정보 없이 복원하기 위해 비음수 행렬 분해를 이용한 자동화된 영상 기저 추출 방법을 제안한다. 영상 기저란 영상을 표현하는 기본 단위로, 기존 연구에서는 사전에 정의된 $1{\times}1$, $2{\times}1$, $1{\times}2$, $2{\times}2$의 크기를 갖는 총 361개의 영상 기저에 반응하는 뇌 신호를 분석하여 기저 영상으로 복원하고, 모든 기저에 대한 복원 결과를 선형 결합하여 최종복원 영상을 획득하였다. 사람이 사전에 정의한 영상 기저를 필요로 하는 기존 연구와는 달리, 본 연구에서는 비음수 행렬 분해를 기반으로 학습 데이터로 주어진 이진 영상을 가장 잘 표현하는 영상 기저를 자동 추출하였다. 자동으로 추출된 영상 기저를 사용하여 이진 영상을 복원한 결과, 기존 연구 방법보다 개선된 복원 정확도를 보였다.