Subspace analysis of Poisson Model to extract Firing Characteristics in Visual Cortex

시각 피질의 발화 특성 추출을 위한 포아송 모델의 부공간 해석

Abstract

It has been found through physiological experiments that the visual neurons constituting the human visual cortex do not respond to all visual stimuli, but to a visual stimuli with specific conditions. In order to interpret such physiological experiments, a model that can simulate the firing characteristics of neurons including a linear filter with random gain was proposed. It has been proven through experiments that subspaces are formed. To verify the validity of the implemented model, the distribution of values for two pixels randomly extracted from four different visual stimulus data was observed. The difference between the two distributions was confirmed by extracting the central coordinate value, that is, the coordinate value with the most values, from the distribution of the total stimulus data and the spike ignition stimulus data. In the case of the entire set, it was verified through experiments that the stimulus data generating spikes is a subset or subspace of the entire stimulus data. This study can be used as a basic study related to the mechanism of spikes in response to visual stimuli.

인간의 시각 피질을 구성하고 있는 시각 뉴런은 모든 시각적 자극에 반응하는 것이 아니라 특정한 조건을 갖춘 시각적 자극에 반응한다는 것이 생리학적 실험을 통하여 밝혀졌다. 본 연구에서는 이와 같은 생리학적 실험을 해석하기 위하여 랜덤한 이득을 갖는 선형 필터를 포함하는 뉴런의 발화 특성을 시뮬레이션하고 설명할 수 있는 모델을 제안하였고 또한 제안한 모델의 선형 필터의 출력이 전체 자극 데이터의 부공간을 형성하고 있음을 실험을 통하여 증명하였다. 구현된 모델의 타당성을 검증하기 위하여 서로 다른 4개의 시각적 자극 데이터들로부터 임의로 추출한 2개의 화소에 대한 값의 분포를 관찰하였다. 전체 자극 데이터와 스파이크 발화 자극 데이터의 분포로부터 중심 좌표 값 즉, 가장 많은 값이 분포하는 좌표 값을 추출하여 두 분포 사이의 차이를 확인할 수 있었고 구현된 모델이 전형적인 LNP 모델과 동일하게 전체 자극 데이터가 전체 집합일 경우 스파이크를 발생시키는 자극 데이터가 전체 자극 데이터의 부공간 임을 실험을 통하여 증명하였다. 본 연구는 시각적 자극에 대한 스파이크의 발생기전과 관련된 기초 연구로 활용할 수 있다.

1. 서론

시각 피질에 대한 직접적인 연구는 Hubel 등[1]이 고양이 뇌의 시각피질에 침 전극을 삽입하고 막대기 모양의 빛을 회전하거나 확대, 축소 및 이동시키는 과정에서 발생하는 자극에 대한 반응을 연구하면서 시작되었다. 외부의 자극에 대하여 처리되는 정보의 양은 시각 분야가 70%를 담당하고 있고 청각 및 후각, 촉각 등의 정보가 나머지 부분을 차지하고 있는 것으로 알려져 있다. [2-3]에서 언급된 시각 피질과 관련된 다양한 실험적인 결과들은 인간이 외부의 시각적 자극을 어떻게 처리하고 인지하는지에 대한 수많은 정보를 제공해 주었다. 시각 피질을 통하여 사물을 인지하는 과정은 다양한 영상 인식을 넘어서 영상 의미론 분야와 같은 고차원적인 사고 분야에 응용할 수 있다. 특히 최근 들어 각광을 받고 있는 딥러닝 분야에서 대상을 분류하고 인지하는 합성곱 신경망(CNN: Convolutional Neural Network)의 일종인 ImageNet, ResNet과 같은 신경망 구조나 영상의 의미론적 추론을 시도하는 이미지 트랜스포머는 대표적인 응용 례이다[4].

그림 1과같이 표현되는 시각 피질의 정보처리 과정은 다층 구조의 신경망 모델을 구조화한 것으로 시각 피질의 각 단계에서 특정한 크기의 필터가 영상 데이터를 스캔하며 영상 데이터와 필터 간의 곱을 합산하는 과정으로 표현할 수 있다. 이때 필터는 시각피질 뉴런의 역할을 담당하여 국부 영역(local area)에 존재하는 영상의 특정한 기하학적 패턴을 검출하고 비선형 함수를 통과하는 과정을 거친다. 그림 1과 같은 시각 피질의 대상인식기전은 실제로 시각 피질을 구성하는 뉴런들 간의 펄스의 발화 및 전송으로 그림 2와 같이 모델링 할 수 있다.

그림 1. 인간 시각피질과 관련된 수용장의 크기 및 특징들[4]

Fig. 1. Sizes and Features of receptive field relative to human visual cortex[4]

그림 2. 시각적 자극에 대한 발화 모델링

Fig. 2. Firing modeling of visual stimulus

위의 그림으로부터 시각 수용 세포에 들어온 자극은 자극의 강도(strength) 또는 자극의 형태(shape)에 따라 펄스를 발화 시키는 동조 함수(tuning function)를 거쳐 펄스를 발화하도록 구성되어 있다. 본 연구에서는 그림 2로 설명되는 시각 피질의 펄스 발화를 표현하기 위한 선형-비선형 모델의 특성을 대수 공간의 부공간 해석에 이용하려 한다. 시각 수용 세포를 통하여 들어오는 모든 시각적 자극을 공간(space)을 형성하는 전체 집합(total set)으로 가정할 때 특정 시각적 자극은 전체 공간의 부분집합(subset)으로서 부공간(subspace)을 형성한다고 가정하였다. 또한 본 연구에서는 펄스를 발화시키는 시각적 자극과 발화율간의 관계를 규명하기 위하여 인위적으로 발생시킨 시각적 자극에 대한 펄스의 발화를 생성하는 조건부 확률을 이용하고, 특정 시각적 자극의 앙상블(ensemble)을 원소로 하는 부공간을 분석하는 실험을 실시하였다, 실험 방법은 얻어진 앙상블 데이터에 대한 공분산 행렬(covariance matrix)을 이용하였고 또한 모든 시각적 자극에 대한 특성 시각적 자극 사이의 공분산 분석으로부터 스파이크의 발화를 유도하는 데이터들의 특성을 유도하였다.

2. 랜덤 이득을 갖는 시각 피질의 LNP 모델의 제안

시각 피질의 선형-비선형 포아송(LNP: Linear-Nonlinear Poisson) 모델은 시각적 자극에 대한 뉴런의 펄스 발화를 표현하기 위한 직관적인 모델이다[5,6].

전형적인 LNP 모델은 시각적 자극의 모든 원소를 표현하기 위한 전체 공간으로서 자극 공간(stimulus space)을 정의하고 망막의 중심흥분-주변억제 또는 중심억제-주변흥분 성질을 갖는 망막의 2차원 수용 장(receptive field)에서 3차원 대상체에서 반사된 빛을 수용하여 외측 슬상체(Lateral Geniculate Nucleos)를 통하여 정보를 입력받아 스파이크 발화를 생성한다[6]. 그림 3에서 붉은색 네모 상자를 제외한 부분이 전형적인 LNP 모델을 나타내고 있으며 발화 모델을 간단히 표현하기 위한 방법으로 널리 사용되고 있으며 자극 공간에 대한 첫 번째 단계는 k개의 선형 필터들로 표현하고 있다.

그림 3. 제안된 랜덤한 이득을 갖는 LNP 모델의 구조

Fig. 3. Proposed structure of LNP model with random gain

이와 같은 LNP모델의 선형 부분의 표현은 k개의 선형 필터들이 모두 존재한다는 가정에 근거하기 때문이다. 그러나 실제 수용장의 미소한 공간에서 발생하는 스파이크를 기반으로 선형 필터의 출력을 예측하는 실험에서 수용장의 미소 공간에 k개의 모든 선형 필터가 수용되지 않고 불규칙한 개수로 존재한다[8]. 이와 같은 결과는 k개의 선형 필터에 [0, 1]의 구간을 갖는 이득을 곱하여 그림 3의 파란 네모 상자 부분으로 재정의해야 한다는 것을 의미한다. 랜덤한 이득을 갖는 선형 필터의 출력 이후에 스파이크를 발생시키는 과정은 작은 시간 간격(time bin)에서 스파이크가 발생할 확률은 필터들의 출력을 입력으로 하는 임의의 함수 f에 비례하는 식 (1)과 같이 나타낼 수 있다.

P(spike)∝f(k₁ ∙ x, k₂ ∙ x, …, k_n ∙ x)       (1)

위 식에서 P는 스파이크가 발생할 확률을 나타내고 k_n은 필터, x는 전체 자극 그리고 f는 스파이크의 발화율을 결정하는 임의의 비선형 함수를 의미한다. 식 (1)에 따라 스파이크는 작은 시간 간격 Δ에서 y개의 스파이크가 발생할 확률은 포아송 확률 분포에 의하여 식 (2)와 같이 결정된다.

\(\begin{aligned}P(y-spikes)=\frac{(\Delta \lambda)^{y}}{y !} e^{-\Delta \lambda}\end{aligned}\)       (2)

위 식에서 λ는 임의의 비선형 함수 f의 출력으로서 포아송 분포를 갖는 스파이크를 발생시킨다.

본 연구는 그림 3에 제안한 LNP 모델에서 불규칙한 이득을 갖는 선형 필터의 출력이 이기존의 LNP 모델에서 정의된 바와 같이 전체 자극 공간의 부공간으로서 존재할 수 있는 지를 시뮬레이션을 통하여 관찰하려 한다. 랜덤한 이득을 갖는 선형필터의 출력이 전체 자극 공간의 부공간으로 존재한다면 전체 자극 공간의 부분집합으로 선형필터의 출력이 관찰될 것이고 부공간이 아닌 경우에는 전체 자극 공간과 겹치지 않는 범위에 선형 필터의 출력이 존재할 것으로 예측할 수 있다.

3. 실험 및 결과 고찰

3.1 시각적 자극의 구현 및 부공간 분석

시각적 자극에 따른 스파이크의 발화 기전은 그림 4의 스파이크 발화 기전을 이용하여 구현할 수 있다.

그림 4. 시각적 자극들에 따른 스파이크 발화 기전

Fig. 4. Spike firing mechanism for visual stimuli

백색 잡음으로 구성된 많은 시각적 자극 가운데 그림4의 오른쪽에 위치한 3 × 3 화소가 스파이크를 발화시키는 요인으로 가정하면 발화된 스파이크가 나타나는 부분의 직전 3 샘플의 시간동안에 자극이 있다고 가정하고 스파이크가 발화한 부분 직전의 9 × 3 화소를 모아 평균을 구할 수 있고 평균을 STA(spike triggered average)라고 하며 식 (3)과 같이 정의한다[7]. STA의 의미는 스파이크의 발화가 증가할수록 스파이크를 발화시키는 시각적 자극의 형태를 더 자세히 묘사할 수 있어 발화의 원인인 시각적 자극을 2차원 필터로 구현할 수 있다.

\(\begin{aligned}\bar{A}=\frac{1}{N} \sum_{i=1}^{N} r_{i} s\left(t_{i}\right)\end{aligned}\)       (3)

위 식에서 t_i는 n번째로 발화한 스파이크의 시간을 나타내고 r_i는 랜덤 이득, s는 스파이크 발생 직전 9 × 3 화소를 갖는 벡터를 나타낸다. 스파이크 발화에 대한 STA 값은 단일 뉴런의 경우 하나의 선형 필터의 출력을 가정할 수 있으므로 비편향추정기로 역할을 수행한다. 따라서 식 (3)의 STA 필터의 결과는 모든 시각적 자극에서 일부의 결과를 수용하여 스파이크 발화를 발생시킨 것으로 전체 자극 공간의 부분 공간으로 가정할 수 있다. 또한 식 (3)을 활용하여 발화한 자극에 대한 STC(spike triggered covariance)를 식 (4)와 같이 정의할 수 있다[9].

\(\begin{aligned}\bar{C}=\frac{1}{N-1} \sum_{i=1}^{N}\left[r_{i} s\left(t_{i}\right)-\bar{A}\right]\left[r_{i} s\left(t_{i}\right)-\bar{A}\right]^{T}\end{aligned}\)       (4)

STC의 결과는 스파이크 발화를 발생시키는 시각적 자극의 방향성에 대한 정보를 제공하는 역할을 수행한다. 이는 모든 시각적 백색 잡음의 STC는 중심으로부터 모든 영역에 걸쳐 존재하는데 스파이크를 발화시키는 시각적 자극에 대한 STC 결과는 특정한 방향성을 갖고 있음을 의미한다. 이와 같은 관찰은 STA로부터 얻어진 2차원 필터의 결과로부터 특정한 편향 정보를 얻고자할 때 STC를 이용할 수 있음을 의미한다.

3.2 시각적 자극 데이터의 STA, STC 분석

본 연구에서는 그림 4의 발생기전을 이용하여 9 × 1의 크기를 갖는 30,000개의 시각적 자극 시퀀스 4개와 포아송 모델을 이용하여 1,000개의 스파이크를 발화할 수 있는 시뮬레이션 모듈을 Matlab을 이용하여 구현하였다. 구현된 시뮬레이션에서 각각 4개의 시각적 자극 시퀀스는 스파이크 발화 모듈에서 스파이크의 발화 위치를 참고하여 해당 스파이크 발화 직전 9 × 3 화소에 대하여 서로 다른 평균과 분산을 갖는 가우시안 윈도우를 적용하여 스파이크가 발화한 시각적 자극을 모든 시각적 자극으로부터 구분하였다. 그림 5는 4개의 시각적 시퀀스와 스파이크 발화 모듈로부터 얻어진 STA와 STC는 그림 5와 같이 나타낼 수 있다.

그림 5. 시뮬레이션에서 발생된 4개의 STA 및 STC

Fig. 5. STAs and STCs from simulation

STA와 STC로부터 얻어진 스파이크를 발화시키는 자극과 일반적인 시각적 자극의 부분 공간해석을 수행하기 위해서는 9 × 3 화소에 해당하는 27차원의 시간-공간 데이터에 대하여 데이터 값의 분포를 관찰하는 것이 필요하다.

그러나 완전한 데이터 값의 분포를 27차원의 관점에서 확인하는 것은 불가능하므로 시간-공간데이터의 인덱스를 고정하기 위하여 특정한 화소 2개를 선정하고, 해당 화소 값들의 분포를 확인하는 것으로 전체적인 분포를 확인할 수 있다. 그림 6은 임의로 선정된 두 화소의 값에 대하여 스파이크가 발화한 데이터와 전체 자극 데이터에 대한 두 화소 값의 분포를 나타내고 있다.

그림 6. 스파이크가 발화한 자극과 시각적 자극 데이터의 2차원 분포 비교

Fig. 6. 2- dimensional distribution comparison of spike-triggered and total visual stimuli​​​​​​​

분포의 관찰로부터 발생시킨4개의 시각적 자극 데이터에 대하여 전체 자극 데이터들은 무작위적인 분포를 갖는데 반하여 스파이크 발화와 관련된 데이터들은 특정영역에 대부분이 분포하고 있는 것을 확인할 수 있다.

이와 같은 결과는 자극에 발화한 시각적 자극이 일정한 형태를 보이고 있다는 것을 의미하여 이 시각적 자극은 스파이크를 발화하지 못하는 자극과 통계적 평균의 관점에서 서로 다른 값을 갖는 원소들의 집합으로 규정할 수 있다. 이와 같은 결과는 모든 시각적 자극 데이터를 전체 공간으로 가정할 때 스파이크를 발화시키는 자극 데이터는 전체 공간의 일정한 영역을 차지하는 부분 공간으로 해석할 수 있음을 의미한다.

또한 전체 공간과 스파이크를 발화시키는 부 공간 사이의 구분은 두 집합의 중심(center of mass)의 위치로 나타낼 수 있으며 두 집합의 중심은 두 화소의 값들이 랜덤하다고 가정할 때, 각 데이터들의 통계적 평균값으로 추정할 수 있다.

표 1은 10개의 전체 자극 데이터 및 스파이크 발화 자극 데이터의 분포에 대한 중심 좌표를 나타내고 있다. 중심좌표는 분포의 중앙에 위치하는 좌표 값으로서 전체 분포를 대표할 수 있는 파라미터이다. 스파이크 발화 자극의 중심 좌표와 전체 자극의 중심 좌표가 서로 다른 것을 확인할 수 있고 같은 자극끼리의 중심좌표들은 서로 비슷한 값을 나타내는 것을 관찰할 수 있다. 따라서 위의 실험 결과를 통하여 전체 시각적 자극에 대하여 스파이크를 발생시키는 시각적 자극이 부공간을 형성한다는 것을 확인하였고 두 공간 사이는 평균값의 차이로 구별이 가능함을 보여주었다.

표 1. 스파이크 발화 자극과 전체 자극의 중심좌표

Table 1.Coordinate of center in distribution of spike- triggered and total stimuli​​​​​​​

전체 시각 자극 데이터와 스파이크를 발화 시키는 시각 자극 데이터 각각에 대한 평균을제거한 각 화소 값들의 분포는 바이어스를 제거한 데이터의 분포를 통하여 관찰할 수 있다. 이는 그림 6의 분포에서 각 회소 값의 평균을 뺀 값의 분포를 관찰하는 것을 의미한다. 그림 7은 전체 시각 자극 데이터와 스파이크 발화 시각 데이터에서 평균을 제거한 동일한 위치의 화소 2개에 대한 값들의 분포를 나타낸다.

그림 7. 평균 제거 후 스파이크가 발화한 자극과 시각적 자극 데이터의 2차원 분포 비교

Fig. 7. 2- dimensional distribution comparison of spike-triggered and typical visual stimuli after removal of average​​​​​​​

그림 7의 결과는 평균 제거 후에도 전체 자극 데이터의 분포는 적게 변화하는데 비하여 스파이크 발화와 관련된 자극 데이터의 분포는 전체 자극 데이터와 유사한 중심을 갖는 것을 관찰할 수 있다.

표 2는 그림 7의 분포를 포함하는 10개의 2차원 전체 및 발화 자극 데이터의 중심 좌표를 나타내고 있다. 표로부터 두 자극 데이터의 중심 좌표가 10개의 생성된 분포 데이터에 대하여 근접한 패턴을 나타내는 것을 관찰할 수 있다. 그림 6의 결과에서 전체 자극 데이터의 분포에서 오른쪽 위 부분에 치우친 발화 관련 자극 데이터의 그림 7과 같은 이동은 전체 자극 공간의 관점에서 자극과 관련된 랜덤한 이득을 갖는 선형 필터의 출력은 전체 자극 데이터의 부공간 또는 부분 집합임을 확인할 수 있고 두 집합 사이를 구분할 수 있는 통계적 변수는 각 데이터들의 분포의 중심 값, 즉 좌표의 평균값을 의미한다.

표 2. 평균 제거 후 스파이크 발화 자극의 중심좌표

Table 2. Coordinate of center in distribution of spike- triggered stimuli after removal of average​​​​​​​

3. 결론

인간의 시각 피질을 구성하고 있는 시각 뉴런은 모든 시각적 자극에 반응하는 것이 아니라 특정한 조건을 갖춘 시각적 자극에 반응한다는 것이 생리학적 실험을 통하여 밝혀졌다. 본 연구에서는 불규칙한 이득 특성을 갖는 선형필터로 이루어진 포아송 모델을 제안하고 이 모델의 스파이크와 관련된 뉴런의 발화 특성을 시뮬레이션하고 설명할 수 있는 실험을 수행하였다. 구현된 모델의 타당성을 검증하기 위하여 서로 다른 4개의 시각적 자극 데이터들에서 추출한 2개의 화소에 대한 값의 분포를 관찰하였고 이로부터 전체 시각 자극 데이터와 스파이크를 발생시키는 시각적 데이터 사이의 평균의 차이를 밝혀내었고 구현된 모델이 전형적인 LNP 모델과 같이 전체 자극 데이터가 전체 집합일 경우 스파이크를 발생시키는 자극 데이터가 전체 자극 데이터의 부분 집합 또는 부공간임을 실험을 통하여 증명하였다. 본 연구는 시각적 자극에 대한 스파이크의 발생기전과 관련된 기초 연구로 활용할 수 있다.