Segmentation of Bacterial Cells Based on a Hybrid Feature Generation and Deep Learning

하이브리드 피처 생성 및 딥 러닝 기반 박테리아 세포의 세분화

Abstract

We present in this work a segmentation method of E. coli bacterial images generated via phase contrast microscopy using a deep learning based hybrid feature generation. Unlike conventional machine learning methods that use the hand-crafted features, we adopt the denoising autoencoder in order to generate a precise and accurate representation of the pixels. We first construct a hybrid vector that combines original image, difference of Gaussians and image gradients. The created hybrid features are then given to a deep autoencoder that learns the pixels' internal dependencies and the cells' shape and boundary information. The latent representations learned by the autoencoder are used as the inputs of a softmax classification layer and the direct outputs from the classifier represent the coarse segmentation mask. Finally, the classifier's outputs are used as prior information for a graph partitioning based fine segmentation. We demonstrate that the proposed hybrid vector representation manages to preserve the global shape and boundary information of the cells, allowing to retrieve the majority of the cellular patterns without the need of any post-processing.

1. 서론

일부 이미지 절차로 포착되는 생물학적 프로세스의 분석과 이해에는 이미 획득한 이미지에 대한 간결한 검사가 필요하다. 예를 들어 위상차(phase contrast)나 형광 현미경 검사를 사용하여 일정 기간 동안 살아있는 세포가 그려지는 것처럼, 라이브 세포 이미징(Live-cell imaging)은 생물학적 시스템을 포착하는 효과적인 방법 중 하나이다. 그러한 이미지를 완전히 이해하기 위해서는 완전한 분석이 필요하다. 세포를 나타내는 이미지의 경우, 세포를 완전히 이해하기 위한 가장 중요한 단계 중 하나는 생물학적 유기체의 한 부분에 이미지의 모든 화소를 할당하는 분할 과정이다[1].

박테리아 세포의 분할 방법은 대부분 필터링, 형태론적 작동, 단순 임계값 설정, 유역 변환과 같은 컴퓨터 비전의 표준기법 집합으로 구성된다[1,2]. 이러한 방법에 관한 후처리 부담은 일반적으로 수동 선별과정으로 구성되며, 많은 경우 상당한 시간이 소요될 수 있다[1,2]. 박테리아 세포의 분할 연구는 최근에 기계학습 방법이 사용되기도 한다. 이러한 방법에 관한 후처리 부담은 일반적으로 수동 큐레이션으로 구성되며, 많은 경우 상당한 시간이 소요될 수 있다. 지도 학습 접근방식을 사용하였을 경우 각 화소는 먼저 공간 또는 강도(intensity) 정보에서 나온 몇 가지 의미 있는 피쳐로 표현된다. 그런 다음, 추출된 형상은 출력이 주어진 유기체에 속하는 라벨 또는 확률을 할당하는 분류기에 보내진다[3,4].

Martin et al.[3]이 제안한 바와 같이 피쳐는 화소의 밝기, 색상 및 텍스쳐 정보와 관련되어 있다. 기계 학습(support vector machine: SVM)[4]의 사용은 신경망 및 많은 분류기를 혼합한 것까지 다양한 분류기를 채택할 수 있다[5]. 머신러닝 방법론의 주요 아이디어는 화소 수준의 분류로 남아 있는데, 분류기를 훈련시키는 데 필요한 화소를 선택한 다음 특징 추출 과정과 분류 단계를 거쳐 데이터셋을 구축하는 것이다.

이 방법들은 두 가지 주요 단점이 있다. 첫 번째는 위상차 이미지의 경우 배경의 화소와 세포의 몸체 사이에 존재하는 상관관계가 높다는 점이다. 이러한 상황은 통계적으로 동질적인 계층으로 이어져 차별의 관점에서 일정한 문제를 제기한다. 두 번째 단점은 후처리 부담이다. 세포의 경계가 대부분 상실되기 때문에 이러한 방법에 관한 후처리 작업은 많은 시간이 소요된다.

컨벌루션 뉴럴 네트워크(Convolutional neural network: CNN)[6]은 최근 세포 분할 문제에 대한 객체 인식뿐만 아니라 이미지 분석을 위한 효율적인 도구로 널리 채택되고 있다[7]. CNN을 수용하는 한편, 이러한 네트워크의 아키텍처는 이미지로 대표되는 이미지나 데이터(2-D 또는 3-D 표현)에 의해 공급되도록 설계되기 때문에 패치의 사용이 필수적이다. Fig. 1에서 볼 수 있듯이 패치 기반 분할은 "patch"라고 불리는 주어진 n☓n 크기의 작은 정사각형으로 각 화소를 나타내는 과정으로, 분류해야 할 화소는 바로 중앙에 위치하며 그 이웃에 둘러싸여 있다. 패치의 크기는 본 연구에서 추출하고자 하는 정보에 따라 달라지는데, 우리가 추출하고 싶은 정보는 작은 부분의 화소인 반면, 큰 패치는 전체 이미지에서 화소의 위치에 관한 세부 사항을 설명한다.

Fig. 1. Patch creation process using a pixel P_i,j .

Moeskops et al.[8]은 예를 들어 MRI 뇌 영상의 분할과 관련하여 피드백을 통한 입력의 다중 척도로 나타내었다. CNN은 작은 패치들이 제공하는 지역 정보뿐만 아니라 큰 패치들에 통합되어 있는 전반적인 세부 정보들을 포착하기 위해 서로 다른 크기의 이미지들을 가지고 있다. Song et al.[9]은 자궁경부 세포질 및 핵분열을 위해 다른 방식으로 다중 척도를 나타내었다. 본 논문에서는 위상차 현미경을 통해 얻은 대장균 박테리아 이미지의 분할 방법론을 제시한다.

반면에 본 연구에서는 특징 학습 연산자로서 디노이징 오토인코더(denoising autoencoder: DAE)를 채택하여 신경망 기반 특징 추출 방법을 제안한다. 이 분할 작업에서는 배경과 관련된 통계적 단서는 화소가 해당 패치 이미지로 표현된다. 이 방법은 먼저 DAE의 입력으로 사용될 하이브리드 형상 벡터를 나타낸다. 이 하이브리드 벡터는 세포의 효과적인 분할에 필요한 모든 단서들을 포함하는 방식으로 구성되며, 원래의 패치 이미지, difference of Gaussians (DoG)의 차이와 그레디언트의 차이에서 화소 값을 포함한다. 가우시안의 차이로 인하여 DAE가 세포의 경계와 관련된 통계 단서들을 암호화할 수 있게 된다. 하이브리드 벡터는 그레디언트로 세포의 방향을 학습할 수 있게 된다. 세포의 등고선(DoG)과 방향 (Gadients)의 조합으로 세포 요소의 형태와 경계에 관한 전반적인 정보를 제공한다.

생성된 하이브리드 벡터는 피쳐 학습 과정 용도로 DAE에 제공되며, 학습된 피쳐는 소프트맥스 분류기로 수행되는 지도 학습 과정의 입력물로 사용된다. 이 출력은 배경 또는 세포에 속하는 각 화소의 확률을 나타낸다. 마지막으로, 그래프 분할(Graph Partitioning)에 근거한 세분화를 제안한다[10]. Song et al.[9]이 수행한 것처럼 CNN의 출력을 이용하여 소프트맥스 분류기가 출력한 확률을 사전 정보로 삼아 맞춤형 에너지 함수를 제안한다.

본 논문에서는 세포의 형태와 경계를 통계적으로 인코딩하기 위해 딥러닝 피쳐 추출 방법을 제안한다. 제안한 첫 번째 단계에서 물려받은 원본 분할은 분류 기의 출력을 사용하여 그래프 분할 방식으로 사용자 정의 에너지 함수로 정제된다. 그 결과로 제안한 방법이 세포의 공간적 일관성을 포착하고 다른 방법과 달리 수동 선별과정이 필요하지 않은 상당히 정확한 최종 분할을 수행하게 된다. 또한 제안하는 모양과 경계 부호화 덕분에 현재의 방법은 대다수의 세포와 결합하는 것을 피하고, 전체 모양과 크기를 보존함으로써 의미보존(delineation preservation) 측면에서 CNN에 기반을 둔 최첨단 방법들을 능가한다. 따라서, 제안한 방법은 수동 희석, 농축 및 세포 분리가 필요하지 않다.

제안한 방법의 개략적인 표현은 Fig. 2와 같다. 논문의 나머지 내용은 다음과 같다. 다음 절에서는 제안된 계획의 각 단계를 상세히 설명하고 본 연구에서 고려된 문제를 간결하게 제시한다. 제3절에서는 연구한 결과에 대해 논의하고 다른 방법과 비교 한다.

Fig. 2. Schematic representation of the proposed segmentation methodology.

2. 제안 방법

대장균은 온혈성 유기체의 내장에서 흔히 발견되는 막대 모양의 박테리아다. 본 연구에서 사용한 박테리아 이미지는 매우 낮은 비교 수준의 이미지를 보여주는 위상차 현미경 검사를 사용하여 생성되었다. Fig. 3에서는 현재 작업에 사용된 이미지 중 하나를 보여준다. Fig. 3(a)는 위상차 현미경 검사에서 직접 발생하는 매우 낮은 대비 이미지를 나타낸다. Fig. 3(b)에 표시된 이미지는 세포과 세포의 위치를 시각화하기 위해 표시된 히스토그램 이퀄라이제이션 (histogram equalization) 버전이다. 데이터 세트를 구축하는 모든 프로세스는 원본 이미지의 모든 화소에 대해 분할 방식의 입력 데이터로 사용될 패치를 생성한다.

Fig. 3. (a) Original image; (b) the contrast enhanced version; and, (c) the DoG.

2.1 하이브리드 입력 벡터 구조

첫째, 모든 화소는 앞의 절에서 설명한 대로 패치로 표현된다. 본 논문에서는 모든 그레이 변이, 공간 정보, 그리고 더 중요한 것은 세포의 전체 형태와 관련된 필요한 단서들을 동시에 통합하는 입력 벡터를 제안한다. 벡터는 먼저 생성된 패치 및 원본 패치 이미지에 DoG를 적용한 후 얻은 이미지에서 원시 화소 값으로 구성된다. 여기서 첫 번째 가정은 화소의 강도와 주위의 관련된 모든 정보와 세부 정보가 원래의 패치에 포함되어 있다는 점이다. 두 번째 가정은 DoG 의 화소값이 세포의 등고선과 관련된 정보를 제공한다는 점이다. Fig. 3에서는 실험 중에 얻은 DoG의 예를 보여준다. Fig. 3(a)에서는 원본 이미지를, Fig. 3(b)에서는 대비 향상 버전을, Fig. 3(c)에서는 DoG 의 결과를 보여준다. 여기서 DoG가 세포의 윤곽을 어떻게 부각시켰는지 알 수 있다.

두 번째로, 히스토그램 이퀄라이제이션 버전을 사용하여 그레디언트 값을 계산한다. 모든 단일 화소에서, 이미지 I의 그레디언트(\(\overrightarrow{\nabla I}\))는 그레이 변화율 및 방향을 계산한다. 그것은 이미지 내부의 세포의 방향에 관한 더 정확한 단서들을 제공한다. 세 번째 가정은 두 축을 따라 DoG와 그레디언트 조합이 세포의 형태와 경계의 전체 인코딩을 제공한다. 최종 하이브리드 벡터는 원본 패치 이미지의 원시 화소 값, DoG 의 화소 값 및 패치 이미지의 대비 향상 버전(contrast enhanced version) 을 사용하여 계산 된 두 축의 그 레디언트를 포함한다. 실제로 Fig. 3(b)에서 볼 수 있듯이 히스토그램 이퀄라이제이션 버전은 세포의 경계에 가까운 지역에서 그레이 변이를 강화하여 가장 가까운 곳에서 세포의 체 화소(body pixel)로의 전환이 강화된다.

Fig. 4에서는 소벨 마스크를 사용하여 계산한 그레디언트들을 보여준다. Fig. 4(a), (b), (c)에서 우리는 각각 Fig. 3(a)에 표시된 원본 이미지를 사용하여 계산한 y축과 그 크기를 따라 x축을 따라 그레디언트가 있다. Fig. 4(d), (e), (f)에서 우리는 각각 두 축을 따라가는 그레디언트과 대비 향상 버전을 사용하여 계산한 그 크기를 가지고 있다. 여기서 대비 향상 버전에서 나온 그레디언트와 원본 이미지에서 나온 그레디언트의 차이를 볼 수 있다. 최종 하이브리드 벡터는 원본 패치 이미지의 원시 화소 값, DoG의 화소 값 및 패치 이미지의 대비 향상 버전을 사용하여 계산한 양쪽 축의 그레디언트으로 구성된다.

Fig. 4. In (a), (b) and (c) we have, respectively, the gradients along the x-axis, along the y-axis and their magnitude, computed using the original phase image. In (d), (e) and (f) we have the same thing but computed using the histogram equalized version.

2.2 디노이징 오토인코더(Denoising Autoencoder)

오토인코더는 피쳐 추출 및 치수 감소를 목적으로 사용되는 비지도 학습 방법이다. 신경망 기반 오토인코더는 인코더와 디코더로 구성된다. 인코더는 치수 r

y=f(Wx+b)       (1)

매개변수 W와 b는 입력 x를 취하는 도면층들과 관련된 가중치와 편차이다. 함수 f는 데이터 x를 입력하는 것으로서 숨겨진 층의 각 뉴런과 연관된 비선형 매핑 함수이다. 본 연구에서 채택된 비선형 스퀴싱 함수는 다음과 같이 정의한 f 함수다.

f(x)= \(\frac{1}{1+e^{-x}}\)       (2)

그런 다음 디코더는 인코더의 출력 y를 취하여 x와 같은 형태 또는 x와 거의 같은 형태를 가져야 하는 재구성 z를 제공하기 위해 동일한 매핑 함수 f를 사용한다. 방정식 (2)에서 설명한 것과 동일한 매핑 함수 f를 사용함으로써 디코더의 출력 z는 다음과 같이 주어진다.

z=f(W'y + b')       (3)

여기서 매개 변수 W'와 b'는 디코더 층과 관련된 가중치와 편차이며 변수 y는 우리가 찾으려는 차원 d의 숨겨진 표현이다. 마지막으로, 네트워크는 단지 매개변수 W, W', b, b'를 학습하여 z가 충분히 가깝거나 가능하면 x와 같아야 한다. 그러나 네트워크는 입력 x와 출력 z 사이의 차이를 최소화하기 위해 기울어진다. 전통적인 제곱 오차 L(xz)= ∥ x-z∥²가 될 수 있는 비용 함수L(xz)를 이용하여 네트워크의 최종 해결방안은 다음과 같은 형태로 작성될 수 있다.

(W, W', b, b') = \(\begin{array}{c} \arg \min L(x z) \\ W, W^{\prime}, b, b^{\prime} \end{array}\)       (4)

방정식 (5)은 단지 네트워크가 실제 입력 x와 출력 z의 차이가 최소 가능한 매개변수 들을 찾아야 함을 의미한다.

디노이징 오토인코더(denoising autoencoder: DAE)는 기존의 자동 인코더에 비해 약간 다른 방식으로 작동한다. 신호의 노이즈 버전을 입력하여 원래의 손상되지 않은 버전을 재구성한다. 즉, 네트워크의 최종 해결책은 디코더의 출력 z와 원래 신호 x의 차이를 최소화하기 위해 동일한 비용 함수로 등식 (4)에서 설명한 것과 동일한 형태로 유지되지만, 등식 (2)에서는 다음과 같은 형태로 상당히 큰 변화를 보인다.

y= f(Wx'+b)       (5)

여기서 x는 노이즈 버전 x'로 대체된다. 숨겨진 표현 y는 신호의 손상버전을 사용하여 계산되지만, 재구성 z가 원래의 손상되지 않은 버전과 충분히 가깝거나 같아야 할 정도로 파라미터가 업데이트된다. 노이즈 버전은 다양한 방법으로 생성될 수 있지만, 가 장 일반적인 방법은 원래 신호의 일부 요소를 0으로 무작위로 설정하는 것이다. 생성된 하이브리드 입력 벡터에서 무작위로 선택된 원소를 0으로 설정했다. 본 연구에서 채택된 비용 함수는 다음과 같이 기술된 교차 엔트로피 비용이다[11].

L(xz)= \(\sum_{i=1}^{N}\left[x_{i} \log z_{i}+\left(1-x_{i}\right) \log \left(1-z_{i}\right)\right]\)       (6)

여기서 N은 DAE 훈련에 사용된 패치의 총수를 나타내며, 인코더에 손상된 버전이 주어지는 원래의 하이브리드 입력 벡터 x 및 방정식(4)에 설명된 디코더의 출력 z를 나타낸다. 이런 방정식 (4)의 파라미터를 학습하여 방정식(6)의 오차를 최소화한다. DAE 는 부패 프로세스의 효과를 취소하거나 수정하는 방법을 학습하여 입력물 사이의 통계 의존성을 포착한다. 일반적으로 인코딩 디코딩 프로세스에 의해 제공되는 학습은 하나의 숨겨진 레이어로만 가능하며, 여러 인코더 디코더를 쌓음으로써 깊이 표현이 가능하다[11].

2.3 소프트맥스 레이어(Softmax Layar)

제안한 방법의 첫 번째 과정은 피쳐 추출 과정을 위해 비지도 학습의 감독 되지 않은 학습을 사용하지만, 두 번째 단계는, 소프트맥스 분류는 감독된 학습을 사용한다. 소프트맥스 분류기는 일부 입력을 취하고 주어진 클래스에 속할 확률을 계산하는 2 계층 네트워크다. 레이어의 각 뉴런과 연관된 정규화된 확률(P_j)은 다음 방정식으로 기술된 소프트맥스 함수를 사용하여 계산한다.

\(p_{j}=\frac{e^{z_{j}}}{\sum_{j=1}^{N} e^{z_{j}}}\)       (7)

여기서 N은 레이어의 뉴런의 수로서, 레이어의 수와 같다. 값 P_j은 0과 1 사이에 구성되며 패치가 배경 또는 세포에 속할 확률을 나타낸다.

2.4 그래프 분할을 사용한 미세 분할

소프트맥스 레이어의 출력은 화소에 할당된 최종 라벨을 나타낸다. 이 단계 후, 이미지의 모든 화소에는 분류 라벨이 있다. 배경과 세포 내부의 값이 다른 바이너리 이미지로 구성된 최종 분할 마스크를 구성할 수 있다. 소프트맥스 분류기의 이러한 직접 출력은 매우 공정한 분할을 한다. 여기서 제안된 모양과 경계 부호화 덕분에 세포의 모양과 기호를 보존할 수 있다. 최종 결과물로 활용할 수는 있지만, 일부 특정 세포, 특히 서로 매우 가까운 세포가 연결될 수 있다는 사실 때문에 보다 더 정교화해야 한다. 전체 이미지를 보다 정확하게 이해를 하기 위해 학습된 분류기의 출력을 사전 신호로 활용하며 그래프 분할을 사용하여 미세 분할을 제안한다[10].

그래프 분할은 그래프상에서 정의된 전역 함수를 최소화한다. 그래프에는 두 개의 출처가 있는데 실제 두 개의 라벨로 표현되어 있으며 노드는 이미지의 화소로 표현되어 있다. 최소화할 에너지는 다음과 같은 표준 형태를 취한다.

E(yi\Xi, λ) = \(\sum_{i} \Psi\left(y_{i} \mid x_{i}\right)+\lambda \sum_{(i, j) \in E} \Phi\left(y_{i}, y_{j} \mid x_{i}, x_{j}\right)\)       (8)

여기서 용어 E는 노드 사이의 연결 세트를 나타내고 i와 j는 노드 수를 나타낸다. Ψ는 단항이라고 불리며 화소 i의 실제 라벨 y_i 와 예측 x_i사이의 유사성을 강조한다. 본 논문의 두 클래스에 따르면(background and cell), y_i는 {0, 1}에 속한다 (y_i∈{0, 1}). 이 용어를 다음과 같이 정의한다.

Ψ(y_i\x_i) = \(\frac{1}{1+P_{i}}\)       (9)

여기서는 P_i는 화소 i와 연관되고 분류기에 의해 출력된 확률을 나타낸다.

다시 방정식 (8)에서 이 Φ항라고 하며 인접 노드 i와 j의 라벨 간 일관성을 강화시킨다. 대부분의 접근법에서 쌍방향 용어는 강도의 급격한 변화가 있는 경우 감소를 촉진하는 방식으로 정의된다[10]. 이 용어를 다음과 같이 정의한다.

Φ(y_i, y_i\X_i, X_j) = \(\left\{\begin{array}{c} \exp \left(-\frac{\left\|I_{i}-I_{j}\right\|^{2}}{2 \sigma^{2}}\right) \\ 0, \end{array}\right)\), if y_i ≠ y_j otherwise       (10)

여기서 I_i와 I_j는 노드 i와 j에 대한 강도이고, σ은 두 강도 간의 차이를 증폭하거나 감가상각할 수 있는 상수다. 마지막으로, λ이라는 용어는 단항과 쌍항 사이의 상대적 중요성을 규제하기 위해 사용된다.

3. 실험결과 및 고찰

3.1 데이터 준비

데이터와 실제값은 딥셀 프로젝트(https://www. deepcell.org/) 사이트에서 제공한다[7]. 위상차 이미지의 모든 화소가 잠재적 데이터일 경우, 약 300개의 세포가 있는 1002×1004 하나의 이미지가 100만개 이상의 패치를 제공할 수 있으며, 이는 100만개 이상의 훈련 데이터를 의미한다. 그러나, Fig. 2에서 노출된 이미지로부터 배경과 세포의 신체로부터 화소의 수가 불균등하다는 점을 알 수 있다. 불균형 데이터 집합과 관련된 편견을 피하기 위해 두 클래스에 대해 주어진 화소 수를 무작위로 선택했다. 총 10,000개의 패치를 교육 세트의 주석 데이터를 사용하여 각 클래스별로 샘플링하여 DAE 및 소프트맥스 분류기 교육을 위해 무작위로 수집된 총 2만 개의 데이터를 제공했다. 패치의 크기는 5×5로 설정되었다.

Fig. 2. Schematic representation of the proposed segmentation methodology​​​​​​​.

3.2 거칠고 미세한 분할(Coarse and Fine Segmentation)

5×5 패치를 적용하면 25차원 벡터를 사용할 수 있어 오리지널 패치 이미지에서 원시 화소 값을 가져가는 하이브리드 입력 벡터, 가우시안의 차이에 따른 원시 화소 값, 두 축을 향해 계산된 그레디언트 등 총 4개의 5×5 매트릭스를 가지고 있어 100차원 하이브리드 벡터를 제공한다. 고차 피쳐 생성을 위해 2만 개의 100차원 입력 벡터가 DAE에 제공된다. 인코더와 디코더의 활성화 함수는 방정식(2)에 표시되며, 네트워크는 방정식(6)에 기술된 비용 함수를 이용하여 오류를 역전파하여 학습한다[12]. 학습률은 0.001로 설정되어 있고, 숨겨진 표현에 대해서는 희소성을 피한 반면, 체중 정규화 기간은 0.004로 설정되었다.

본 실험방법에서 선택한 노이지(noisy) 버전은 정상 분포에 따른 임의의 방식으로 원래의 하이브리드 벡터 원소의 30%를 0으로 설정하여 구성된다. 100차원 입력 벡터를 가진 DAE의 첫 번째 레이어(입력 레이어)은 100개의 뉴런을 가지고 있다. 본 논문에서 교차 검증한 많은 모델들이 최종적으로 최상의 표현을 제시하는 모델을 선택했고, 가장 공정한 재구성을 제공하는 모델이 "good" 표현을 선택했다. 우리가 채택한 아키텍처는 100-150-25-150-150-100의 형태로, 즉 두 개의 인코더-디코더가 쌓여 있다는 것을 의미한다. 첫 번째 네트워크는 150차원의 표현을 학습한다. 두 번째 네트워크는 첫 번째 네트워크로 인코딩된 150차원 피쳐를 입력으로 받아들이고, 25차원의 작고, 압축되고, 최종적으로 다시 학습을 한다. 형상 생성 후, 네트워크는 모든 교육 데이터에 대한 전송 학습을 위해 소프트맥스 레이어과 함께 쌓이게 되며, 방정식(6)에 기술된 비용 함수를 사용하여 오류를 다시 제시한다. 분류기의 직접 출력을 사용하여 분할 마스크를 구성할 수 있다.

Fig. 5는 본 논문에서 제안한 방법을 사용하여 얻은 결과를 보여준다. Fig. 5(a), (b), (c)는 각각 원본 위상차 이미지, 히스토그램 이퀄라이징 및 지면 진리를 통해 대비를 강화한 이미지를 보여준다. Fig. 5(d) 에서는 분류기의 직접 출력을 사용하여 구성한 이미지를 보여주지만, 형상 학습 과정은 원본 패치만으로 이루어졌다. 원본 이미지 화소는 단독으로 사용할 때 모양에 대한 세부 정보를 캡처하지 못해 일부 지역에서 세포가 손실됨(그림에 빨간색으로 표시됨)에 유의해야 한다. 모든 배경 화소는 잘 인식되지만 모양 정보의 손실이 매우 중요하다. 거친 마스크(coarse mask)라 불리는 Fig. 5(e)의 이미지는 제안한 피쳐 학습 방법을 사용한 후 분류기의 직접 출력물로 구성되어 세포의 모양이 어떻게 전체적으로 보존되는지 볼 수 있다.

Fig. 5. In (a), (b) and (c) we have, respectively, the original phase image, the histogram equalized version, and the ground truth. In (d), we show the mask without using the hybrid vector. In (e), (f) and (g) we have, respectively, the coarse mask, the fine segmentation and the difference between them. The images have size of 186×186 and contain more than 100 cells.​​​​​​​

그래프 분할의 경우 방정식(8)의 λ 인수는 20으로, 방정식(10)의 값은 0.1로 설정했다. Fig. 5(f)는 그래프 파티셔닝으로 최종 획득한 출력을 나타낸다. 처음에 만들어진 원본 마스크에 맞춤형 에너지 기능을 적용한 결과, 이전에 세포의 몸(cells’ body)이라고 라벨을 붙였던 모든 배경 화소가 어떻게 주변과 연결되는지, 그리고 어떤 경우에는 모든 경계가 매끄럽게 유지되는지를 알 수 있다. 분할 측면에서 최대 변화가 발생한 지역은 Fig. 5(e)와 (f)에 모두 빨간색으로 표시된다. 처음에 연결되었던 세포 요소는 명확하게 분리되어 있어 세포와 세포의 모양을 전체적으로 이해할 수 있다. Fig. 5(g)의 이미지는 Fig. 5(e)의 원본 마스크와 Fig. 5(f)의 미세 마스크의 차이로서, 그래프 분할에 의해 "수정"된 화소 예측의 총합을 보여준다.

Fig. 6에서 우리는 전통적인 방법을 사용하여 얻은 결과를 보여준다. Fig. 6(a)에 묘사된 이미지는 Otsu에 의한 동적 임계값 지정 방법에서 얻은 결과를 보여준다[13]. Fig. 6(b)의 이미지는 Ali et al.[14]연구진이 제안한 바와 같이 임계값 방법과 결합된 형태학적 및 가장자리 찾기 필터의 결합하여 얻었다. Fig. 6(c)에 나타난 이미지는 Martin et al.[3] 연구진이 제안한 기존의 기계학습 방법을 사용하여 얻었다. 우리는 이 방법들이 세포의 경계를 보존하는데 어떻게 실패하는지 볼 수 있다.

Fig. 6. The masks in (a), (b), and (c) were constructed using the methods in [13], [14] and [3], respectively.​​​​​​​

추가 결과는 Fig. 7에 제공된다. 모든 이미지에 대해 입력 위상차 이미지, 히스토그램 이퀄라이제이션 버전, 실제 값 및 최종 결과를 보여준다. 여기에 표시된 이미지는 80x80 크기로 각각의 이미지마다 약 25개의 세포을 포함하고 있다.

Fig. 7. Additional results using six different images. From the left to the right: the original phase images, the histogram equalized versions, the ground truths and the final segmentation.​​​​​​​

3.3 목표 평가 및 비교 연구

Fig. 8에서는 시험 이미지(패치)에 대한 소프트맥스 분류기의 분류 결과에 대한 ROC 곡선을 보여준다. 곡선의 분류 정확도는 화소 단위로 측정되며, 이미지의 모든 화소는 출력 및 실제값 라벨이 있는 데이터다. 제안한 입력 벡터(Fig. 8의 "하이브리드 벡터 "로 표시됨), 원본 패치 및 Gaussian의 차이("그레디언트 없음"으로 표시됨), 원본 패치 및 그레디언트 ("DoG 없이"로 표시됨)만을 사용하고 ("DoG와 그레디언트 없이"로 표시됨) 원본 패치만 사용하여 얻은 결과를 보여준다. 곡선의 차이는 DoG나 그레디언트 중 하나를 선택할 때는 실제로 보이지 않지만 두 가지를 혼합하면 분류가 크게 향상된다.

Fig. 8. ROC-curves of the classification results using different approaches.​​​​​​​

Fig. 9에서는 패치 크기를 변경하여 패치를 분류하는 ROC 곡선을 보여준다. 패치 크기가 커질수록 분류 정확도가 떨어지는 것을 보여준다. 5×5, 9×9, 15×15 및 25×25 패치를 실험하는 동안 테스트했으며 5×5 패치를 사용하여 최상의 결과를 얻었다. 31×31을 넘어서면 분류기가 대부분의 세포에 결합하여 매우 낮은 결과를 제공하며, 3×3 범위는 최소한 9×9만큼의 성능을 발휘한다.

Fig. 9. ROC-curves of the classification results using different patch extents. The 5×5 patches have given the best results.​​​​​​​

세분화 결과에 대한 객관적인 평가를 위해 최종 분할 마스크의 유사도지수(DSI)를 계산했다. 이 지수는 실제값과 분할결과 사이의 차이를 지역 비율 측면에서 계산한다. DSI는 방정식에 표시된다.

\(D S I=2 \frac{\left|A_{G T} \cap A_{s e g}\right|}{\left|A_{G T}\right|+\left|A_{s e g}\right|}\)       (11)

여기서 A_GT는 실제값의 목표 지역을 나타내는 반면, A_seg는 제안된 계획을 사용하는 분할 영역을 가리킨다. 연산자|■|는 주어진 영역의 화소 수를 계산한다.

Table 1은 다양한 가설에 대해 계산된 지수를 요약한 것이다. 모든 이미지의 평균값과 결과의 변동을 나타내는 표준 편차를 보여준다. 이러한 박테리아 세포의 경우, 하이브리드 벡터와 그래프 분할(graph cuts)을 의미하는 제안 방법을 사용하여 우리는 0.94의 DSI를 얻었다. 우리가 원래의 화소 값만 사용할 때, Fig. 5(d)에 나타낸 결과와 같이 많은 세포가 연결되고 손실된다. 이 경우, 그래프 분할은 분할의 관점에서 결과를 수정하지만, 손실된 세포을 회수하는 측면에서는 수정하지 않으며, DSI의 평균 0.81을 제공한다. Fig. 5(e)에 나타낸 이미지와 같이 그래프 분할 없이 제안된 하이브리드 벡터를 사용할 때 주사위 지수는 약 0.88이다. 0.88의 DSI 값이 상당히 양호하지만, Fig. 5(e)에서 볼 수 있듯이, 결과는 시각적으로 만족스럽지 못하여, 이미지에 대한 전체적인 이해를 위해 세포 정보의 대부분을 검색할 수 있는 계획을 제안하게 된다.

Table 1. DSI values.​​​​​​​

객관적 비교 연구는 다른 방법들과 함께 수행된다. 섹션 3.2에서 설명한 것처럼 임계값 기반 방법은 위상차 이미지에 적합하지 않다. 그들이 섞여 있어도 결과는 실제로 변하지 않는다. DSI는 이 두 방법 모두 0.70 이하로 정체된다. 기존의 머신러닝 기반 기능에 대해서는 DSI가 0.80을 넘을 수 없다. 임계값과 강도 기반 기능 모두 상당한 시간이 소요되는 수작업인 오분류를 바로잡기 위해서는 집중적인 선별과정이 필요하다. CNN 기반 방법인 유넷 (U-Net)[15]과 딥세포 (DeepCell)[7]만이 뛰어난 성과를 낼 수 있다. 그러나, 그것들은 경계 보존 측면에서 현재의 작품보다 우수하다. 그렇기 때문에 이러한 최첨단 방법은 여전히 수동 선별과정(세포 분할)이 필요한 반면, 제안된 접근방식은 형태와 경계 부호화를 통해 어떠한 형태의 후처리 작업이 필요하지 않다. Table 2는 비교 연구를 요약한 것이다.

Table 2. Comparative table.​​​​​​​

실제로 Fig. 10에서 우리는 앞서 언급한 CNN을 기반으로 한 두 가지 방법, 즉 상당히 유사한 성능을 보이는 방법과 묘사 보존(delineation preservation) 측면에서 현재의 작업을 정면으로 비교하고 있다. "연결된 세포의 비율"은 연결된 원소의 수를 이미지의 총 세포 수로 나누어 계산했다. 그것은 주변과 결합한 세포의 비율을 나타내며, 따라서 경계 보존의 질을 나타낸다. 연결된 세포의 비율이 작으면 그 사이에 몇 개의 세포만 연결되었다는 뜻으로, 분열, 얇아짐 등 수동 선별과정의 사용을 피한다.

Fig. 10. Average proportion of connected cells per methods.​​​​​​​

앞에서 설명한 바와 같이 5×5의 패치 범위(세포의 2% 미만이 연결됨)로 최고의 결과를 찾아냈음을 알 수 있다. 이것은 기술 보존 측면에서 뛰어난 결과로서, 우리의 방법에 더 이상의 처리 작업이 필요하거나 필요하지 않은 이유를 잘 나타내준다. 우리가 패치 크기를 증가시킬 때, Fig. 10에서 언급할 수 있듯이, 연결된 세포의 비율도 증가한다.

반면에 CNN을 기반으로 한 방법들은 31×31 패치 범위로 최상의 결과를 찾는데, 그 경우 20%의 세포가 주변과 결합했다. 대부분의 합병이 미미하기 때문에 이 결과는 여전히 두드러지지만 공간적 일관성 측면에서 볼 때 보다 정확한 세분화 성능을 제공한다. 본 논문에서 제안한 실험 결과는 경계 보존 측면에서 더 잘 수행된 것으로 나타났다.

4. 결론

세포의 세분화는 생물학적 과정을 나타내는 이미지의 완전한 이해를 위해 필요한 가장 중요한 단계 중 하나이다. 본 논문에서는 위상차 현미경 검사를 통해 얻은 박테리아 이미지의 분할 방식을 제안했는데, 이는 세포 정보의 완전한 검색에 어떤 종류의 후처리 작업도 필요하지 않다는 점에서 완전히 자동화된 것이다. 이러한 세포 이미지의 매우 낮은 대비에 의해 제기되는 문제 때문에, 세포의 모양과 경계 정보를 포함하는 하이브리드 벡터가 디노이즈 오토인코더를 포함한 딥러닝 기반 피쳐 생성과 함께 제안하였다. 소프트맥스 분류기를 이용하여 화소 분류를 실시하며, 분류기의 출력은 그래프 분할 방식의 커스터 마이징 에너지 기능의 최소화를 위한 사전 정보로 사용된다.

실험 결과는 디노이즈 오토인코더가 적절한 입력을 제공받는 동안 세포의 전체성을 보존하는 데 도움이 될 수 있다는 것을 보여준다. 그래프 분할 부분은 시각적이고 객관적으로 만족스러운 결과를 주었다. 본 연구 방법이 세포의 전체적인 모양을 보존하는데 효과적이라는 것을 보여주었다. 또한 기존의 방식과 비교해 볼 때, 후처리 작업이 필요하지 않았다. 그리고 다른 딥러닝 방법과 비교했을 때, 제안한 방식은 세포의 경계 보존 측면에서 더 나은 결과를 보여주었다.