Performance Analysis of Retinex-based Image Enhancement According to Color Domain and Gamma Correction Adaptation

Color Domain 및 Gamma Correction 적용에 따른 Retinex 기반 영상개선 알고리즘의 효과 분석

Abstract

Retinex-based image enhancement is a technique that utilizes the property that the human visual characteristics are sensitive to the difference from the surrounding pixel value rather than the pixel value itself. These Retinex-based algorithms show different characteristics of the improved image depending on the applied color space or gamma correction. In this paper, we set eight different experimental conditions according to the application of color space and gamma correction, and analyze the objective and subjective performance of each Retinex based image enhancement algorithm and apply it to the implementation of Retinex based algorithm. In the case of gamma correction, quantitative low entropy images and low contrast images are obtained. The application of Retinex technique in HSI color space rather than RGB color space is found to be high in overall subjective image quality as well as maintaining color.

Ⅰ. 서론

Retinex 기반의 이미지화질 개선 방법은 이미지에 광원으로 인한 밝은 영역과 그림자 등으로 인한 어두운 영역이 함께 포함된 경우 즉, 입력영상의 최대값 및 최소값이 디스플레이 영역의 최대값 및 최소값과 거의 유사한 경우에도 영역별 로 다른 효과로 개선함으로써 이미지 화질을 개선시킬 수 있는 화질 개선기법이다. Land와 McCann는 인간의 시각 시스템이 장면을 인식할 때 특정 위치에서의 장면의 밝기를 인식하는 것이 아니라 주변과의 상대적인 밝기에 더욱 민감하다는 특징을 이용하여 처음으로 Retinex 알고리즘을 제안하였다[1]. 최초 제안 이후 기존의 알고리즘을 개선한 다양한 연구가 진행되었으며 각 연구들은 크게 두 가지 영역으로 분류될 수 있다. 하나는 Retinex 출력 값을 계산하기 위해서 변환하고자 하는 화소위치와 주변에 위치한 화소위치 사이의 다양한 경로 상에 존재하는 화소값들의 상대적 밝기 값을 사용하는 방법들이다[2-3]. 다른 하나는 앞의 방법에 대한 적용의 편의성을 위해 컨볼루션(convoultion) 마스크를 이용하여 주변 화소값과의 상대적 변화율을 측정하는 방법으로 상대적으로 연산량이 적은 장점을 가진다[4-11]. 제안하는 논문은 두 번째 즉, 컨볼루션 마스크를 이용하여 Retinex 출력 값을 산정하는 방법을 사용한다. 컨볼루션 마스크를 사용하는 방법의 경우 사용하는 마스크의 수에 따라 다시 두 개의 방법으로 나뉘는데 단일 마스크를 사용하는 방법을 SSR(Single Scale Retinex)이라 하고, 다수의 마스크를 사용하는 방법을 MSR(Multi Scale Retinex)라 한다.

Retinex 알고리즘을 실제 적용함에 있어 연구자에 따라 RGB(red, green, blue) 컬러 공간에서 각각의 색성분에 Retinex를 적용하거나 HSI(hue, saturation, intensity) 컬러공간에서 Intensity 성분에만 retinex를 적용하는 경우가 있다. 또한 디스플레이의 밝기 특성과 인간의 시각 특성을 고려한 감마보정(gamma correction)의 사용여부도 여러 연구들마다 상이하게 적용하고 있다.

본 논문은 Retinex 알고리즘을 적용하여 이미지의 화질을 개선함에 있어 컬러공간 및 감마보정의 적용여부에 따라 출력영상의 정성적, 정량적 분석을 통해 각각의 효과를 분석하고자 한다.

논문의 구성은 2장에서 기본적은 Retinex기반의 이미지 화질 개선기법인 SSR, MSR 방법과 컬러공간 및 감마보정 방법에 대해서 기술한다. 3장에서는 분석을 위해 사용된 알고리즘의 적용 방법과 테스트 조건을 기술하고 4장에서는 테스트 조건에 따른 정성적, 정량적 결과 분석을 기술하며 마지막 절에서 결론을 맺는다.

Ⅱ. 관련 이론

2.1 SSR(Single Scale Retinex)

SSR은 중앙의 화소값과 중앙을 포함한 주변의 화소들과의 컨볼루션 결과와 로그 스케일에서의 차이값을 이용하여 Retinex 출력을 계산하는 방법으로 식(1)과 같다. 

\(\begin{array}{l} R_{S S R_{i}}(x, y) \\ =Log \left(\frac{I_{i}(x, y)}{I_{i}(x, y)^{*} F(x, y)}\right) \\ =Log \left(I_{i}(x, y)\right)-Log \left(I_{i}(x, y)^{*} F(x, y)\right) \end{array}\)       (1)

여기서 I_i(x,y)는(x,y)에 위치하는 i번째 색공간 채널 화소값에 대해서 인간의 시각이 인지하는 밝기의 정도를 의미하고, F(x,y)는 정규화된 컨볼루션 마스크이며, \(R_{SSR_{i}}(x,y)\)는 i번째 채널의 Retinex 출력영상을 의미한다. 식(1)은 인간의 시각 시스템이 장면(scene)을 광원(illumination)과 물체의 반사율(reflectance)의 곱으로 인지한다는 식(2)의 가정 하에 성립한다.

\(I_{i}(x,y)=S_{i}(x,y)r_{i}(x,y)\)       (2)

S_i(x,y)는 광원을 의미하며 r_i(x,y)는 물체의 반사율을 의미한다. 식(2)를 식(1)에 대입하면 다음 식을 도출할 수 있다.

\(R_{S S R_{i}}(x, y) \approx \log \frac{S_{i}(x, y) r_{i}(x, y)}{\overline{S_{i}} \overline{r_{i}}}\)       (3)

여기서 \(\overline{S_i}\)와 \(\overline{r_i}\)는 인접화소에서의 가중평균을 의미한다. 일반적으로 광원은 위치에 따라 매우 변화량이 적다고 가정할 수 있기 때문에 즉, \(S_i(x,y)\approx\overline{S_i}\)이기 때문에 위의 식은 다음과 같이 표현될 수 있다.

\(R_{S S R_{i}} \approx \log \frac{r_{i}}{r_{i}}\)       (4)

위의 식이 의미하는 바는 Retinex 출력영상 즉, 인간이 인지하는 장면 이미지는 광원에는 독립적이며 물체의 반사율의 비에 의한 함수이고 이를 통해 계산된 Retinex 출력 영상은 광원이 비추는 쪽이던 그림자 영역이던 상관없이 유사한 대비비를 나타낼 수 있음을 의미한다.

이제 다시 식(1)로 돌아가 Retinex 출력을 얻기 위해서 다양한 컨볼루션 마스크가 사용되었는데 Land는 원형의 방사형커널모양의 마스크를 제안하였으며 다음 식은 이를 나타낸다.

\(F(x, y)=\frac{A}{x^{2}+y^{2}}\)       (5)

반면 Jobson은 Retinex 출력을 얻기 위한 컨볼루션 마스크로서 방사형 커널 대신에 식(6)과 같이 가우시안 함수를 제안하였다[4].

\(\begin{array}{l} F(x, y)=A e^{-\left(x^{2}+y^{2}\right) / 2 \sigma^{2}} \\ \text { where }, \iint F(x, y) d x d y=1 \end{array}\)       (6)

여기에서 분산값 \(\sigma \)에 따라 화소값의 동적영역(dynamic range)과 연색(color rendition)사이의 트레이드오프(trade-off) 관계를 갖는다. Jobson 등은 실험적으로 대부분의 이미지에서 \(\sigma \)=80이 적절한 것으로 제시하였다.

2.2 MSR(Multi Scale Retinex)

SSR에서 사용하는 가우시안 컨볼루션 마스크의 분산 값의 선택은 Retinex 출력에 매우 큰 영향을 줄 수 있으며, 적절하지 않은 분산 값의 선택은 화질의 열화를 가져올 수 있다. 이러한 문제를 완화하기 위한 방법이 MSR기법이다. MSR은 서로 다른 분산 값을 가지는 SSR의 가중평균의 값으로 Retinex 출력 값을 계산하며 다음 식과 같이 표현될 수 있다.

\(\begin{array}{l} R_{M S R_{i}} \\ =\sum_{n=1}^{N} w_{n} R_{S S R_{i}}^{n}(x, y) \\ =\sum_{n=1}^{N} w_{n}\left[\log I_{i}(x, y)-\log \left(F_{n}(x, y)^{*} I_{i}(x, y)\right]\right. \end{array}\)       (7)

여기서, \( R_{S S R_{i}}^{n}(x, y)\)는 i번째 채널에서 n번째 분산값을 가지는 SSR의 Retinex 출력을 의미하며 N은 고려하는 SSR 출력의 개수이고 w_n은 n번째 SSR 출력에 곱해지는 가중치를 의미한다. Jobson은 식(7)을 구현함에 있어 실험적으로 N=3, w_n=1/3, 그리고 세개의 SSR에서 사용된 분산 값이 각각 \(\sigma=15,80,250\)인 경우가 대부분 이미지에서 적절함을 실험적으로 보였다. 그림 1은 가우시인 마스크의 분산 값에 따른 마스크의 모양을 나타낸다.

<그림 1> σ값에 따른 가우시안 컨볼루션 마스크의 모양 (a) σ = 15 (b) σ = 80 (c) σ =250

2.3 컬러 공간 (Color Space)

컬러이미지의 표현을 위해 사용하는 대표적인 컬러공간은 RGB 컬러 공간과 HSI 컬러 공간을 들 수 있다. 이름에서 유추할 수 있는 바처럼 RGB의 경우 빛의 3요소 색의 조합으로 색을 표현하며 HSI의 경우 색상, 채도, 밝기로 나누어 색을 표현한다. 이 둘의 가장 큰 차이점은 밝기 성분과 색의 성분이 분리되어 있느냐의 여부이다. 많은 이미지 영상화질 개선기법들의 경우 HSI 공간을 많이 사용하는데 이는 개선된 화질에서도 색을 유지하기 위함이다.

일반적으로 취득된 영상은 RGB 컬러 공간에서 저장되어 있으며 이를 HSI 컬러공간으로 변환하기 위해서는 다음의 식을 사용한다.

\(r=R /(R+G+B)\)

\(g=G /(R+G+B)\)

\(b=B /(R+G+B)\)

\(\begin{aligned} H=& \cos ^{-1} \frac{0.5[(r-g)+(r-b)]}{\sqrt{(r-g)^{2}+(r-b)(g-b)}} \\ & h \in[0, \pi] \text { for } b \leq g \\ =& 2 \pi-\cos ^{-1} \frac{0.5[(r-g)+(r-b)]}{\sqrt{(r-g)^{2}+(r-b)(g-b)}} \\ & h \in[\pi, 2 \pi] \text { for } b>g \end{aligned}\)       (8)

\(S=1-3 \times \min (r, g, b) \quad s \in[0,1]\)

\(I=(R+G+B) /(3 \times 255)\)

여기서 R, G, B는 실제 저장된 각 색성분의 값을 의미하며, r, g, b는 [0~1]사이로 정규화 된 값을 의미한다.

2.4 감마 보정(gamma correction)

베버의 법칙(Weber's law)에 따르면 인간의 시각은 밝기에 대해 비선형적으로 반응한다. 예를 들어 이미지의 화소값이 선형적으로 증가하면 즉, 밝기가 선형적으로 증가하면 사람의 눈이 민감하게 반응하는 어두운 부분의 영역에서는 밝기가 부드럽게 느껴지지 않고 단절되어 보이는 현상(posterization)이 발생한다. 이와 같은 인간의 시각적 특징을 반영하여 실제 이미지 데이터에서처럼 선형적으로 증가되는 것을 표현하기 위해서 이미지 데이터를 보정하는 것을 감마보정(gamma correction)이라고 하며 다음 식과 같다.

\(I_{G C}(x, y)=I(x, y)^{\gamma} \)       (9)

여기서 I(x,y)는 원 이미지를 의미하며 I_GC(x,y)는 실제 센서로부터 취득된 이미지 화소값을 의미한다. 일반적으로 이미지 데이터를 저장하는 다양한 캡처장치에서는 센서로부터 취득한 값으로부터 이미지를 저장하는 단계에서 이러한 감마보정을 실시한다. 또한 위 식의 역변환을 수행함으로써 감마보정된 출력영상 I_GC(x,y)로부터 다시 실제 화소값을 구할 수 있다.

Ⅲ. 분석을 위한 알고리즘 적용 절차

3.1 알고리즘 적용절차

본 논문에서는 그림 2에서 볼 수 있는 바와 같이 이미지 화질 개선을 위한 Retinex 알고리즘의 적용 컬러공간 및 감마보정의 고려여부에 따라 8가지의 서로 다른 테스트 상황을 고려하였다. 먼저 01번~04번 테스트는 RGB 컬러 공간에서 감마보정의 사용 유무에 따라 크게 두 가지로 분류하고 각각의 테스트 상황에 따라 SSR, MSR 기법을 적용하였다. 나머지 네개(05번~08번)는 입력영상의 RGB 컬러 공간을 HSI 컬러 공간으로 변환한 이후 밝기 정보인 I(Intensity)에만 Retinex 알고리즘을 적용한 후 모든 처리과정 이후에 RGB 컬러 공간으로 재변환 하였다. 감마 보정을 고려한 네 개(03번, 04번, 07번, 08번)의 경우 최초 입력값에 대하여 역감마보정(inverse gamma correction)을 수행한 후 즉, 이미 감마보정이 반영된 영상을 실제 센서의 출력 값을 나타내는 화소값으로 변환한 이후 Retinex 기법을 적용하였으며, 최종 처리 이후 다시 감마보정을 사용하여 영상을 저장하였다. 이상의 내용이 표 1과 같다.

<그림 2> 제안하는 8가지 실험 조건에 대한 블록다이어그램

 <표 1> 효과분석을 위한 테스트 조건

3.2 Retinex 출력값 변환 및 후처리

각 색공간 채널에서의 Retinex 출력 값은 음수를 포함하여 임의의 영역의 값을 가진다. 따라서 실제 Retinex의 출력결과를 이미지로 저장 또는 디스플레이 장치에 나타내기 위해서는 임의의 영역에 분포되어 있는 Retinex 출력 값을 비트해상도 범위(예, 8bit의 경우 0-255)로 변환하는 과정이 필요하다. Moore는 각 채널에 대해서 최소값을 0으로 최대값을 255로 매핑하는 선형 변환식을 사용하였으며 식 (10)은 이를 나타낸다[5].

\(\begin{array}{l} R_{i}^{\text {Display}}(x, y) \\ =\frac{255 \times\left(R_{i}(x, y)-\min \left(R_{i}(x, y)\right)\right.}{\max \left(R_{i}(x, y)\right)-\min \left(R_{i}(x, y)\right)} \end{array}\)       (10)

여기서 R_i(x,y)는 임의의 방법(SSR, MSR)으로 얻어낸 Retinex 출력 값을 의미하며 \( R_{i}^{\text {Display}}(x, y) \)는 0~255 범위내로 선형 변환된 결과를 의미한다. 식(10)을 보다 개선한 방법으로 Jobson 등은 일반적인 Retinex의 히스토그램이 가우시안 모양을 취하고 있는 특징을 이용하여 즉, 중앙부분에 많은 화소수가 분포되고 있는 Retinex 출력의 특징을 이용하여 최종 출력영상의 대비비를 증가시킬 수 있도록 최대값 및 최소값의 선정과정에서 오프셋(offset)값을 적용하고 오프셋값을 보정하기 위한 게인값을 적용하는 ‘cannonical gain/offset’ 방법을 제안하였다[4]. 이를 개선한 방법으로 출력영상의 히스토그램에 기반하여 오프셋과 화소값의 양쪽 영역(가장 어두운 영역 및 가장 밝은 영역)의 클리핑을 수행함으로써 대비비를 높이는 방법이 제안([11])되었으며 본 논문에서는 이 방법을 적용하여 후처리를 수행하였다.

Ⅳ. 실험 및 분석 결과

3.1 정량적 분석 및 결과

본 실험을 위해서 8개의 이미지에 대해서 테스트를 진행하였으며 각 이미지에 대해서는 앞장에서 기술한 8가지의 서로 다른 테스트 조건을 적용하였다. 실험에 사용된 영상은 기존의 영상화질 개선방법(히스토그램 스트레칭 등)으로 개선이 가능한 이미지(test06.bmp)도 있지만 대부분 화소의 최소값과 최대값이 동적 범위의 최소 및 최대값과 유사하여 기존의 방법으로는 이미지 화질 개선에 한계가 있는 영상을 주로 사용하였다. 그림 2는 실험에 사용된 이미지를 나타낸다.

 

<그림 2> 실험에 사용된 이미지들

그림 3과 그림 4에 나타난 8개의 실험에 사용된 영상에서의 평균, 표준편차 및 엔트로피의 결과를 살펴보면, 먼저 감마보정을 적용한 경우의 화소평균값은 그렇지 않은 경우에 비해서 이미지별 변화 추이가 크다는 것을 알 수 있다. 즉, 감마보정이 되는 경우 전체적으로 이미지의 평균이 상대적으로 더 커지거나 작아지는 결과를 볼 수 있다. 표준편차의 경우 감마보정을 적용한 경우와 그렇지 않은 경우 사이의 통계적 특성의 차이를 발견할 수 없었다. 반면 이미지 화소값의 불예측성을 나타내는 엔트로피의 경우 감마보정을 적용한 경우가 그렇지 않은 경우보다 모든 실험영상에 낮게 나왔다. 이는 인접 화소값들 사이의 유사성이 감마보정을 한 경우가 높다고 판단할 수 있다.

 

<그림 3> 알고리즘 실행 예(OR 텀수=5일 경우)

<그림 4> 컬러공간에 적용여부에 따른 통계적 특성

두 개의 서로 다른 컬러공간상에서의 통계적 결과를 살펴보면 평균값의 경우 두 실험조건 모두 유사한 결과가 도출된 반면 표준편차의 경우 RGB 컬러공간이 모든 실험 영상에서 낮게 나왔다. 이는 전체적으로 HSI 컬러공간에서의 대비비가 높다고 판단되어질 수 있다. 엔트로피 역시 HSI 컬러공간이 모든 영상에 대해서 낮게 나와 인접화소간의 유사성이 높은 것으로 조사되었다.

이상의 통계적 해석은 그림 5의 히스토그램을 통해서도 관찰되는데 감마보정을 사용한 경우는 그렇지 않는 경우에 비해서 높은 화소값 영역 즉, 밝은 영역 쪽에 많은 화소값이 분포되어 전체적으로 평균값이 증가된 것을 볼 수 있고 HSI 컬러 공간에서의 실험결과에 히스토그램의 빈공간 즉, 화소간의 유사성이 높음을 알 수 있다.

 

<그림 5> 컬러공간 및 감마보정에 따른 테스트결과의 히스토그램

3.2 정성적 분석 및 결과

일반적으로 이미지의 영상화질 개선은 정성적 평가 즉, 주관적 화질이 중요한 요소이다. 그림 6에서 볼 수 있는 바와 같이 서로 다른 실험 조건을 통해 개선된 영상의 주관적 화질을 살펴보면 우선 컬러공간의 차이에 따라 명확히 구분되는 것을 볼 수 있다. RGB 컬러공간에서의 Retinex 기반 이미지 화질 개선의 경우 각 색공간에 Retinex 기법을 적용하고 각각의 결과를 합쳐 컬러 이미지를 생성하는 과정에서 회색화 현상이 발생한다. 반면 HSI는 밝기성분에만 Retinex 기법을 적용하며 색상성분은 원본의 결과를 그대로 유지하기 때문에 색상성분이 보다 선명하게 나오는 것을 확연히 구분할 수 있다. 감마보정에 따른 결과의 차이를 살펴보면 컬러공간의 경우에서처럼 주관적 화질 면에서의 확연한 차이를 관찰할 수는 없으나 감마보정을 사용한 경우 그렇지 않은 경우에 비해서 다소 선명도가 떨어지는 결과를 보여주었다. 이는 정량적 평가에서 기술한 바와 같이 감마보정을 적용함으로써 엔트로피가 감소하고 이로 인해 실제 사용되는 화소 값의 수가 감소된 것이 주요 요인이라 판단된다.

Ⅳ. 결론

Retinex 기반의 이미지 화질 개선 기법은 인간의 시각특성이 화소값 자체의 크기보다는 주변 화소값과의 차이에 민감하다는 특성을 활용한 기법이다. 이러한 Retinex 기반의 알고리즘은 적용되는 컬러공간 또는 감마보정의 적용여부에 따라 개선이미지의 특성이 다르게 나타난다.

본 논문에서는 컬러공간과 감마보정의 적용여부에 따라 8가지의 서로 다른 실험조건을 설정하고 각각의 Retinex 기반 이미지 개선 알고리즘의 정량적, 정성적 성능분석을 통해 이후 Retinex 기반의 알고리즘의 구현에 활용하고자 한다.

감마보정의 경우 정량적으로 낮은 엔트로피를 갖는 이미지와 다소 대비비가 낮은 결과영상을 도출하며, RGB 컬러 공간보다는 HSI 컬러공간에서의 Retinex 기법 적용이 색감의 유지는 물론 전체적인 주관적 화질에서도 높게 나오는 것으로 조사되었다.