A HDR Algorithm for Single Image Based on Exposure Fusion Using Variable Gamma Coefficient

가변적 감마 계수를 이용한 노출융합기반 단일영상 HDR기법

Abstract

In this paper, a HDR algorithm for a single image is proposed using the exposure fusion, that adaptively calculates gamma correction coefficients according to the image distribution. Since typical HDR methods should use at least three images with different exposure values at the same scene, the main problem was that they could not be applied at the single shot image. Thus, HDR enhancements based on a single image using tone mapping and histogram modifications were recently presented, but these created some location-specific noises due to improper corrections. Therefore, the proposed algorithm calculates proper gamma coefficients according to the distribution of the input image and generates different exposure images which are corrected by the dark and the bright region stretching. A HDR image reproduction controlling exposure fusion weights among the gamma corrected and the original pixels is presented. As the result, the proposed algorithm can reduce certain noises at both the flat and the edge areas and obtain subjectively superior image quality to that of conventional methods.

1. 서론

최근 디지털 영상 장비의 비약적인 발전으로 카메라의 해상도는 최소 1,200만 화소가 기본사양이 되었고 대표적인 출력장치인 TV는 4K급인 800만 화소가 보편화되면서 과거보다 더 섬세한 해상도의 영상을 접하게 되었다. 나아가 반도체 하드웨어 기술의 발전으로 인해 해상도뿐만 아니라 HDR 출력장치의 색역(color gamut)이 확장되었고 과거 LDR(low dynamic range) 장치에서는 느끼지 못하는 넓은 동적 범위의 선명한 영상을 경험하고 있다. 그러나 이런 영상 장비들의 센서감도와 픽셀의 동적범위는 여전히 실세계 장면이나 인간 시각의 범위보다 좁아서 장면이 가지는 밝기를 모두 표현할 수 없다는 단점이 있다 [1]. 그러므로, 영상 장비가 가지는 제한된 동적 범위를 향상시켜 실세계의 장면과 유사하거나 더 뛰어난 영상을 얻기 위한 HDR 영상 취득 기법 연구가 계속되고 있다[2].

HDR 영상을 생성하는 가장 대표적인 방법은 여러 노출값으로 획득된 다수의 영상을 융합하는 노출융합(exposure fusion) 기법[3]이며 이미 촬영된 동일 위치의 화소 값들을 가중치 평균해서 보완하는 원리이다. 그러므로 촬영 시 카메라의 하드웨어적 접근으로 주로 구현되며, 최근 카메라에서는 고속 촬영이 가능하기 때문에 스마트폰 및 디지털카메라에 보편화되었고 인공지능 기술을 접목한 deep fusion이라는 기술로 발전하고 있다[4]. 소프트웨어적인 후처리법으로는 휘도(luminance) 값에 톤 맵핑(tone mapping)을 적용하는 기법이 많이 적용되고 있다 [5]. 그러나 노출 융합과 톤 맵핑의 가장 큰 단점은 같은 위치에서 획득한 여러 장의 사진이 필요하며, 처리과정에서 평균 필터 효과로 인한 블러링이 발생하므로 무너진 경계를 강화하기 라플라시안(Lapla- cian) 필터를 부가적으로 요구한다[3,5]. 이런 기존 HDR 기법의 단점을 개선하기 위해 이미 획득된 단일영상에 적용가능한 기법[6]이 제시되었는데, 이 방법은 히스토그램 조정(histogram manipulation)을통해 여러 단계의 밝기 영상을 생성하고 원하는 평균 및 분산을 갖도록 통계적 편차(statistical differ- encing)기법[7]을 적용하여 목표 영상으로 통합한다. 이 방법은 단일영상에 적용 가능한 기법이지만, 많은 계산을 요구하고 히스토그램 조정을 통해 의사(pseudo) 노출 영상을 만들기 때문에 밝기 변화가 완만한 부분에서 과도한 보정이 발생되며, 통계적 편차 처리과정으로 인해 기존 HDR 방식과 같은 블러링 현상이 발생되어 선명화 처리를 수행해야만 한다.

본 논문에서는 다수의 영상을 요구하는 기존 HDR 방식의 문제를 개선하기 위해 단일영상만을 사용하면서, 특정 영역에서 과도한 보정이 발생되지 않는 감마 보정기법에 기반한 새로운 노출 융합 기법을 제안하고자 한다. 제안한 기법은 입력 영상의 통계적 특성에 맞게 감마 보정 계수를 가변적으로 계산한 다음, 어둡고 밝은 보정 영상을 각각 생성하고 각 영역별로 다른 융합 가중치를 설정하여 새로운 HDR 결과 영상을 얻도록 한다.

2. 관련 기술 및 연구

2.1 High Dynamic Range

실생활에서 존재하는 빛의 동적 범위는 무한대이며, 사람의 눈은 Fig. 1에서처럼 10^-5~10⁷cd/m²이라는 매우 폭넓은 밝기 동적범위를 인지한다. 이는 눈이 환경에 적응하는 기능 때문이며 순응에 따른 지연과 인체별 생물학적 변화에 따라 영향을 받지만, 일반적으로 눈이 인지하는 평균 동적범위는 영상 장비들보다 매우 넓으며, 이는 최근 디스플레이 기술의 발전으로 동적 범위가 확대된 HDR 장치보다 훨씬 큰 범위이기 때문에 기본적으로 HDR 처리가 필요하다고 할 수 있다[1].

Fig. 1. Dynamic range of vision. [luminance:cd/m²]

2.2 노출 융합

노출 융합은 Tom Mertens 등이 제안한 기법이 대표적이며, 노출이 다른 영상을 융합하여 고품질 영상을 만드는 것이다[1,3]. 이 방법은 노출이 다른 입력 영상에서 최종 융합 영상을 얻기 위해서 N개의 가중치 맵 W를 Eq. (1)과 같이 생성한다.

\(W_{i j k}=\left(C_{i j, k}\right)^{\omega c} \times\left(S_{i j, k}\right)^{\omega s} \times\left(E_{i j, k}\right)^{\omega_{i}}\)       (1)

여기서 (i, j)는 영상의 화소 위치이고 k는 k번째 가중치 맵을 뜻한다. C는 대조(contrast), S는 채도(saturation), E는 노출 정도(well-exposedness)를나타내며 ω는 가중 계수이다. 그러므로, 이 함수는 각 제어 척도(control measure)의 승수함수의 곱으로 표현되었고, 하나의 가중 계수가 0이면 해당 제어항목이 1이 되어 영향을 미치지 않게 된다. 보편적으로 C 맵은 그레이 영상의 Laplalcian 경계 필터 결과를 사용하였고 S 맵은 색의 채도이므로 R, G, B 값의 표준 편차를 이용하였다. 마지막 인자인 E 맵은 얼마나 적절한 노출이 이루어졌는지의 여부이므로 밝기(intensity) 값의 평균에서 최대 1을 갖도록 평균값이 0.5, σ는 0.2인 아래의 Gaussian 분포에 사상시켜 노출의 정도로 판단하였다.

\(E(x)=\exp \left(-\frac{(x-0.5)^{2}}{2 \sigma^{2}}\right)\)      (2)

이렇게 획득한 k번째 가충치 맵의 일관성을 높이기 위해 N개의 맵을 정규화한 다음 입력 영상에 곱하여 Eq. (3)과 같이 최종 융합 영상을 획득한다.

\(R_{i j}=\sum_{k=1}^{N} \widehat{W_{i j, k}} I_{i j, k}\)       (3)

여기서 \(\widehat{W}\)은 정규화된 가중치를 I는 입력 영상을 각각 나타내며, 이 과정을 도식적으로 표현하면 Fig. 2와 같다.

Fig. 2. Flow diagram of a exposure fusion.

2.3 Intensity control

영상의 화질을 개선하기 위한 밝기값 조정 방식에는 감마 보정(gamma correction)과 히스토그램 조정법이 가장 대표적이며 이 과정을 통해 명암비와 특정 밝기 영역의 가시성을 높일 수 있다. 감마 보정은 카메라나 디스플레이 출력장치의 비선형적 특성을 선형적으로 보상하기 위한 기술이며, 빛을 흡수하거나 발광하는 물질에 선형적인 자극을 인가하더라도 출력이 비선형적으로 발생되므로 초기 음극선관의 특성을 보정하기 위해 사용되었다[8]. 보정된 전압 또는 자극 값(V_C)은 입력 전압(V_S)에 대해서 감마 계수(γ)의 역수 승으로 아래 식과 같이 표현된다. 여기서 L은 최대 출력값이다.

\(V_{C}=L V_{S}^{1 / \gamma}\)

영상 장비의 보편적 입출력 감마 특성은 Fig. 3과 같으며, 일반적으로 모니터와 같은 디스플레이는 γ =0.45이고 카메라의 센서는 역수인 2.2 정도이다. 이런 감마 보정이 영상 장비의 특성을 보상하기 위한 것이기도 하지만, 인간 시각의 신경생물학적 특성도 비선형적이므로 영상 장치의 특성과 사람의 인지 정도를 복합적으로 보정하기 위해 널리 적용되고 있다 [8].

Fig. 3. Typical gamma correction functions.

히스토그램 조정 함수는 크게 2가지로 구분되는데, 하나는 밝기값의 분포가 전체 범위에서 균일하게 배치되게 처리하는 평활화(equalization)이고 다른 하나는 사용자가 원하는 분포로 변화시키는 명세화(specification) 처리이다. 명세화에서 가장 많이 사용되는 분포는 Fig. 4(a)에 있는 것처럼 선형 증가(회색) 및 선형 감소(파란색) 확률밀도함수(pdf: probability density function)이다. 각 pdf의 변환 함수는 누적 밀도함수(cdf: cumulative distribution function) 를 사용하고 Fig. 4(b)와 같다. 예를 들어, 명세화를 선형 증가 pdf인 회색을 사용할 경우 변환함수는 Fig. 4(b)의 회색 누적밀도함수가 되어 입력 밝기 값의 밝은 부분이 넓은 영역으로 펼쳐지면서 어둡게 되며, 그 결과 하얗게 과포화된 부분의 정보가 보여지게 된다.

Fig. 4. Histogram manipulation functions. (a) PDFs (b) CDFs of each pdfs.

밝기 조정 방식의 대표적인 변환 함수인 Fig. 3과 4(b)를 비교하면, 함수의 곡률은 다르지만 비슷한 형태인 것을 볼 수 있다. 이들 방식의 유일한 차이점은 감마 보정에서는 입력 밝기값이 단순히 Eq. (4)의 지수변환 함수에 의해 출력값으로 1:1 고정 맵핑되어 매우 간단하지만, 히스토그램 명세화는 입력 영상의 밝기 분포에 따라 출력값으로 변환되는 입력값이 가변적이고 변환 함수가 2차 함수라는 것이다. Fig. 5는 명도(intensity/lightness) 영상에 대해 감마 보정과 히스토그램 명세화를 적용한 결과이며 비슷한 효과를 나타냄을 확인할 수 있다.

Fig. 5. Results of each intensity control. (a) Gamma correction and (b) Histogram specification.

3. 제안한 방법

기존의 노출 융합 HDR 기법은 2.2절에서 설명한 것과 같이 노출이 다른 다수의 영상을 요구하기 때문에 많은 영상을 촬영해야 하는 번거로움과 이미 촬영된 단일영상에 대해서는 적용할 수 없다는 단점이있으므로, 본 논문에서 제안하는 기법은 단일영상에서 고품질의 HDR 영상을 생성할 수 있는 기법을 제안한다. Fig. 6은 제안한 기법의 블록도를 보여주며, 입력 영상을 HSV 형식으로 먼저 변환한 후, 명도 채널에서 최적의 감마 보정을 위한 계수를 밝기 분포에 기반해서 계산한다. 이 계수로 어두운 영역과 밝은 영역을 보정한 다음, 각 영상에 따라 다른 가중치를 부여하여 노출 융합을 수행하고 HDR 결과 영상을 획득한다.

Fig. 6. Block diagram of the proposed algorithm.

3.1 영상의 노출 특성

영상이 적정 노출에 의해 촬영되었는지를 판단하는 가장 보편적인 방법은 평균과 분산을 이용한다. 그러나 분산을 계산하는 것보다 적은 연산으로 판단하는 방법을 찾기 위해서 노출 정도가 다양한 영상에 대해서 평균(mean) μ와 중간값(median) m을 Table 1에 비교해 보았다. 그 결과 다음과 같은 특성을 분석할 수 있었으며, 평균과 중간값을 이용하면 간단하게 입력 영상의 노출 정도와 보정 방법을 판단할 수 있다.

Table 1. The characteristics of several images.

case 1: 평균과 중간값의 차이(5이하)가 작은 영상은 적정 노출로 보이나 동적 범위가 좁음

→ 밝은 영역 및 어두운 영역에서 기본 감마 계수로 보정하면 동적 범위를 더 개선할 수 있음

case 2: 노출이 과도한 밝은 영상들에서는 중간값이 평균보다 높음(15~18번 영상)

→ 밝은 영역에서 큰 보정 계수가 필요함(γ < 0.45), 어두운 부분에서는 과노출로 밝기 구분이 용이하므로 기본값으로 보정함

case 3: 노출이 부족하여 어두운 영상들에서는 중간값이 평균보다 낮음(1~5번 영상)

→ 어두운 영역에서 큰 보정 계수가 필요함(γ > 2.2), 밝은 부분은 저노출로 세밀한 정보가 잘 구분되어있으므로 기본값으로 보정해도 됨

case 4: 평균과 중간값의 차이(20이상)가 극심한 영상은 역광, 하늘, 태양 또는 조명을 촬영한 영상임(3, 7, 10, 12번 영상-Fig. 7)

Fig. 7. The big difference images between mean and median value.

→ 밝은 영역 및 어두운 영역에서 모두 큰 보정계수가 필요함

그러므로, 평균과 중간값의 차이인 d를

d = μ - m       (5)

로 정의하였으며, 이 변수를 이용하면 영상의 특성을 판단할 수 있고 이 값으로 적절한 감마 계수를 계산할 수 있다.

3.2 감마 계수 계산

광학장비의 특성을 보정하기 위해, 일반적으로 사용되는 감마 보정의 계수는 Fig. 3에서 본 것처럼 2.2 와 그 역수인 0.45가 보편적이다. 그러나 부적정 노출로 인해 입력 영상의 분포가 어둡거나 밝은 쪽으로 밀집되어있는 영상에는 이 값이 적절한 보정 값이라고 할 수 없으며, 영상의 특성에 맞게 노출이 많이 부족한 영상에 대해서는 γ > 2.2보다 큰 값으로 어두운 부분을 보상해야만 하고, 그 반대인 경우에는 γ < 0.45보다 작은 값으로 밝은 부분을 보정해야만 한다. 그러나 감마 값이 너무 과도할 경우, 나쁜 결과를 가져오기 때문에 Fig. 8에 보여진 것과 같이 밝은 영역을 어둡게 보정하는 계수(γ₁)의 범위는 (0.25, 0.45], 어두운 영역을 밝게 보상하기 위한 계수(γ₂)는 [2.2, 4)로 설정하였다. 그 이유는 Fig. 9에서 보는 것과 같이 감마 계수가 0.25 미만이거나 4를 초과한 경우에는 과도한 보정이 나타나기 때문이다.

Fig. 8. Gamma correction ranges for dark and bright regions.

Fig. 9. Gamma correction images. (a) 0.25, (b) 0.45, (c) 2.2, and (d) 4.0.

γ₁과 γ₂을 d로부터 계산하기 위해서 제안한 방식에서는 +∞와 -∞ 양쪽에서 수렴하는 sigmoid 함수를 Fig. 10에서와 같이 사용하였다. γ₁은 0.45에서 0.25까지 감소하는 부분이므로 시그모이드 함수의 d 가 음수인 부분에 맵핑되어야 하고, γ₂는 2.2에서 4까지 증가되는 d가 양수인 부분에 맵핑해야 한다. 각 구간의 최대, 최소값 및 scale이 다르지만 형태가 같아서 두 구간을 d=0을 기준으로 Fig. 10에 함께 표기하였다. 각 구간에서 d=0일 때를 기본값으로 설정하였으므로 γ_max1는 γ₁의 최대값이면서 기본값이고, γ_max1는 γ₂의 최소값이면서 기본값이다. 그 결과 γ₁과 γ₂는

Fig. 10. The proposed gamma calculation function.

\(\gamma_{1}(d)=\frac{2\left(\gamma_{\max 1}-\gamma_{\min 1}\right)}{1+e^{-a d}}+\gamma_{\min 1}\)       (6)

\(\gamma_{2}(d)=\frac{2\left(\gamma_{\max 2}-\gamma_{\min 2}\right)}{1+e^{-a d}}+2 \gamma_{\min 2}-\gamma_{\max 2}\)       (7)

와 같이 표현된다. 여기서 α는 스케일링 상수로 |d| 의 값이 0~65까지 변화되므로 지수함수 값이 너무증가된다. 그러므로 d의 절대치 평균을 \(\hat{d}\)이라고 했을 때, 이 값이 Fig. 10에 표시된 것과 같이 각 구간의 sigmoid 함수 폭에 절반이 되도록 설정하였다. Table 1을 포함하여 50개의 영상에서 획득한 \(\hat{d}\)=16.5가 나왔기 때문에 α=0.08로 결정하였다. 각 감마 계수 식의 동작을 보면 Eq. (6)에서는 d가 음수구간에 해당하므로, 평균과 중간값의 차이가 0에 가까우면 γ_min1 인 0.45가 되고, 차이가 커질수록 분모가 지수적으로증가되어 γ_min1인 0.25에 근접한다. 반대로 Eq. (7) 에서 d는 양수이므로, d가 작을수록 γ_min2인 2.2에 가까워지고, 커질수록 γ_min2인 4에 근접한다.

3.3 보정과 노출 융합

3.1절에서 영상의 특성을 분석한 것과 같이 제안한 기법에서는 입력 영상을 4가지 그룹으로 구분하여 Table 2에서와 같이 감마 보정을 적용하였다. 여기서 TH₁은 기본 노출 계수를 사용할지 판단하는 문턱 치이고 TH₂는 큰 노출 보정 계수 사용을 판단하는 문턱치이다. Case 1은 적정 노출이지만 동적 범위가 좁아서 기본값으로 보정되고 case 2와 3은 어느 한쪽은 적정 노출이기 때문에 기본값 보정과 d에 의해 계산된 계수로 각각 보정된다. Fig. 7에서 본 것과 같이 case 4의 경우에는 γ₁과 γ₂를 역수로 설정하여 상호 대칭적으로 모두 큰 계수로 보정되게 하였다. 그러므로 두 개의 문턱치에 의해 밝은 영역과 어두운 영역이 모두 기본값 보정을 적용할지 아니면 하나 또는 두 개 모두 큰 보정을 적용할지를 결정한다.

Table 2. The proposed gamma coefficients.

이렇게 획득된 각 영상(I(i, j))을 아래와 같이 가중치 융합하여 결과 영상 R(i, j)를 획득한다.

\(R(i, j)=\omega_{b} I_{b}(i, j)+\omega_{d} I_{d}(i, j)+\omega_{i} I_{i}(i, j)\)        (8)

여기서 ω는 각 보정 영상에 대한 융합 가중치이고 첨자는 순서대로 밝은 화소가 보정된 영상, 어두운 화소가 보정된 영상 및 입력 영상을 각각 나타낸다.

4. 실험 결과 및 고찰

실험에 사용한 영상은 Fig. 11과 같으며, 3.1절과 3.3절에서 언급했던 각 case 1~4에 해당하는 대표적인 영상을 사용하였고 각 영상의 정보는 Table 3에 표시하였다. Case 1 영상은 평균 밝기와 중간값이 160 및 158로 적정 노출인 경우의 영상이고, case 2는 과다 노출로 평균과 중간값이 높으며 특히 중간값이 평균보다 12가 높다. Case 3은 저노출 영상의 예로 평균값이 중간값보다 14가 높다. Case 4는 역광 영상이며 평균값은 120으로 아주 적당한 값이지만 중간값이 183으로 하늘 부분이 많은 영역을 차지하기 때문에 d가 매우 큰 경우이다.

Fig. 11. Experimental images. (a) Case 1, (b) Case 2, (c) Case 3, and (d) Case 4.

Table 3. Experimental image parameters.

제안한 방법의 성능을 비교 평가하기 위해 선택한 방법 1은 고정 계수의 감마 보정과 톤 맵핑을 사용하며 가중치 맵과 경계 보상을 이용하는 기법[5]으로 전통적인 HDR 기법인 T. Mertens[1,3]과 유사한 방식이다. 다른 비교 기법인 방법 2는 히스토그램 조정과 통계적 편차를 이용한 방법[6]이다. 제안한 방법의 융합 가중치는 ω_b=0.4, ω_d=0.4, ω_i=0.2로 설정하였다. 그 이유는 밝게 보정되거나 어둡게 보정된 가중치를 같게 하여 원본의 전체적인 밝기를 유지하기 위함이다. 만약 결과 영상의 밝기를 높이이거나 낮추고 싶으면 ω_b와 ω_d를 높이면 되며 전체 가중치의 합은 1이 되도록 해야 한다.

실험 결과를 Fig. 12~15에 표시하였으며, 처리된 결과 영상의 평균값은 Table 3 하단에 표시하였다. 그 결과, 제안한 방법과 방법 1은 평균 변화가 유사하였지만, 방법 2는 전체의 밝기 평균을 128 근처로 이동시키기 때문에 결과 영상의 밝기 변화가 컸으며, Fig. 13을 보면 case 2와 같이 변화가 완만한 부분에서 과도한 보정에 의한 잡음이 발생하였다. 그리고 방법 1은 가중치 맵의 평균 연산으로 인해 블러링이발생되고 이것을 보상하기 위해 경계를 강조하는데, 이 과정에서 경계 부분에 줄무늬가 발생하는 것을 Fig. 16(b)에서 확인할 수 있다. 그러므로, 제안한 방법은 감마 계수를 입력 영상의 특성에 따라 가변적으로 계산하기 때문에 입력 영상의 변화가 심하지 않으면 원본의 밝기값을 유지하면서 보정되고 특히 역광과 같은 극단적인 경우에도 잘 동작하며 전체적으로 가장 좋은 결과의 HDR영상을 획득할 수 있었다.

Fig. 12. Result images for case 1. (a) Method 1, (b) Method 2, and (c) Proposed.

Fig. 13. Result images for case 2. (a) Method 1, (b) Method 2, and (c) Proposed.

Fig. 14. Result images for case 3. (a) Method 1, (b) Method 2, and (c) Proposed.

Fig. 15. Result images for case 4. (a) Method 1, (b) Method 2, and (c) Proposed.

Fig. 16. Detailed images of case 3. (a) The original, (b) Method 1, and (c) Proposed.

5. 결론

본 논문에서는 단일영상에서 HDR 영상을 획득하기 위해 입력 영상의 분포 특징을 이용하여 감마 보정 계수를 가변적으로 결정하는 노출 융합 기법을 제시하였다. 기존의 감마보정 기법을 이용하는 방법은 고정된 계수를 이용하고 가중치 맵을 변형하여 HDR 영상을 취득하기 때문에, 역광과 같이 밝기 변화가 극심한 영상에는 적절히 대응할 수 없으며 경계를 보완하는 처리로 인해 경계에서 품질이 떨어졌다. 그리고 히스토그램 변형을 이용하는 기법은 전체 평균을 중간 밝기로 이동시키는 경향이 있으므로 변화가 심한 영상에는 잘 동작하지만, 밝은 영역이나 어두운 영역이 완만하게 변화되는 영상에서는 원하지 않는 잡음이 발생되는 문제가 있었다. 그러나, 제안한 방식은 평균과 중간값의 특성에 따라 4가지 경우로 나누어 감마 계수를 고정 기본값 또는 가변 값으로 계산하여 적응적으로 HDR 영상을 획득하기 때문에 영상의 변화가 작은 동적범위 뿐만 아니라 역광과 같은 큰 동적 범위의 영상에서도 잡음을 발생시키지 않으면서 적절한 보정을 할 수 있었다. 향후에는 여러 개의 노출 영상을 만들지 않고 단일 입력 영상의 화소에서 전역 및 국부적인 통계 특성을 이용해서결과값을 결정하는 기법에 대해서 연구할 예정이다.