Orientation-based Adaptive Prediction for Effective Lossless Image Compression

효과적인 무손실 영상압축을 위한 방향성 기반 적응적 예측 방법

Abstract

This paper presents an orientation-based adaptive prediction method for effective lossless image compression. For a robust prediction, the proposed method estimates the directional information and the property near the current pixel in a support region-based fashion, not a pixel-based one which is sensitive to a small variation. We improve the prediction performance effectively by selection of the prediction pixel adaptively according to the similarity between support regions of the current pixel and the neighboring pixels. Comprehensive experiments demonstrate that the proposed scheme achieves excellent prediction performance measured in entropy of the prediction error compared to a number of conventional prediction methods such as MED, GAP, and EDP. Moreover the complexity of the proposed algorithm measured by average execution time is low compared to MED which is the simplest prediction method.

본 논문에서는 효과적인 무손실 영상압축을 위한 방향성 기반 적응적 예측방법을 제안한다. 제안하는 예측방법은 작은 변화에 민감한 픽셀단위가 아닌 지원영역(support region) 단위로 방향성 및 부호화 픽셀이 속한 영역의 특성을 판단하여 강인한 예측이 이루어지도록 한다. 예측픽셀은 부호화 픽셀과 주변 픽셀에 대한 지원영역 사이의 유사도에 따라 적응적으로 선택함으로써 예측성능을 효과적으로 높인다. 기존의 MED, GAP 및 EDP와 같은 예측방법과 비교하여 제안한 방향성 기반 적응적 예측방법은 예측에러에 대한 엔트로피 측면에서 우수한 예측성능을 나타내고, 복잡도 측면에서도 가장 간단한 MED와 비교해 큰 차이가 없음을 다양한 실험을 통해 보인다.

Ⅰ. 서 론

정지영상의 압축기법은 크게 압축과정에서 정보의 손실을 허용하여 압축률을 높이는데 중점을 둔 손실(lossy) 압축방식과 압축하기 전의 원영상을 정확히 복원할 수 있는 무손실(lossless) 압축방식으로 구분된다. 일반적으로 손실 압축방식은 영상의 효율적인 전송 및 저장을 위해 사용되는 한편, 의료영상 및 법률자료 등과 같이 정보의 신뢰성 또는 정확성이 보장되어야 하는 분야에서는 무손실 압축방식의 활용이 증대되고 있다. 또한 화질에 대한 기대치가 높은 영상편집 분야에서도 편집과정에서 손실이 누적되는 손실 압축방식보다 무손실 압축방식의 사용이 증가하고 있다[1-4]. 이러한 무손실 압축방식 중에서는 GIF (graphics interchange format), PNG (portable network graphics), JPEG-LS(JPEG-lossless) 등과 같은 포맷 및 압축기법이 널리 사용되고 있다[1,5].

일반적으로 정지영상의 무손실 압축은 두 단계의 과정을 거친다. 첫째는 영상을 복원이 가능한 범위 내에서 엔트로피(entropy)를 최소화하는 방향으로 재표현하는 것이고, 둘째는 재표현된 영상의 엔트로피에 가장 근접한 비트율을 갖도록 부호화(coding)하는 것이다. 특히, 첫 번째 단계의 관점에서 정지영상의 무손실 압축은 변환기반 부호화(transform-based coding) 방식과 예측기반 부호화(prediction-based coding) 방식으로 구분할 수 있다[6]. 대표적인 변환기반 부호화 방식인 JPEG2000 lossless mode는 방향성이 뚜렷한 영상에 대한 성능은 비교적 우수하지만, 일반적으로 JPEG-LS 및 CALIC (context-based, adaptive, lossless image coding) 등의 예측기반 부호화 방식에 비해 압축효율이 떨어지는 것으로 보고되고 있다[7-9]. 예측(prediction)기법은 효율적인 무손실 압축을 위하여 픽셀간 상관성을 제거하는 역할을 하는 것으로 해석할 수 있는데, 지역적 통계의 다양한 변화를 특징으로 하는 자연영상에서는 무손실 JPEG (lossless JPEG)에서 사용되는 것과 같은 고정적 예측방법보다 JPEG-LS에서 도입된 MED (median edge detector) 및 CALIC에서 도입된 GAP (gradient adaptive prediction)과 같이 픽셀간 의존성에 따라 예측하는 적응적 예측방법에 대한 연구가 활발하게 이루어지고 있다[1,8,9]. 그러나 MED와 GAP은 적응적 예측 방법임에도 그 방법의 단순함 등으로 인해 압축성능 향상에 한계가 있다. 이를 극복하기 위하여 JPEG-LS와 CALIC에서는 예측에러를 부호화하기 전에 주변 픽셀들의 상태를 컨텍스트 모델링(context modeling)하여 예측에러 보정(prediction error compensation) 또는 바이어스 제거(bias cancellation) 과정을 거친다[10-13].

또한 적응적 예측을 수행하기 위한 최적의 예측픽셀을 선택하기 위하여 최소제곱(least square) 기법을 적용한 방법이 제안되기도 하였다[14,15]. 그러나 이는 인상적인 예측성능의 개선에도 불구하고 행렬의 곱셈 및 역행렬의 계산 등으로 인한 계산량의 증가 때문에 그 응용분야가 제한될 수밖에 없다. 최근에는 디지털 카메라의 활용성이 증대됨에 따라 컬러변환 및 화질 등에서 한계가 있는 기존의 JPEG 위주의 압축방법 대신 CFA(color filter array) 데이터의 직접적인 압축방법이 제안되고 있는데, 이를 위한 예측기법 및 무손실 압축방법에 관한 연구가 활발하게 진행되고 있다. 각 컬러평면의 정보량은 일반영상보다 적지만 컬러평면 간 상관성이 높기 때문에 이를 이용한 고성능의 방향성 기반 예측기법들이 활발하게 제안되고 있다[16-18].

본 논문에서는 효과적인 무손실 압축을 위하여 영상의 중요한 정보인 에지 및 방향성을 고려한 적응적 예측방법을 제안한다. 픽셀단위의 예측방법은 픽셀의 작은 변화에도 예측 방향성이 매우 민감하게 영향을 받아 영상의 올바른 방향성을 반영하지 못하여 부호화 효율이 떨어지는 문제점이 있다. 이를 해결하기 위하여 일정크기의 지원영역(support region)을 정의하고, 부호화 픽셀이 속한 영역의 특성, 즉 평탄한 영역 또는 방향성 영역인지를 판단한다. 또한 영역의 특성에 따라 비교적 정확한 방향성을 검출해내고, 이를 기반으로 예측방법을 달리 적용함으로써 부호화 효율을 향상시킬 수 있는 방법을 제안한다. 본 논문에서 정의하는 지원영역은 기존의 MED와 GAP의 픽셀단위 예측과 달리 지원영역 단위로 방향성을 계산함으로써 사실상 예측을 위한 주변 픽셀의 범위를 확대시켜 예측의 정확도를 향상시키는 효과가 있다. 본 논문의 구성은 다음과 같다. II장에서는 기존의 무손실 압축을 위한 대표적인 적응적 예측방법에 대하여 소개하고, III장에서는 예측성능을 향상시키기 위하여 제안하는 방향성 기반 적응적 예측기법에 대하여 자세히 기술한다. IV장에서 다양한 영상에 대하여 제안한 방법의 성능평가 결과를 보이고, V장에서 결론을 맺는다.

 

Ⅱ. 기존의 무손실 압축 예측방법

기존의 무손실 압축을 위한 대표적인 예측방법으로 MED, GAP, EDP (edge-directed prediction)에 대하여 살펴보도록 한다. 각 예측방법은 그림 1의 주변 픽셀 순서를 사용하여 설명한다.

그림 1.예측을 위한 주변 픽셀의 순서 Fig. 1 Ordering of neighboring pixels for predictions

2.1. MED (median edge detector)

무손실 JPEG (lossless JPEG)의 낮은 압축성능 개선을 위해 LOCO-I (low complexity lossless compression of images) 알고리즘을 기반으로 하여 JPEG-LS 표준이 만들어졌는데, 이는 에지의 방향에 따라 예측픽셀을 선택하는 MED 예측기 및 컨텍스트 모델링(context modeling)에 의한 적응적 Golomb-Rice 부호기로 구성되어 있다[1,8]. MED 예측기는 현재 픽셀 x를 그림 1의 x1, x2, x3를 이용하여 식 (1)의 에지방향의 적응적 모델에 의해 예측픽셀을 결정한다.

즉, x2와 x3의 차이가 x1과 x3의 차이보다 클 경우 현재 픽셀의 왼쪽에 수직에지가 존재하는 것으로 판단하여 x2를 예측픽셀로 선택하고, x2와 x3의 차이가 x1과 x3의 차이보다 작을 경우 현재 픽셀의 위쪽에 수평에지가 존재하는 것으로 판단하여 x1을 예측픽셀로 선택한다. 또한 에지가 검출되지 않으면 x1, x2, x3의 세 픽셀로 이루어진 평면상의 값인 x1+x2-x3를 예측픽셀로 선택한다. 이는 예측픽셀 xMED를 고정된 예측값 x1, x2, x1+x2-x3의 중간값(median)으로 선택하는 것으로 해석할 수 있고, 에지 검출기 특성과 함께 예측기 명칭을 중간값 에지 검출기(median edge detector), 즉 MED라고 하는 근거가 되었다. MED 예측기는 주변 픽셀의 값에 따라 예측픽셀의 값이 선택되는 매우 단순한 구조를 갖지만, 예측성능에 한계가 있다.

2.2. GAP (gradient adaptive prediction)

무손실 압축표준을 위한 여러 제안기술 중 하나인 CALIC은 JPEG-LS와 유사한 부호화 구조, 즉 에지의 강도와 방향성에 따라 예측픽셀을 선택하는 GAP 예측기 및 컨텍스트 모델링에 의한 산술 부호기(arithmetic coding)로 구성되어 있다[9].

GAP은 MED보다 더 많은 정보를 이용하여 보다 정확한 예측을 수행하지만, 이를 위한 복잡한 계산으로 인해 JPEG-LS보다 좋은 압축성능에도 불구하고 복잡도가 높은 단점이 있다. GAP 예측을 위해서 먼저 식 (2)와 같이 현재 픽셀 x 에 대한 두 기울기(gradient) 값을 구한다.

즉, 가로방향의 기울기 dh가 세로방향의 기울기 dv보다 크면 현재 픽셀 x의 위쪽에 있는 픽셀에 큰 가중치를 주고, 반대로 dv가 dh보다 크면 x의 왼쪽에 있는 픽셀에 큰 가중치를 주어 예측픽셀을 결정한다. 자세한 GAP 예측방법은 식 (3)과 같다.

GAP 예측방법은 식 (3)에서 dv와 dh의 차이의 정도에 따라 에지의 강도와 방향이 다르다고 판단하여, 총 7가지 방법으로 예측픽셀을 결정한다. MED에 비해 예측성능의 향상을 위하여 더 많은 수의 픽셀을 이용하고, 에지의 방향성 및 강도를 세분하였지만, 복잡도의 증가라는 단점이 존재한다.

2.3. EDP (edge-directed prediction)

GAP 및 MED와 같은 에지검출 기반 예측방법의 성능은 강인한 에지검출 및 방향추정에 의존하지만, 실제로는 많은 어려움이 있어 그 대안으로 최소제곱(least square) 기반 적응적 예측방법에 대한 많은 연구가 이루어져 왔다. 이는 명시적으로 에지를 검출하거나 방향을 추정하는 대신, 최소제곱 기법에 의한 최적 예측계수 a = [a1 ... aN]T를 구하여 식 (4)와 같이 N개의 주변 픽셀값의 선형결합으로 예측픽셀 xEDP를 구하는 방식이다[14].

이때 최적 예측계수는 그림 1에서와 같이 M = 2T(T+1) 크기의 이중 사각형 형태로 설정한 소위 훈련 윈도우(training window)라 부르는 영역 내부의 픽셀 특성을 이용하여 구한다. 즉, 훈련 윈도우를 M×1의 열벡터 y = [x1 ... xM]T라고 하면, y의 예측이웃들은 다음의 M×N 행렬을 형성한다.

이때, xi+j는 xi의 j번째 예측이웃을 의미한다. 예측계수는 훈련 윈도우 내에서 min║y - Ca║2로 표현되는 최소제곱 최적화를 통해 구할 수 있고, 그 결과는 식 (6)의 형태를 갖는다.

이는 기하학적으로 x1 ... xN에 의해 생성되는 부분공간에 x를 투영(projection)한 것으로 해석할 수 있다. 전체 훈련 윈도우에 걸친 최소제곱 최적화 과정에서 식 (6)의 CTC는 자체적으로 에지방향에 관한 정보를 포함하고 있고, 따라서 최적 예측계수는 명시적 에지검출을 수행하지 않아도 에지방향에 따라 적응적인 값을 갖는다. 이는 에지방향 예측(edge-directed prediction), 즉 EDP라고 명명하는 근거가 된다. 이러한 특징에도 불구하고, EDP는 CTC 및 그 역행렬을 계산하는데 많은 연산량이 요구된다는 단점이 제기된다. 이를 완화하기 위하여 픽셀단위로 최소제곱 최적화를 수행하기보다 예측에러 e = x - xEDP 값이 임계값 th를 넘으면 에지픽셀로 판단하여 최소제곱 최적화에 의해 갱신된 예측계수를 적용하고, 그렇지 않으면 기존 예측계수를 적용하는 방법을 사용한다. 그럼에도 불구하고 EDP는 GAP 및 MED에 비해 과다한, 특히 훈련 윈도우의 크기에 따라 급격히 증가하는 계산량과 행렬계산으로 인해 모바일 및 실시간 응용 등에 한계가 있다.

 

Ⅲ. 방향성 기반 적응적 예측방법

예측기반 부호화 방식에서 예측기는 엔트로피를 최소화하도록 영상을 재표현하여 부호화 성능을 향상시키기 위한 핵심적인 역할을 담당한다. 보통 자연영상은 N차 마르코프 특성을 지닌 것으로 모델링하나, 에지 또는 방향성이 뚜렷한 영역에는 잘 맞지 않기 때문에 영상의 방향성을 효과적으로 파악하고, 이에 따라 적절한 예측픽셀을 선택하여 예측에러를 최소화하도록 한다. 본 논문에서는 변화에 민감한 픽셀단위가 아닌 부호화 픽셀 주변의 픽셀로 이루어진 지원영역(support region)을 정의하고, 이를 단위로 하여 부호화 픽셀이 속한 영역의 특성 및 방향성을 효과적으로 추정한다. 이에 따라 예측픽셀을 결정하는 방법을 달리하고, 방향성 기반 적응적 예측(orientation-based adaptive prediction), 즉 OAP를 수행함으로써 예측성능을 높이는 방법을 제안한다.

설명의 편의를 위하여 주변 픽셀 순서를 그림 2와 같이 다시 표현하도록 한다. 부호화 픽셀 x(i, j)의 위치가 (i, j)일 때, 방향성 추정의 단위가 되는 지원영역은 Sx(i, j) = {(i, j-1), (i-1, j-1), (i-1, j), (i-1, j+1)}와 같이 정의하고, 서로 다른 두 픽셀 x(i, j)의 지원영역과 x(p, q)의 지원영역 사이의 유사도를 식 (7)에 의해 측정한다.

그림 2.OAP를 위한 주변 픽셀 및 예측 방향 Fig. 2 Neighboring pixels and directions for OAP

예측픽셀 xOAP(i, j)는 부호화 픽셀 x(i, j)과 주변 4개의 픽셀에 대하여 유사도, 즉 Δ(•) 값이 Δ(Sx(i,j), Sx(pa,qa)) ≤ Δ(Sx(i,j), Sx(pb,qb)) (단, 1 ≤ a < b ≤ 4)가 성립하도록 정렬한 후, 식 (8)의 가중치 합에 의해 구한다.

이때 k = 1, 2, 3, 4이고, x(pk, qk)는 Δ(•)값에 의해 정렬된 픽셀을 의미한다. 또한 wk는 주변 4개의 픽셀에 대한 가중치를 나타내는데, (w1 + w2 + w3 + w4) = 1이 성립하도록 정규화한다. 식 (7)의 Δ(•)값이 작을수록 부호화 픽셀과의 유사도가 크다는 의미이므로, 식 (8)은 예측픽셀을 결정할 때 부호화 픽셀과의 유사도에 따라 가중치를 달리한다는 의미이다.

영상의 방향성을 더욱 효과적으로 반영하기 위하여 그림 2와 같이 부호화 픽셀 x(i, j)에 대한 방향성분 D(i, j)∈{w, nw, n, ne}를 x(i, j)에서 정렬된 주변 픽셀 중 첫번째 픽셀 x(p1, q1)로의 방향으로 정의한다. 즉, 부호화 픽셀 x(i, j)에 대해서 네 방향으로 식 (7)을 계산하고, 이중 Δ(•)값이 가장 작은 방향을 의미한다. 부호화 픽셀의 방향성분 D(i, j)를 구한 후, x(i, j)의 방향성분과 지원영역에 해당하는 모든 픽셀의 방향성분이 일치하면 x(i, j)는 평탄한 영역에 있다고 판단하고, 식 (9)와 같이 각 방향에 따라 예측픽셀 xOAP(i, j)을 구한다.

만일 x(i, j)의 방향성분과 지원영역에 해당하는 픽셀의 방향성분이 서로 다르면 방향성 영역에 있다고 판단하고, 식 (8)에 의해 예측픽셀 xOAP(i, j)을 구한다. 이 때, 정규화된 가중치 wk는 실험에 의해 예측에러의 엔트로피가 가장 낮도록 하는 값을 선택할 수 있는데, 본 논문에서는 {w1, w2, w3, w4} = {14/32, 9/32, 6/32, 3/32}을 사용하였다. 이러한 가중치를 이용하여 식 (8)을 다음과 같이 다시 표현할 수 있다.

 

Ⅳ. 실험 및 결과

본 논문에서 제안한 무손실 영상 압축을 위한 방향성 기반 적응적 예측방법의 성능을 평가하기 위해서 그림 3과 같은 512x512 및 768x512 크기의 grayscale 테스트 영상을 사용하였다.

그림 3.실험에 사용한 테스트 영상 Fig. 3 Test images used for experiments

제안하는 예측방법은 주변 픽셀의 복잡도 및 방향정보를 효과적으로 추정하여 적응적으로 예측픽셀을 선택하기 때문에 예측에러가 작다. 그림 4는 Lena영상에 대해서 MED, GAP 및 EDP와 제안한 방법에 의한 예측 에러를 나타낸다. 이때 효과적인 디스플레이를 위하여 예측에러가 없을 경우의 값을 128이 되도록 조정하여 나타내었다.

그림 4.Lena에 대한 예측에러: (a) MED, (b) GAP, (c) EDP, (d) OAP Fig. 4 Prediction error for Lena: (a) MED, (b) GAP, (c) EDP, (d) OAP

그림 4에서 볼 수 있는 바와 같이, 대부분의 영역에서 MED와 GAP의 경우보다 EDP와 OAP의 경우가 예측 에러가 작은 것을 알 수 있다.

GAP의 경우에는 특히 얼굴선, 우측 윗부분의 거울 테두리 및 우측 아랫부분의 거울에 비친 모습 등과 같이 약한 에지가 있는 곳에서 MED보다 예측에러가 작은 것을 볼 수 있다. 또한 OAP는 얼굴영역을 비롯하여 모자의 장식부분, 거울부분 등에서 EDP보다 작은 예측에러가 관찰된다. 특히, 모자의 장식부분에서 방향성이 분명한 에지 주위의 에러가 줄어들었고, 그 외에는 방향성이 분명하지 않아 마치 잡음과 같은 성분이 남은 것으로 관찰되어, 효과적인 예측이 이루어졌음을 알 수 있다.

이러한 결과는 표 1에서도 확인할 수 있는데, 표 1은 그림 3의 실험영상에 대해서 각 예측방법과 제안한 방법에 의한 예측에러의 1차 엔트로피를 픽셀당 비트수(bpp; bits per pixel)로 나타낸 것이다. 이때, EDP는 비교의 공정성을 위해 N = 4로 설정하고, 훈련 윈도우의 크기는 Li의 경우와 같이 T = min(N, 7), 즉 T = 4로 설정하였다[14].

표 1.각 예측방법에 의한 예측에러의 엔트로피 Table. 1 Entropy of prediction errors for each method

표 1의 결과에서 보는 바와 같이, 엔트로피 측면에서 제안한 방법이 대부분의 영상에서 기존의 방식에 비해 우수함을 나타내는데, MED에 비해 평균 0.26bpp (5.6%), GAP에 비해 평균 0.19bpp (4.2%), EDP에 비해 평균 0.09bpp (2.0%)의 향상이 있는 것을 알 수 있다. 기존의 예측방식 중에서는 MED의 성능이 가장 떨어지고, EDP의 성능이 뛰어났다.

그러나 EDP의 경우에는 N 및 T의 값에 따라 성능차이가 발생하고, 그에 따라 복잡도도 매우 빠른 속도로 증가하여 응용분야가 제한된다.

표 2는 각 예측방법의 복잡도를 비교하기 위하여 각 예측방법에 의한 상대적인 실행시간을 MED를 기준으로 나타낸 것이다. 이때 그림 3의 실험영상에 대해서 각 예측방법이 수행되는 시간을 측정하고, 이를 평균하여 나타내었다. 또한 EDP는 표 1의 경우와 마찬가지로 N = T = 4로 설정한 경우에 대해 측정하였다.

표 2.각 예측방법에 의한 실행시간의 비교 Table. 2 Comparison of run time for each method

표 2에서 알 수 있는 바와 같이 복잡도 측면에서는 MED가 가장 효율적이나, 예측성능이 좋지 않다. 반면, GAP은 개발 당시에는 높은 복잡도로 인해 응용분야에 제약을 받았지만, 표 2에서와 같이 MED와의 차이가 크지 않아 다양한 분야에 적용할 수 있을 것으로 판단된다. 제안한 OAP는 MED 및 GAP에 비해 복잡도가 높지만 그 차이가 크지 않고, 우수한 예측성능을 고려하면 다양한 응용분야에 충분이 적용 가능한 것으로 판단된 다. 또한 EDP는 행렬연산 및 역행렬을 구하는데 많은 계산량이 요구되어 실제 응용분야에 적용하기에는 무리가 있지만, 최적 예측계수를 구하는 방법론을 제시하였기 때문에 고속 알고리즘 등의 다양한 후속 연구를 통해 실제 적용 가능한 예측방법을 개발할 수 있을 것으로 기대한다.

 

Ⅴ. 결 론

본 논문에서는 효과적인 무손실 영상압축을 위한 방향성 기반 적응적 예측방법을 제안하였다. 제안하는 예측기법은 작은 변화에 민감한 픽셀단위가 아닌 지원영역 단위로 방향성을 효과적으로 추정하고, 부호화 픽셀과 주변 픽셀에 대한 지원영역 사이의 유사도를 계산하여 얻은 영역의 특성에 따라 적응적으로 예측픽셀을 선택함으로써 예측에러의 엔트로피를 효과적으로 낮추었다.

기존의 MED, GAP 등과 같은 에지검출 기반 예측방법 및 EDP와 같은 최소제곱 기반 예측방법과 비교하여 제안한 OAP 예측방법은 예측에러에 대한 엔트로피의 측면에서 우수한 성능을 보였고, 복잡도 측면에서도 가장 간단한 MED와 비교해도 큰 차이가 없음을 다양한 실험을 통해 보였다. 이러한 결과로부터 모바일 및 실시간 응용을 비롯해서 무손실 영상압축이 사용되는 다양한 응용분야에 제안한 방법이 효과적으로 적용될 수 있을 것으로 판단된다. 향후 예측에러를 효과적으로 부호화할 수 있는 예측에러 보정 및 엔트로피 부호화기와 결합하여 압축성능을 더욱 향상시키는 연구를 수행할 것이다.