A Robust Blind Watermarking for Digital Image Using DWT According to its Resolution

해상도에 따른 DWT 기반 디지털 영상의 강인성 블라인드 워터마킹

Abstract

This paper proposes a blind watermarking scheme using DWT satisfying robustness, invisibility, and security to protect the ownership of digital image contents. This scheme does not determine any watermarking position by local image information. It rather inserts the watermark information into all the four lowest frequency subbands after transforming the host image by n-level 2-dimensional DWT, depending on, the sizes of the host image and the watermark data. Its watermark insertion methodology uses some weighting factors according to the kind of the subband and its energy level to adjust the invisibility and the robustness of the watermark. This method is experimented for various pixel-value change attacks and geometric attacks with various images having different resolutions and aspect ratios. With the experimental results and by comparing with existing methods, we show that the proposed method has a great deal of general usage with good watermark invisibility and good robustness against attacks.

본 논문에서는 디지털 영상 콘텐츠의 저작권 보호를 위해 2차원 DWT를 이용하여 강인성(robustness), 비가시성(invisibility), 보안성(security)을 만족하는 blind 워터마킹 방법을 제안한다. 이 방법은 영상의 국부정보에 따라 워터마킹 위치를 결정하지 않고 영상의 크기와 워터마크 정보의 양에 따라 n-레벨 DWT를 수행하고, 그 결과 최고 부대역 전체에 워터마크 정보를 삽입하는 방법을 사용한다. 워터마크를 삽입할 때는 부대역의 종류와 그 부대역의 에너지 레벨에 따라 가중치를 주어 워터마크의 비가시성과 강인성을 조절한다. 이 방법은 다양한 해상도와 종횡비의 영상에 대해 다양한 화소값 변경공격과 기하학적 공격을 실험하고 기존연구와 비교하여 비가시성과 강인성은 물론 범용성까지 갖춘 방법임을 보인다.

Ⅰ. 서 론

디지털 워터마킹(digital watermarking, DW)은 미디어 콘텐츠들이 디지털화됨에 따라 저작권을 보호하는 한 방법으로 지난 20여년간 세계적으로 연구되어오고 있다. 특히 고부가가치의 콘텐츠인 디지털 영상에 대한 저작권 및 소유권보호의 가장 유력한 방법으로 DW가 각광받고 있다[1].

디지털 콘텐츠의 저작권 및 소유권을 보호하는 방법으로는 DW 이 외에 디지털 암호화(encryption) 방법이 있는데, 암호화는 원천적으로 암호화된 콘텐츠를 복호화(decryption)하는데 필요한 키(key)를 소유하지 않은 사용자에게는 콘텐츠 자체를 숨기는 방법이다[2]. 암호화와는 달리 DW는 콘텐츠 자체를 숨기지는 않고 콘텐츠 내부에 소유권자의 정보를 숨겨 필요할 때 그 정보를 추출하는 기술이다.

DW의 용도는 소유권 증명(proof of owner), 콘텐츠 인증(authentication), 무결성(integrity) 증명, 복사/복제 제어(copy control), 콘텐츠 추적(tracking), 방송 모니터링(broadcasting monitoring) 등 매우 다양하나[1], 이 중 가장 많은 연구가 소유권 증명에 대해 이루어져왔다. 본 논문에서도 디지털 영상에 대해 이 용도의 DW를 목적으로 한다.

DW는 또한 콘텐츠에 내재되어 있는 정보, 즉 워터마크(watermark, WM)를 추출할 때 필요한 정보의 정도에 따라 blind와 non-blind 워터마킹으로 구분하기도 한다[1]. Nonblind 워터마킹은 원 콘텐츠를 포함하여 WM정보를 삽입할 때 사용한 모든 정보를 WM를 추출할 때 사용하는 방법으로, 기술적 측면에서 보면 난이도가 상대적으로 낮다. 반면 blind 워터마킹은 WM 추출시 아무런 정보도 사용하지 않는 방법으로 난이도가 상대적으로 높다[1].

디지털 콘텐츠는 내재된 WM정보를 파괴 또는 삭제할 목적으로 디지털 콘텐츠를 변형하는 악의적 공격과 콘텐츠의 배포나 전송을 위해 필요한 데이터 압축과 같은 비악의 적 공격을 받는 것으로 간주한다[1]. DW는 이 공격에 대해서 삽입한 WM가 살아남도록 하는 강인성(robustness) 워터마킹과 이러한 공격을 받으면 원 콘텐츠에 손상이 가도록 하는 fragile 워터마킹으로 구분하기도 한다[1]. 또한 원콘텐츠에 WM정보가 삽입되었다는 것이 가시적으로 보이도록 하는 방법(visible)과 보이지 않도록 하는 방법(invisible)으로 구분하기도 하는데[1], 본 논문의 방법은 후자에 속하며, 기존의 많은 방법들도 비가시성을 기준으로 하고 있다[4-17]. 이상의 다양한 DW에 대해서 지금까지 많은 연구가 진행되어 왔으나, 여기서 이들을 모두 피력할 수는 없고, 본 논문에서 목적으로 하는 분야에 대해 최근의 기술을 중심으로 한 기존 연구들을 다음 장에 소개한다.

본 논문에서는 디지털 영상 콘텐츠의 소유권을 주장하기 위한 강인성 blind 워터마킹방법을 제안한다. 일반적으로 영상에 대한 강인성 DW는 WM를 삽입할 영상요소들을 다수의 국부적 영상영역에서 찾고, 거기에 적절한 방법으로 WM데이터를 삽입한다. 그러나 본 논문에서는 대상 영상 콘텐츠에 대해 2차원 이산웨이블릿변환(2-dimensional discrete wavelet transform, 2DDWT)를 수행하고 그 결과 최저주파수의 네부대역 전체 영역에 WM 데이터를 반복적으로 삽입하는 전역적인 방법을 사용한다. 2DDWT 레벨은 대상 영상의 해상도와 삽입할 워터마크 데이터의 양에 따라 결정한다. 삽입한워터마크의비가시성과공격에대한 강인성은 상호보완의 관계가 있는데, 이 두 요소를 적절히 조절하기 위하여 본 논문에서는 워터마크를 삽입할 때 부대역별 가중치를 사용하며, 이 가중치는 실험적 파라미터들을 기반으로 설정된다. 제안한 방법이 악의적/비악의적 공격에 충분한 강인성을 갖고 있음을 다양한 영상에 대해 실험적으로 보인다.

본 논문의 구성은 다음과 같다. 먼저, II장에서는 본 연구와 관련된 최근 기술들을 소개하고, 본 논문의 방법이 이 방법들과 어떤 차별성을 갖는지를 설명한다. 본 논문에서 제안하는 방법을 III장에서 설명하고, 다양한 영상을 대상으로 다양한 공격에 대한 실험과 그 결과를 IV장에서 설명한다. V장에서는 IV장의 실험결과를 토대로 본 논문의 결론을 맺는다.

 

Ⅱ. 관련 연구

본 논문의 DW 방법은 다음과 같은 네 가지 특징을 갖는다: ① Blind 워터마킹, ② 공격에 대한 강인성, ③ 삽입한 WM의 비가시성, ④ 추출된 WM의 보안성. 또한 본 논문에서 2DDWT를 사용하기 때문에 이 장에서는 기존연구 중 본 논문의 특징과 부합하며 2DDWT를 사용하는 최근 연구 들을 소개한다.

2DDWT의 부대역에 WM 데이터를 삽입하는 방법은 현재까지 많은 연구가 진행되고 있다. 먼저 1-레벨 2DDWT의 각 부대역에 대한 강인성 실험을 소개하면, Makbol 등은 1-레벨 2DDWT한 각 부대역에 gray 영상을 워터마크로 삽입하고, 각 부대역별 추출률을 비교한 바 있다[3]. 이 연구 역시 이전 연구[4-6]와 같이 LL과 그 외 부대역의 scaling factor를 달리하였다(LL영역은 0.05, 나머지 부대역은 0.005). 실험 결과는 10배의 scaling factor 차이에도 모든 부대역에서 비슷한 추출률을 보였으며, JPEG 압축과 pepper& salt 잡음에서 LL영역이 상대적으로 높은 추출률을 보였다. 그러나 pepper&salt 잡음의 밀도가 높아지면 LL영역의 추출률이 급격히 떨어지는 반면, 다른 부대역은 밀도에 상관없이 비슷한 추출률을 보였다. Thulasidharan 논문[7]의 실험에서도 특정 부대역이 특정 공격에 강인한 결과를 보이고 있는데, 여기에서는 다양한 blurring 공격(average filtering, Gaussian smoothing, median filtering, un-sharpening filtering)을 가하고 1-레벨 2DDWT 각 부대역에서 값이 변화한 정도를 RMSE(Root Mean Square Error)값으로 나타내었다. 이 실험에 따르면 이들 blurring 공격에 대해서는 HH영역이 가장 낮은 RMSE값을 나타내어 low-pass filtering 공격에 HH영역이 가장 강인하다는 것을 보였다.

2-레벨 이상의 2DDWT에서 WM를 삽입하는 방법도 연구되고 있는데, Maedeh 등은 1-레벨 2DDWT(HL, LH)와 2-레벨 2DDWT(HL, LH, HH)에 워터마크를 삽입하는 방법을 제안하였다[8]. 이 방법은 DWT 계수를 다시 8×8 DCT(discrete cosine transform)로 변환하여 좌표 (6,7)의 계수와 좌표 (7,6)의 계수를 비교하는 방법으로 적은 양의 WM 삽입이 이뤄졌으며, median filtering에 대해 NCC(normalized cross correlation)값이 0.679로 낮은 추출률을 보였다. Mehta 등은 512×512 영상을 256×256 영상으로 sub-sampling하고, 2-레벨 2DDWT하여 WM를 삽입하는 방법을 제안하였다[9]. 이는 4×4 블록의 화소들 중 오른쪽 아래 화소들로 구성된 sub-sampling된 영상을 사용하였으며, 이 영상을 2-레벨 2DDWT한 결과 중 HH 부대역에 WM를 삽입하였다. 이 또한 비교적 적은 양의 WM을 삽입한 방법으로, average filtering, median filtering, crop 등에서 낮은 추출률을 보였다.

두 가지 2DDWT 레벨을 사용하는 방법[10]도 제안되었는데, 여기서는 HH영역에 워터마크를 삽입하였지만 2-레벨 2DDWT와 1-레벨 2DDWT 각각의 HH 부대역 두 군데에 각각 64×64, 32×32 WM를 삽입하였다. 이는 많은 용량의 WM를 삽입해도 비가시성과 강인성에 문제가 없다는 것을 보이고 있다. 그러나 일부 영역에만 워터마크를 삽입하며 crop에서 NCC 값이 0.466으로 낮은 추출률을 나타내었다. 영상의 컬러 정보를 사용하여 WM를 삽입하고 추출하는 방법은 단채널 영상보다 더 큰 어려움을 보였다. HVS(human visual system)에 가장 덜 민감한 blue 채널을 3-레벨 2DDWT한 LL 부대역에 워터마크를 삽입하는 방법을 제안하기도 하였는데[11], filtering 등의 공격에 대해서 NCC 값이 0.9이상의 추출률을 보였지만, RGB 채널은 채널 간의 연관성(correlation)이 커서 공격 후 채널 간 데이터 변화 가능성이 크다. 이에 RGB 채널을 채널 간 연관성이 적은 YCbCr 채널로 변환해서 워터마크를 삽입하는 방법을 제안하기도 하였다[12]. 여기서는 YCbCr 중에서도 가장 덜 민감한 Cb채널을 선택했고, 4-레벨 2DDWT의 HL 부대역에 WM를 삽입하였다. 그 결과 대체적으로 0.9이상의 높은 NCC값을 보였고, 회전공격에서 0.9175로 가장 낮은 NCC값을 나타냈다. 이것은 DWT를 이용한 방법이 rotation과 같은 기하학적 공격에 약하기 때문이다[13].

워터마크 삽입방법으로 QIM(quantization index modulation)을 사용한 방법들도 제안되었다[14-16]. 이 방법들은 특정 공격에만 높은 강인성을 갖지만[16], 회전 등의 기하학적 공격에는 낮은 추출률을 나타냈다[14][15]. 기하학적 공격에 특화된 워터마킹 방법도 제안되었다[17]. 이 방법은 1-레벨 2DDWT한 LL 부대역에서 4×4블록을 SVD(singular value decomposition)한 후 최대값에 WM를 삽입한다. 그러나 블록별 특징점을 추출해 기록해 두고, 기하학적 공격이 가해지면 그 특징점으로 공격의 종류를 확인한 후 삽입된 위치를 찾고 WM 데이터를 추출한다.

이상의 기존연구에서 보듯이, 공격의 종류에 따라 강인성을 나타내는 부대역이 다르므로, 범용적인 강인성을 갖기 위해서는 저주파 부대역부터 고주파 부대역까지 WM데이터를 삽입하는 방법이 필요하며, LL 부대역과 다른 부대역에 다른 가중치를 적용할 필요가 있다. 따라서 본 연구에서는 영상의 해상도에 따라 적절한 레벨의 2DDWT를 수행하고, 그 결과 최저주파수의 네 부대역 모두에 전역적으로 워터마크를 삽입하는 방법을 제안한다. 본 연구 또한 컬러영상을 대상으로 하며, YCbCr형식에서 HVS에 가장 민감한 Y채널을 워터마킹 대상 데이터로 한다. Y채널에 전역적으로 워터마킹을 수행하기 때문에 삽입한 WM 데이터의 비가시성에 문제가 생길 수 있다. 따라서 상호보완적 관계를 갖는 비가시성과 강인성을 같이 조절하기 위하여 워터마킹되는 부대역의 종류와 그 부대역의 에너지 레벨에 따라 삽입되는 WM 데이터의 강도를 조절하는 실험적 가중치를 설정하여 DW를 수행한다.

 

Ⅲ. 제안한 디지털 워터마킹 방법

본 장에서는 제안하는 DW방법을 WM데이터의 삽입과정과 추출과정으로 나누어 설명한다.

1. 워터마크 삽입

그림 1에 제안한 DW방법의 WM 삽입과정을 순서도로 나타내었으며, 각 단계의 동작은 다음과 같다.

그림 1.WM 삽입과정 Fig. 1. WM embedding procedure

1.1 컬러형식 변환

제안한 방법은 가장 일반적인 RGB 형식의 컬러영상을 DW 대상 영상으로 하며, 첫 번째 단계는 이 컬러형식을 YCbCr 또는 YUV 형식으로 변환한다[18]. 이 중 Y 성분을 DW 대상 데이터로 한다.

1.2 n-레벨 2차원 DWT

입력영상의 Y성분 데이터에 대하여 n-레벨(level) 2차원 2DDWT를 수행한다[18]. 그림 2에는 3-레벨 2DDWT를 수행한 예를 보이고 있는데, (a)는 부대역(subband)의 구조, (b)는 Lena 영상에 대한 3-레벨 2DDWT 결과이다. 2DDWT는 가로방향과 세로방향 각각 저역통과 필터링(low-pass filtering, LPF)과 고역통과 필터링(high-pass filtering, HPF)을 수행하면서 1/2 decimation을 수행하는데, 그 결과 원 영상크기의 1/4에 해당하는 4개의 부대역, LL1, LH1, HL1, HH1이 생성된다. 여기서 각 부대역 이름의 첫번째 영문자(H 또는 L)는 가로방향 필터링, 두 번째 영문자는 세로방향의 필터링 대역을 나타내며, 그 뒤의 숫자는 레벨을 나타낸다. 2DDWT의 레벨을 증가시키는 것은 저주파 부대역을 다시 고주파와 저주파 성분으로 나누는 것으로, 그 전 레벨의 LL 부대역을 대상으로 2DDWT를 수행한다. 따라서 그림 2의 3-레벨의 경우 LL 부대역은 최상위 레벨의 LL3만 존재하고, 너머지 부대역은 모든 레벨의 부대역이 존재한다. n-레벨 2DDWT를 수행한 결과 부대역 수는 3n ＋ 1이며, 최상위 부대역의 크기는 원영상 크기의 1/4n(가로 세로 각각 원영상의 1/2n)이다.

그림 2.3-레벨 2DDWT: (a) 부대역 구조, (b) Lena 영상에 대한 결과 Fig. 2. 3-level 2DDWT: (a) subband structure, (b) result from Lena image

본 논문에서는 2DDWT의 레벨 수를 원 영상과 WM 데이터의 크기로 결정한다. 본 논문에서는 p×q의 2진 영상을 WM 데이터로 사용한다. 원 영상의 크기가 P×Q일 때 식(1)을 만족하는 레벨 수 n을 선택한다.

즉, n-레벨 2DDWT를 수행한 결과 최상위 레벨 각 부대역의 크기가 WM 데이터 크기의 4배 이상이 되는 최소의 n을 선택한다.

1.3 가중치 결정

본 논문의 DW는 최상위 부대역의 모든 계수에 WM 데이터를 삽입하는 것이다. 이 때 WM 데이터는 2진수로 이루어져 있지만 각 비트는 크기를 조절하여 삽입하는데, 이때 가중치(weighting factor)를 사용한다. 이 가중치는 삽입할 부대역의 계수분포에 따라 다르게 설정한다. 또한 네 부대역의 성격이 서로 다르기 때문에 LLn, HLn, LHn과 HHn의 세 그룹으로 나누어 설정한다.

최상위의 한 부대역이 M×N의 크기를 갖는다면,

로 α를 설정한다. 여기서 ELL, EM(M∈LH,HL), EHH는 식 (5)로 계산된다(s∈{LL, LH, HL, HH}).

식 (5)의 βs는 실험적으로 결정되는 파라미터로, βLL = 0.2, βLH = βHL = βHH = 0.4를 사용한다. 식 (2), (3), (4)에서 LL 부대역의 TLL,l과 TLL,h, LH와 HL 부대역의 TM,l과 TM,h, HH 부대역의 THH,l도 실험적 파라미터들로, TLL,l = 1.5, TLL,h = TM,h = 4, TM,l = THH,l = 2를 각각 사용한다.

1.4 WM 데이터 scrambling

본 논문에서는 2진수로 구성된 로고 영상을 WM 데이터로 사용한다. 일반적으로 이 데이터를 호스트 영상에 삽입하기 전에 이 데이터를 섞어(scrambling) 소유권자가 아닌 다른 사람이 WM를 추출하더라도 그 내용을 알아볼 수 없게 한다. 데이터 scrambling은 보통 암호화 알고리즘(비밀키 또는 공개키)[2]을 많이 사용한다. 그러나 워터마크 데이터는 공격을 받으면 그 데이터의 일부가 변화하기 때문에 이런 암호화알고리즘은 사용할 수 없다. 따라서 기존 논문에서도 [3~6][10~11]이나 Arnold 변환 방법[7][9][11][12]을 사용하였다. 본 논문에서는 그림 3에 보이고 있는 k-stage 선형귀한쉬프트레지스터(linear feedback shift register, LFSR)[19]을 사용하는데, LFSR을 사용하여 데이터를 scrambling하는 방법은 이미 많이 사용해 온 방법이다.

그림 3.k-비트 LFSR Fig. 3. k-bit LFSR

k-stage LFSR은 k개의 플립플롭과 각 출력을 exclusive-OR로 귀환하는 경로로 이루어진다. 이 때 각 플립플롭 출력을 귀환경로에 연결할지 여부(bi)와 플립플롭의 초기치(Ii)에 따라 LFSR의 시퀀스가 달라진다. 따라서 본 논문에서는 식 (6)과 같이 bi와 Ii 시퀀스를 scambling 키로 사용한다.

이 키를 사용하여 WM 데이터를 scrambling하는 방법은 식 (7)과 같이 WM 데이터를 레스터 스캔(raster scan)한 각 비트(wi)를 LFSR 마지막 stage의 출력 fk,i와 exclusive-OR 한다. 식 (7)에서 wi′ scrambling된 WM 데이터를 나타낸다.

1.5 다중 WM 삽입

Scrambling된 WM 데이터를 위에서 설명한 가중치 α에 따라 증폭하여 n-레벨 2DDWT한 호스트 영상의 최상위 4개의 부대역 전체에 삽입한다. 식 (1)에서 볼 수 있듯이, 최상위의 각 부대역의 크기는 WM 데이터 크기의 최소 4배이다. 따라서 각 부대역에는 최소 4번의 WM 데이터가 삽입되고, 4개의 부대역에는 최소 총 16번의 WM 데이터가 삽입된다. 그 방법은 scrambling된 WM 데이터를 레스터 스캔하여 호스트 데이터의 각 부대역을 레스터 스캔한 결과에 반복적으로 삽입한다.

WM 데이터를 부대역 계수에 삽입하는 방법은 부대역의 크기와 WM 데이터 값에 따라 결정되는데, 특정 부대역의 계수를 ci, 여기에 삽입될 WM 데이터를 wi′이라고 할 때 이 데이터가 삽입된 부대역 계수 ci′는,

로 변환된다. αs에서 s ∈ {LL, LH, HL, HH}이며, γ는,

으로 계산된다. 이 식에서 ⌊x⌋는 x보다 작은 최대의 정수를 나타내고, ymod2는 y의 modulus-2 함수를 나타낸다.

1.6 역 DWT와 컬러형식 역변환

WM 데이터가 삽입된 호스트 데이터는 n-레벨 역2DDWT를 수행하여 YCbCr 또는 YUV의 영상으로 변환하고, 이를 다시 RGB 형식으로 변환하여 WM가 삽입된 호스트 영상을 생성한다.

2. 워터마크 추출

WM 데이터를 추출하는 과정은 그림 4에 나타내었다. 이 과정에서 컬러형식 변환, n-레벨 2DDWT, 가중치 계산과정은 WM 삽입과정에서와 동일하므로 생략한다.

그림 4.WM 추출 과정 Fig. 4. WM extraction procedure

2.1 다중 WM 추출

WM 데이터가 삽입되고 악의적/비악의적 공격이 가해진 영상을 n-레벨 2DDWT한 결과 최상위 부대역의 특정 계수를 ci″이라고 하면, 이 계수에 숨겨진 WM 데이터 wi″은,

로 구할 수 있다. 여기서 αs′은 추출에 사용하는 가중치로, 식 (2), (3), 또는 (4)와 동일하게 구한다.

2.2 De-scrambling

식 (11)에서 구한 WM 데이터는 삽입 시 scrambling된 데이터에 해당하므로 이 데이터를 그림 3의 LFSR을 사용하여 de-scrambling한다. 그 방법은 식 (12)와 같이 LFSR의 최종단의 출력비트를 차례로 비트 간 exclusive-OR하여 de-scrambling된 WM 데이터 wi″′을 얻는다.

2.3 단일 WM 형성

삽입과정에서 설명하였듯이 제안한 방법은 최상위 2DDWT 부대역 하나에 최소 4개씩, 최소 총 16개의 WM데이터를 삽입한다. 따라서 식 (11)로 추출하고 식 (12)로 de-scrambling한 결과는 최소 16개의 원 WM 데이터에 해당하는 양의 데이터가 추출된다. 이 데이터를 레스터 스캔방식으로 p×q 크기의 2진 영상으로 만들면 삽입한 수와 동일한 수의 WM 데이터 세트를 얻게 된다. 이 데이터로부터 단일 WM 2진 영상을 얻는 방법은 동일 위치에 있는 최소 16개의 2진수 중 빈도수가 높은 수를 선택하여 하나의 최종 WM 데이터를 구한다.

 

Ⅳ. 실험 및 결과

제안한 방법으로 삽입한 WM의 비가시성과 공격에 대한 강인성을 테스트하기 위하여 다양한 종류와 다양한 크기의 영상을 대상으로 실험을 수행하였다.

1. 실험환경, 테스트 영상 및 공격

실험을 위하여 제안한 방법은 C/C++로 구현되었으며, 실험에 사용된 컴퓨터는 PC로서 프로세서는 Intel® Core i7-2700K CPU @ 3.50GHz이며, 16GB RAM을 갖고 있고, 64 비트를 사용하는 Windows 7 Ultimate K 운영체제를 사용하였다.

본 실험에 사용한 WM 데이터는 그림 5에 나타낸 것과 같이 p × q = 32 × 32인 2진 로고영상이다. 즉, 호스트 영상의 크기에 상관없이 동일한 크기의 동일한 WM를 사용하였으며, 따라서 2DDWT 레벨 수 n은 호스트 영상의 크기에 따라 식 (1)에 의해 결정하였다.

그림 5.사용한 WM 데이터 Fig. 5. WM data used

실험에 사용한 영상들은 표 1과 같다. 세 종류의 화면 종횡비로 총 6가지 해상도의 영상을 사용하였다[20-22]. 해상도가 1:1인 영상은 각 부대역에 정확히 4개의 WM 데이터가 삽입되도록 하기 위하여 선택하였다. 해상도비가 4:3인 영상은 VGA(640×480)와 잘 사용하지는 않지만 XGA와 SXGA의 중간인 1,280×960을 사용하였다. 16:9 해상도비는 HD와 4k UHD를 사용하였다. 해상도 1:1의 영상과 1,280×960 영상은 충분히 구할 수 없어서 더 큰 해상도의 영상을 해당 해상도만큼 잘라서 사용하였으나, 해당 영상을 중복 사용하지는 않았다. 16:9 영상들은 해상도가 n-레벨 2DDWT에 정확히 맞지 않다. 이 영상들은 필요한 화소수를 대칭확장(symmetric extension)[23]하여 사용하였다.

표 1.테스트 영상의 종류 Table 1. Kinds of test images

본 실험에서 사용한 공격의 종류는 표 2에 나열하였다. 총 22가지의 공격을 실험하였는데, 그 중 화소값 변경공격(pixel value change attack)이 13가지, 기하학적 공격이 9가지였다. 화소값 변경공격은 원 영상을 심하게 훼손하여 영상으로의 가치가 없는 정도를 제외한 최대의 공격을 고려하였다.

표 2.사용한 공격 목록 Table 2. Attack list used

화소값 변경공격에는 JPEG 압축, 샤프닝, 블러링, 히스토그램 평활화, 잡음첨가, 콘트라스트 변경 공격을 포함하고 있다. 이 중 JPEG 압축 공격은 최고 화질 100을 기준으로 80, 60, 40, 20을 선택하였고, 블러링 공격은 가우션 필터, 평균필터, 중간값 필터를 사용하였으며, 잠음첨가 공격으로는 가우션 잡음과 salt & pepper 잡음을 모두 사용하였다. 기학학적 공격은 해상도 축소(shrink), 해상도 확대(magnify), 회전, 잘라버림(cropping) 공격으로 구성하였으며, 해상도 축소는 80%, 50%, 25%로 축소하는 공격, 회전은 90°, 60°, 45°, 30° 회전공격을 각각 포함하였다.

그림 6.실험과정과 결과의 예: (a) 원 영상, (b) WM를 삽입한 영상, (c) 공격한 영상, (d) 추출한 최종 WM Fig. 6. Example of experimental procedure and result: (a) original image. (b) WM embedded image, (c) attacked image, (d) extracted final WM

2. 실험결과 및 기존연구와의 비교

2.1 실험결과

먼저 실험의 과정과 결과의 예로 512×512 Lena 영상을 대상으로 30°rotation 공격을 가한 예를 보이고 있다. WM를 삽입한 영상(b)의 화질은 PSNR=41.22[dB]로, 육안으로 WM 삽입여부를 확인할 수 없을 정도로 화질열화가 적었다. 공격 후의 영상 (c)의 화질은 기하학적 공격의 특성상 PSNR=16.31[dB]로 매우 낮았다. 추출한 최종 WM는 육안으로도 뚜렷이 삽입한 WM임을 확인할 수 있으며, 이 결과의 NCC 값은 0.9937이었다.

그림 7에는 각 부대역에서 추출한 WM 데이터의 예로 두 가지의 경우를 보이고 있다. (a)부터 (e)까지는 512×512 F16 영상에 5×5 필터 가우션 블러링 공격을 가한 경우이며, (f)부터 (j)는 1,920×1,080 Black bear[22]영상에 3% 가우션 잡음첨가 공격을 가한 경우이다.

그림 7.각 부대역에서 추출된 WM의 예; 512×512 F16 영상에 5×5 가우션 블러링 필터링 공격: (a) LL, (b) HL, (c) LH, (d) HH, (e) 최종 WM(NCC값 0.979); 1,920×1,080 Black bear[21]영상에 3% 가우션 잠음첨가 공격: (f) LL, (g) HL, (h) LH, (i) HH, (j) 최종 WM(NCC값 0.975) FIg. 7. Examples of extracted WMs from subbands; 3×3 Gaussian blurring filtering attack to 512×512 F16 image: (a) LL, (b) HL, (c) LH, (d) HH, (e) final WM (NCC value 0.979); 3% Gaussian noise addition attack to 1,920×1,080 Black bear[21] image: (f) LL, (g) HL, (h) LH, (i) HH, (j) final WM (NCC value 0.975)

512×512 영상은 3-레벨 2DDWT 결과 각 부대역이 64×64이므로 각 부대역에 정확히 4개의 WM 데이터가 삽입되었음을 보여주고 있다. 그러나 1,920×1,080 영상은 식 (1)에 의하면 4-레벨 2DDWT를 수행하여야 하나, 가로방향이 한 화소가 모자라 한 화소를 대칭확장 하였다. 따라서 4-레벨 2DDWT 결과 각 부대역의 해상도가 120×63이 되어 8개에서 32 화소가 모자란 WM 데이터가 삽입된 것을 볼 수 있다. 각 부대역에서 추출된 WM 데이터로 제안한 방법에 의해 최종 워터마크를 구한 결과가 (e)와 (j)이며, NCC 값은 각각 0.973과 0.975이었다.

표 3은 표 1의 영상들을 대상으로 표 2의 공격을 가한 결과의 평균값들을 나열하였다. 이 표에는 대표적으로 화질은 PSNR, 공격에 대한 WM의 강인성은 NCC로 나타내었다. 먼저 제안한 방법의 비가시성 즉, WM는 삽입하였으나 공격을 가하지 않은 영상의 화질은 영상의 종류에 상관없이 모두 40[dB] 정도의 우수한 비가시성을 보였다. 영상의 종횡비가 동일한 영상보다 동일하지 않은 영상의 화질이 약간 나빴는데, 이것은 종횡비가 동일하지 않은 영상에 삽입된 WM 데이터양이 더 많았기 때문이다. 예상한 바와 같이, 2DDWT 레벨의 증가와 무관하게 비가시성이 거의 비슷함을 알 수 있다.

표 3.영상종류별 실험결과: WM 삽입후의 화질(PSNR[dB])과 추출한 WM의 NCC값 Table 3. Experimental results for each kind of images: image quality after WM embedding (PSNR[dB]) and NCC value of extracted WM

공격한 결과에서 먼저 공격후의 화질을 살펴보면, 화소값 변경공격에서는 화질 40/100 이상의 JPEG 압축, 5×5 가우션 블러링, 평균필터링, 히스토그램 평활화, 3% 가우션 잡음공격 결과 공격여부를 가시적으로 확인할 수 있을 정도로 화질이 많이 열화되었지만, 강인성을 위한 실험이므로 그대로 실험을 진행하였다. 특히 히스토그램 평활화 공격은 원영상 전역에서 값의 변화가 있으므로 화질이 많이 열화된 것을 볼 수 있다. 기하학적 공격의 경우 공격의 특성상 확대와 축소공격을 제외하고는(가로와 세로의 해상도가 같은 영상에 대한 90° 회전공격 포함) 화질의 열화가 심했다.

공격에 대한 강인성에 있어서는 대체로 2DDWT 레벨수가 높을수록 높은 강인성을 보였다. 같은 레벨에서도 해상도가 높은 영상이 높은 강인성을 보였는데, 이것은 삽입된 WM 데이터의 양에 영향인 것으로 판단된다. 저해상도 영상에 대해 화질열화가 심한 일부 공격의 강인성이 다소 낮은 결과를 보였으나, 대체로 0.95이상의 높은 NCC값을 보여, 제안한 방법이 다양한 영상과 다양한 공격에 대해 높은 강인성을 갖는 것으로 판단된다.

2.2 기존연구와의 비교

제안한 방법의 우수성을 보이기 위하여 제안한 방법의 실험결과를 기존연구의 실험결과와 비교하였는데, 그 결과는 표 4에 보이고 있다. 표에서 보듯이 기존 방법과 제안한 방법의 대상 공격이 비가시성 및 강인성을 나타내는 값이 다르기 때문에 비교를 위해서 제안한 방법의 비가시성 지표에 SSIM(structured similarity)[24] 인덱스와 강인성 지표에 BER(bit-error rate)[9][15]을 추가로 측정하였다. 또한 이표에서 제안한 방법에 대한 실험결과 값들은 표 1의 모든 영상에 대한 평균값들이다. 각 방법의 방식이 조금씩 다르고, 삽입한 WM 데이터양이 다르지만, 각 연구 고유의 방법을 그대로 보이기 위하여 각 연구결과를 그대로 비교하였다. 또한 [15][16]과의 비교를 위해 이들 연구에서 대상으로 한 가우션 잡음 0.5%와 1%, salt & pepper 잡음 1% 공격을 추가하였다.

표 4.기존 연구와의 비교 Table 4. Comparison with previous researches

표에는 수록하지 않았지만, 워터마킹만 수행하고 공격을가하지 않은 영상의 화질은 삽입한 워터마크 데이터의 비 가시성을 수치적으로 나타낸다고 볼 수 있다. 제안한 방법은 이 값이 39.66[dB]로, [17]의 [44.08[dB], [16]의 39.88[dB], [15]의 40.48[dB], [9]의 42.42[dB]에 비해서는 다소 떨어진다.

[16]은 컬러영상, [9][15][17]는 그레이 영상을 대상으로 하였다. [16]은 컬러영상 워터마킹 연구 중 화소값 변경공격에 대해 가장 뛰어난 강인성을 보여 비교하였고, [17]는 기하학적 공격에 강인하도록 특화된 워터마킹 방법이다. [15]는 [16]과 비슷한 방법을 사용하였으며, [16]에서 대상으로 하지 않은 화소값 변경공격과 일부 기하학적 공격을 포함하고 있다. [9]는 일부 공격에 대해 제안한 방법보다 좋은 강인성을 보여 비교대상에 포함시켰다.

먼저 기하학적 공격을 살펴보면, [17]의 결과가 축소공격과 잘라버림 공격을 제외한 대부분의 기하학적 공격에서 제안한 방법보다 우수한 결과를 보였다. 그러나 [9][15][16]은 기하학적 공격을 하지 않은 것에 비해서는 제안한 방법이 좋은 결과를 보였다. 화소값 변경공격에 대해서는 [16]이 3×3 가우션 블러링 공격 정도에서, [15]는 화질 40/100이상의 JPEG 압축공격에서, [9]는 샤프닝 공격에서만 제안한 방법보다 높은 강인성을 보였다.

[17]의 경우 화소값 변경공격을 고려하지 않았고, 대상 기하학적 공격에서도 제안한 방법이 다소 낮은 강인성을 보이기는 했지만 그 값의 차이가 크기 않을 뿐 아니라 그 값들 자체도 강인성을 입증할 만큼 충분히 높은 값들이었다. 또한 이 방법은 특징점들을 저장해 사용하여야 하는 단점을 갖고 있다. 화소값 변경공격에서 [17]을 제외한 비교 대상 연구 각각이 일부 특정 공격에서 제안한 방법보다 좋은 결과를 보이고 있으나, 역시 값의 차이가 미미하였다. 따라서 전체적인 공격을 고려할 때 제안한 방법이 기존연구들보다 다양한 영상과 다양한 공격에 대해 크게 떨어지지 않는 강인성으로 더 높은 범용성을 갖고 있음을 알 수 있었다.값들 자체도 강인성을 입증할 만큼 충분히 높은 값들이었다. 또한 이 방법은 특징점들을 저장해 사용하여야 하는 단점을 갖고 있다. 화소값 변경공격에서 [17]을 제외한 비교대상 연구 각각이 일부 특정 공격에서 제안한 방법보다 좋은 결과를 보이고 있으나, 역시 값의 차이가 미미하였다. 따라서 전체적인 공격을 고려할 때 제안한 방법이 기존연구들보다 다양한 영상과 다양한 공격에 대해 크게 떨어지지 않는 강인성으로 더 높은 범용성을 갖고 있음을 알 수 있었다.

 

Ⅴ. 결 론

본 논문에서는 디지털 콘텐츠 저작권 보호를 위한 방법으로 디지털 워터마킹 방법을 제안하였다. 이 방법은 영상의 크기에 따라 n-레벨 2DDWT를 수행하여 최저주파수의 네 부대역 각각에 최소 네 개의 WM 데이터를 모든 계수에 삽입하는 방법을 사용한다. WM 데이터는 각 부대역의 에너지 레벨에 따라 실험적으로 설정한 가중치를 주어 삽입한다.

제안한 방법을 다양한 해상도의 영상에 대해 다양한 공격을 대상으로 실험한 결과 일부 공격을 제외하고는 높은 비가시성과 강인성을 보였다. 기존 방법들과의 비교에서도 비교대상 각 방법에 대해 특정 공격에서 제안한 방법이 다소 낮은 강인성을 보이기는 했지만, 그 값이 충분한 강인성을 보이는 값들이었으며, 제안한 방법이 다양한 공격 모두에서 대체로 높은 강인성을 보였다.

따라서 다양한 영상과 다양한 공격을 고려할 때 제안한 방법이 강인성과 범용성을 모두 갖춘 우수한 방법으로 지적 재산권 보호를 위해 널리 사용될 수 있을 것으로 기대된다.