프레임 분할과 3D 웨이블릿 변환을 이용한 비디오 워터마킹

Digital Video Watermarking Using Frame Division And 3D Wavelet Transform

Abstract

본 논문에서는 동영상 콘텐츠의 저작권 보호를 위해 3D 웨이블릿 변환과 대역확산방법(direct spread spectrum)을 이용한 비디오 워터마킹 알고리즘을 제안하였다. 제안한 방법은 동기 워터마크를 삽입한 다음 사용자 정보를 갖는 워터마크를 삽입하게 된다. 입력된 프레임을 분할하고, 다시 홀수행과 짝수행으로 정렬하여 각각 3D 웨이블릿 변환을 수행한 다음 대역확산 방법으로 워터마크를 삽입한다. 기존의 3D 웨이블릿을 이용한 비디오 워터마킹 알고리즘과는 달리 제안한 방법은 blind 방식으로써 원본 영상 없이 워터마크 검출이 가능하다. 실험결과 PSNR은 평균 40 dB 이상으로써 높은 비가시성을 만족하는 동시에 프레임 절삭, 잡음 첨가, 압축 등의 공격에서도 10% 이하의 BER을 기록하여 공격에 강인한 것으로 확인되었다.

In this paper we proposed a video watermarking algorithm based on a three dimension discrete wavelet transform (3D DWT) and direct spread spectrum (DSS). In the proposed method, the information watermark is embedded into followed frames, after sync watermark is embedded into the first frame. Input frames are divided into sub frames which are located odd row and even row. The sub frames are arranged as 3D frames, and transformed into 3D wavelet domain. In this domain the watermark is embedded using DSS. Existing video watermarking using 3D DWT is non-blind method but, proposed algorithm uses blind method. The experimental results show that the proposed algorithm is robust against frame cropping, noise addition, compression, etc. acquiring BER of 10% or below and sustains level of 40dB or above on the average.

Ⅰ. 서론

인터넷 환경이 급속도로 발전함에 따라 멀티미디어의 범람과 사용자들의 유료 콘텐츠 사용에 대한 인식 부족으로 디지털 콘텐츠의 저작권 침해가 빈번하게 발생하고 있으며, 이러한 불법콘텐츠들의 무분별한 공유는 디지털 콘텐츠 산업발전을 저해하는 문제로 대두되고 있다. 이러한 문제를 해결하기 위해 디지털 콘텐츠의 저작권 보호에 관한 연구가 계속적으로 증가하고 있으몌1, 2, 3], 디지털 워터마킹 기술이 대표적인 해결 방안으로 널리 사용되고 있다[4, 5, 6].

비디오 워터마킹에서 정보의 삽입과 추출 방법은 워터마크의 삽입/추출이 일어나는 영역의 압축 여부에 따라서 크게 두 가지로 구분된다. 비디오를 원 프레임(raw fiame)으로 디코딩하여 각각의 원 프레임에 워터마크를 삽입하고 다시 압축하는 비 압축 영역 (uncompressed domain)에서의 삽입 방식과, 디코딩 과정을 거치지 않고 직접 비디오의 비트 스트림 속에 워터마크를 삽입하는 압축 영역(compressed domain)에서의 삽입 방식으로 구분된다. 다시 비압축 영역에서의 워터마크 삽입/추출 기술은 워터마크의 삽입 영역에 따라서 공간 영역 (spati시 domain) 삽입 방식과 주파수 영역 (frequency domain) 삽입 방식으로 분류된다. 대부분의 비디오 워터마킹이 비압축-주파수 영역에서 연구되고 있으며, 워터마크는 각 프레임에 삽입된 후 압축된다[기.

원 비디오의 화질 열화가 발생하지 않고 견고성을 증가시키기 위해 Hsu[8] 등이 제안한 방법에서는 원 비디오에 대해 DCT를 행한 후, 워터마크를 삽입하기 위해 인접 블록의 DCT 계수 사이의 극성 (polarity)을 이용하여 워터마크를 삽입한다. Niu[9] 등이 제안한 방법에서는 움직임의 다소에 따라 원 영상을 영역분류한 후, 영역별 3D 웨이블릿 변환 및 2D 웨이블릿 변환을 실시하여 워터마크를 삽입한다. Li[10] 등이 제안한 방법에서는 원 영상을 장면(scene) 기준으로 나누괴 11], 공간에서 2D 웨이블릿변환을 수행한 후 시간축을 따라 1D 웨이블릿 변환을 수행한 다음 DSS(direct spread spectrum) 방법을 이용하여 이진 영상 워터마크를 삽입한다. 이들 워터마킹 기법들은 공통적으로 워터마크 추출 시 원본영상을 필요로 하는 단점을 갖고 있다.

본 논문은 앞에서 설명한 비디오 워터마킹 방법 중주파수 영역 에서 워터마크를 삽입하는 강인한 워터마킹방법으로, 비가시성과 강인성을 만족시키면서 원본 영상 없이 워터마크 추출이 가능하게 하기 위하여 프레임분할과 3D 웨이블릿 기반의 디지털 비디오 워터마킹기술을 제안하였다. 본 논문의 2장에서는 제안한 비디오 워터마킹 알고리즘에 관해 설명하며, 3장에서는 제안한 비디오 워터마킹 기법의 실험결과를 분석하고, 4 장에서는 결론에 대해 기술한다.

Ⅱ. 연구내용

본 논문에서는 비가시성과 강인성을 만족시키기 위하여 영상의 시공간적인 특징과 대역확산방법을 이용한 3D 웨이블릿 기반의 디지털 비디오 워터마킹 기술을 제안하였다.

2.1 3D 웨이블릿 변환

3D 웨이블릿 변환은 1D 이산 웨이블릿 변환(discrete wavelet transform)-^ 반복적 인 분해과정을 통하여 만들어지게 된다.

#(1)

이산 웨이블릿을 수식 (1)로 표현한 것으로,#는 /G)의 근사정보(approximate infor-mation)를 나타내고, #는 川)의 상세정보(detail information) 를 의미 한다. 1D 웨이블릿 변환을 3D로 확장하는 과정은 수식 (2)와 같이 1차원 스케일링 함수의 곱으로 나타낼 수 있다.

#(2)

[그림 1]은 3D 영상에 대한 이산 웨이블릿 1단계 변환과정을 잘 보여주고 있다. 행과 열 방향으로 필터링이 진행된 후, 다시 시간 축 방향으로 필터링이 진행되게 된다. 이것이 3D 웨이블릿 변환의 1단계 과정으로, 변환(분해)과정의 최종 단계에서는 1개의 근사정보와 7개의 상세정보를 얻을 수 있게 된다.

(그림 1) 3D 영상에 대한 1-단계 이산 웨이블릿 변환(분해) 과정

2.2 동기 워터마크 삽입 및 검츨

워터마크를 검출하기 위해서 선행되어야 하는 절차 중에 하나가 동기화(syiichronization) 과정이다. 동기화를 맞추기 위하여 원 프레임으로 변환된 프레임 중 일정한 간격으로 동기 워터마크를 삽입하며, 동기 워터마크가 삽입된 프레임의 다음 프레임부터 워터마크가 삽입된다. 처음 동기 워터마크를 이용하여 동기를 맞춘 후에도 프레임 절삭 등의 공격이 발생했을 시 동기를 잃어버리는 경우가 발생하기 때문에 매번 워터마크 삽입 전에 동기 워터마크를 삽입하게 된다. 동기 워터마크를 삽입하기 위한 방법으로는 2D 웨이블릿 변환이 이용되며, 변환된 부대역 중에서 비가시성과 강인성을 모두 충족하는 대역 (LH₂, HL2) 을 선택하여 동기 워터마크를 각각 삽입하였다.

[그림 2] 동기워터마크 삽입 위치의 예

2.3 워터마크 삽입 절차

[그림 3]은 워터마크를 삽입하는 전체 구조도를 나타낸 것이다. 우선, 동기 워터마크를 첫 번째 프레임에 삽입하고, 그 다음 입력된 프레임부터 각각 4등분을 한다. 분할된 프레임들은 다시 짝수행과 흘수행으로 분리되어 개별적으로 3D 웨이블릿 변환을 하게 되고, 비가시성과 강인성을 만족하는 영역을 선택하여 워터마크가 삽입된다. 이렇게 워터마크가 삽입된 프레임들은 다시 분할 및 정렬 과정의 역순으로 재조립 되어 워터마킹된 프레임을 얻게 된다.

[그림 3] 전체 삽입 절차

2.3.1 워터마크 생성

신호의 왜곡이나 압축 등에 대해 강인함을 확보하기 위하여 DSS(direct spread spectrum) 기술로 워터마크를 생성하며, 생성 절차는 다음과 같다.

1) 사용자 정보를 부호화한 메시지에 ECC 정보를 부가하여 W를 생성하고, 이를 2차원 행렬로 만들어 W(i, j)라 표기한다. W(i, j)는 1 혹은 0의 값을 갖는다.

2) 두 개의 독립적 인 m-sequence를 갖는 신호 A와 B 를 생성한다.‘4= {%}, 3= {妃}, 1, 2, m (m 은 삽입하고자 하는 웨이블릿 계수에 따라 변하는변수), A와 日는 평균이 0이고 분산이 1인 정규분포(normal distribution)# 갖는 가우시안 램덤 시퀀스(gaussian random sequence)이며, 주줄과정에서 비밀키로 사용된다.

3) W(i, j)는 DSS 기술과 m-sequence A와 B 에 의해 만들어지는 워터마크 Wk(i, j)로 확장되게 되며, 수식 (3)과 같이 나타내게 된다.

#(3)

2.3.2 프레임 분할 및 정렬

동기 워터마크가 삽입된 후에 프레임들은 각각 좌-상, 좌-하, 우-상, 우-하 4등분으로 분할된다. 각각의 분할된 프레임들은 다음과 같이 표시되며, 서브프레임이라고 부른다.

f鶴 (i : 프레 임 번호, j>=4 : 분할된 번호)

이렇게 생성된 서브 프레임을 다시 수식 (4)와 같이 홀수행, 짝수행으로 구분하여 새로운 프레임 집합을 생성하게 된다.

#(4)

日과 C는 각각 열과 행을, Q는 서브 프레임들의 홀수행 집합을 나타내고, 鸟는 서브 프레임들의 짝수행 집합을 나타내는 것이다.

2.3.3 3D 웨이블릿 변환, 영역선택 및 삽입

0와 E} 각각 3레벨 3D 웨이블릿 변환을 실시하고, 비가시성과 강인성을 갖는 영역에 워터마크를 삽입한다. [그림 4]는 3레벨 3D 웨이블릿의 변환 과정과 구조를 나타낸 것으로 본 논문에서는 상대적으로 움직임이 적고, 배경성분의 에너지가 집중되는 부대역인 {LHL3, HLL3, HHL3) 영역 전체에 워터마크를 삽입하였다[12]. 워터마크 삽입은 다음과 같이 수식 (5)로 표현된다.

[그림 4) 3레벨 3D 웨이블릿 구조 및 삽입영역

#(5)

#, #는서브프레임의 짝/홀수행의 집합인 q啓에 3D 웨이블릿 변환을 실행한 다음 선택된 부대역들의 모임을 나타내고, a는 세기를 조절하는 강도를, I I는 절대값을 의미한다. 1%는 앞서 언급한 워터마크를,#, #는 워터마크가 삽입된 서브 프레임의 짝/홀수행 집합의 부대역을 나타내는 것이다.

2.3.4 3D 역 웨이블릿, 재 정렬 및 합병

워터마크가 삽입된 부대역들은 3D 역 웨이블릿을 수행하고, 앞서 수행된 분할과 정렬을 반대로 실시하여 최종으로 워터마크가 삽입된 프레임을 얻게 된다.

2.4 워터마크 추즐

[그림 5]는 워터마크 전체 추출과정을 나타내고 있다. 워터마킹된 프레임이 입력되면, 동기 워터마크 유/무를 파악하여 동기 워터마크 검출 시까지 계속하여 검사를 진행한다. 동기 워터마크가 검출되면, 다음 프레임부터 삽입 절차에서 사용했던 방법과 동일한 방법을 사용하여 3D 웨이블릿 변환을 수행하고 특정 부대역의 값을 얻은 다음 수식 (6)과 같은 방법을 통하여 워터마크를 검출하게 된다.

[그림 5) 전체 추출 절차

0와 与의 값이 유사하기 때문에 #과 #의 값 또한 유사하다는 것을 이용해서 수식 (6)과 같이 #에서#를 빼서 구해진 값 码는 원 이미지 정보표현을 위한 성분(픽셀 값)은 감소되는 반면, 워터마크 정보를 표현하는 성분(픽셀 값)은 상대적으로 증가하게 된다.

#(6)

위 식⑹에서 구해진 应를 아래의 수식 ⑺에 대입하여 胃와 A, 用와 B 간의 유사도 측정을 통해 访#를 구하게 된다. 유사도를 측정하는 방법은

#(7)

수식 (8)과 같이 사용하였다.

#(8)

이렇게 추출된 워터마크 而(為)는 ECC 복호화기의 오류정정을 통해 최종적으로 사용자 정보로 만들어진다.

Ⅲ. 실험결과

제안된 비디오 워터마킹 알고리즘의 성능을 평가하고자 4개의 CF 영상, 여인, , , 방, , , 책, , , 바다, 를 사용하였다. 첫 프레임에 동기 워터마크를 삽입한 후에 그 다음 8개의 프레임을 모아 워터마크를 삽입하게 되며, 이러한 방법으로 9개의 프레임을 1 사이클로 간주하여, 63프레 임 에 걸쳐 7번을 반복하여 워터마크를 삽입하였 匸+. 사용.자 정보 56bit를 해밍코드(hamming code)로 인코딩하여 98bit의 워터마크를 생성하고 삽입하게 된다.

[표 1]과 [표 2]는 각각 본 논문에서 제안한 알고리즘과 Li[l이가 제안한 알고리즘의 비가시성 실험 결과를 나타내고 있다.

[표 1] 제안한 알고리즘 영상프레임의 PSNR 평균

[표 2) Li's 알고리즘 영상프레임의 PSNR 평균

비가시성에 대한 성능 평가 척도로 PSNR (peak to peak sign시 to noise ratio)를 측정하였으며, [표 1], [표 2]의 값은 실험 영상들에 대한 PSNR 평균값을 나타낸 것이다. 이 평균값은 각 영상들의 모든 프레임에 대한 평균 PSNR을 구한 값으로, 제안한 알고리즘이 40dB 이상의 높은 PSNR을 유지함과 동시에 LiE의 알고리즘보다 낮은 BER(bit error rate)을 기록하고 있다. 여기서 BERe 삽입되는 워터마크의 총 비트 수에서 에러가 발생한 비트의 수를 퍼센트로 나타낸 것이다. 이와 같이 제안한 방법이 기존의 방법에 비해 우수한 비가시성을 갖는 것을 확인 하였다.

3.1 프레임 절삭

비디오 워터마킹에서 시간축 공격에 대한 강인성 평가를 위하여 실험 영상에 대한 프레임 절삭을 실시하였다. 프레임 절삭은 동기 워터마크가 삽입된 프레임은 제외 시켰으며, 워터마크가 삽입된 나머지 프레임들 중 한 번의 사이클에 1개~7개까지 프레임을 절삭하였다. 프레임이 제거된 빈자리에는 모든 픽셀 값이인 프레임을 대신 삽입하였다.

[표 3]은 프레임 절삭에 대한 실험 결과의 BER을 보여주는 것으로 3개의 영상에서 5개의 프레임 절삭 공격에도 하나의 오류 비트도 발생하지 않는 것을 확인할 수 있다. 이는 5/8, 즉 워터마크가 삽입된 프레임들 중 60%의 프레임이 절삭되어도 모든 워터마크 비트가 추출 가능하다는 뜻이다. 또한 7개의 프레 임 절삭을 통한 공격의 BER이 모두 10%를 넘지 않았으므로, 8개의 워터마크가 삽입된 프레임 중 오직 1개의 프레임만 존재한다면 삽입 비트의 90%이상을 추출할 수 있는 것을 확인 하였다.

[표 3) 프레임 절삭에 대한 실험 결과

[그림 6]은 제안한 알고리즘과 lis 알고리즘간의 프레임 절삭 비교 실험결과를 나타낸 것이다. 비교 실험에서는 전체 프레임 중 짝수 프레임을 절삭하였으며, 프레임이 제거된 빈자리에는 모든 픽셀 값이 '0'인 프레임을 대신 삽입하였다. [그림 11] 실험 결과에서와 같이 제안한 알고리즘은 0%의 BER을 기록한 반면, Lfs 알고리즘은 40%대의 높은 BER을 기록하고 있어 제안한 알고리즘이 프레임 절삭에 대해 강인함을 확인하였다

[그림 6) 프레임 절삭 비교 실험 결과

3.2 잡음첨가

백색가우시안 잡음을 다른 강도로 실험 영상에 각각 변화를 주어 강인성에 대한 실험을 하여, 각기 다른 SNR (signal to noise ratio) 에서 변화하는 BER을 관찰하였다.

[표 4]와 [표 5]는 제안한 알고리즘과 Li's 알고리즘의 잡음첨가 공격에 대한 실험 결과로 괄호( ) 안의 숫자는 동기 워터마크 검출 횟수를 나타낸다. SNR 80~20까지 20단위로 변화를 주면서 실험을 진행하였고, Li's 알고리즘의 경우 SNR 20에서 평균 10% 이상의 높은 BER을 얻은 반면 제안한 알고리즘은 평균 5% 이하의 낮은 BER 을 얻어 우수한 성능을 확인하였다.

[표 4] 제안한 알고리즘 잡음첨가에 대한 실험 결과

[표 5] Li's 알고리즘 잡음첨가에 대한 실험 결과

3.3 압축

압축에 대한 강인성을 평가하기 위하여 MPEG-2, MPEG-4 및 H.264 압축을 통하여 실험 영상을 1.5 Mbps로 압축 하였다.

[그림 기은 제안한 알고리즘과 Li's 알고리즘의 압축공격에 대한 비교 실험을 나타낸 것&로 실험 결과에서 보는 바와 같이 제안한 알고리즘의 여인, 책, 바다 영상은 2% 이하의 BER을 나타내어 MPEG-2, MPEG-4 압축에서 우수한 성능을 나타내지만 움직 임이 적고, 배경성분의 에너지가 집중되는 부대역에 워터마크를 삽입하였기 때문에, 움직임이 많고 급격히 바뀌는 배경을 갖고 있는 방 영상에서는 12%의 높은 BER을 보였다. H.264 압축에서는 두 알고리즘 모두 공통적으로 좋지 않은 성능을 보임을 확인하였다.

[그림 7] 압축 공격 비교 실험 결과

Ⅳ. 결론

본 논문에서는 프레임 분할과 3D 웨이블릿 변환을 이용하여 비가시성과 강인성을 만족시키는 비디오 워터마킹 알고리즘을 제안하였다.

제안된 알고리즘은 워터마크 삽입부와 추출부로 나눠진다. 삽입부는 우선 동기 워터마크를 삽입한 다음, 워터마크 삽입을 위한 절차가 진행되고, 입력 프레임들을 분할 및 정렬을 거친 후 3D 웨이블릿 변환을 실시한다. 이 웨이블릿 부대역중 비가시성과 강인성을 만족하는 부대역에 워터마크를 삽입한 다음 역 3D 웨이블릿을 통해 워터마크가 삽입된 영상을 얻게 된다. 추출부에서는 정렬을 통해 홀수행과 짝수행으로 나누어진 프레임들 간의 차이에서 얻어진 값과 비밀키에 의해 얻어진 m-sequence A, B 간의 유사도를 통해 최종적으로 워터마크를 얻게 된다.

제안된 알고리즘의 성능 평가를 위하여 4개의 영상에 실험을 평가 하였으며, 평가 항목으로는 비가시성 평가와 강인성 평가를 위한 프레임 절삭, 잡음 첨가, 압축을 실시하여 우수한 성능 결과를 얻을 수 있었다.

기존 3D 웨이블릿을 이용하는 비디오 워터마킹 기법은 추출 시 원본 영상을 필요로 하는 non-blind 기법이지만, 제안하는 알고리즘은 추출 시 원본 영상을 필요로하지 않는 blind 기법으로 기존 방법과 달리 현실성이 높은 알고리즘이며, 실험 결과에서 나타나는 것과 같이 대부분 2% 이하의 낮은 BER을 기록하였다.

향후 연구과제로 동기워터마크 제거 공격에 대비 할 수 있는 새로운 방법과 영상의 특성에 따라 웨이블릿 삽입 영역을 결정할 수 있는 알고리즘의 추가가 필요하다.