• 한국정보통신학회논문지
• /
• 제18권3호
• /
• pp.551-561
• /
• 2014

3차원 영상을 생성하기 위해 깊이영상과 텍스쳐 영상의 활용이 보편화되면서 이들 영상에 대한 보호도 많은 관심을 받고 있다. 본 논문에서는 깊이와 텍스쳐 영상으로부터 임의의 시점에 생성되는 스테레오 및 다시점 영상의 소유권을 보호하기 위한 워터마킹 기법을 제안한다. 3D 워핑을 이용한 DIBR을 통해서 워터마크가 보존될 수 있도록 대상 영역을 설정한 이후에 2차원 DCT를 통해서 텍스쳐 영상을 주파수 계수로 변환한다. 이 계수의 일부를 양자화하여 워터마크를 삽입한다. 삽입된 워터마크는 확인이 되지 않기 때문에 비가시성을 확인할 수 있었고, 일반적인 영상처리 공격에 의해서 강인함을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.176-179
• /
• 2015

본 논문에서는 3D 디지털 영상 컨텐츠의 저작권 보호를 위해 DWT(Discrete Wavelet Transform)를 이용하여 강인성(robustness), 비가시성(invisibility), 보안성(security)을 만족하는 블라인드(Blind) 워터마킹 방법을 제안한다. 이 방법은 깊이 영상 기반 랜더링(DIBR, Depth Image Based Rendering)에 효과적으로 대처하기위해 고안된 알고리즘으로, 랜더링시 발생하는 왜곡에 영향이 적은 1-Level DWT LH 부대역에 워터마크를 삽입하는 방법이다. 이 방법에서 저작권에 대한 판단은 추출한 워터마크 정보를 통합 판단하는 방법을 사용한다. 이 방법은 저작권 보호를 위해 원본 영상을 보관할 필요가 없으며, 깊이 영상 기반 랜더링 baseline distance 5% 공격에 좌,우시점 영상 모두 효율적으로 적은 에러율을 보이며 워터마크로서 충분한 강인성을 보여준다.

• 한국콘텐츠학회논문지
• /
• 제14권12호
• /
• pp.555-564
• /
• 2014

DIBR(Depth Image Based Rendering)을 이용한 영상 합성 시에 발생하는 경계 잡음은 원래 전경 영역에 속하던 화소가 배경으로 흩어져 나와 생성된 잡음이며, 이는 주로 참조 영상과 깊이지도 간 경계 불일치나 참조 영상에서의 블러링 때문에 발생된다. 영상 합성 과정에서 발생된 홀 영역은 일반적으로 주위 화소를 이용하여 채워지게 되므로, 홀에 인접한 경계 잡음은 합성 영상의 화질을 저하시키는 주요 원인으로 작용한다. 이 문제를 해결하기 위해 본 논문은 깊이지도의 전처리를 이용한 새로운 경계 잡음 제거 알고리즘을 제안한다. 기존의 전처리 기법들은 경계 불일치에 따른 경계 잡음의 제거를 위해 참조 영상과 깊이지도의 경계가 일치되도록 깊이지도를 수정한다. 그러나 대부분의 기존 기법들이 신호 기울기 기반의 단순 경계 탐색 알고리즘에 기반을 두고 있어 블러링이 존재하는 경계에서는 탐색 성능의 저하가 나타난다. 제안 알고리즘은 이의 해결을 위해 2단계 경계 탐색을 이용함으로써 이행 영역과 배경 영역 간 경계를 보다 효과적으로 탐색할 수 있는 구조를 제안하였다. 실험 결과를 통해 제안 알고리즘이 기존 알고리즘에 비해 우수한 경계 잡음 제거 성능을 가짐을 보인다.

• 방송공학회논문지
• /
• 제25권5호
• /
• pp.655-664
• /
• 2020

자유시점 영상합성기술은 MPEG-I(Immersive) 표준에서 중요한 기술 중 하나이다. 현재 MPEG-I에서 개발하여 사용하는 RVS (Reference View Synthesizer) 프로그램은 다수의 시점의 컬러영상과 깊이영상을 바탕으로 임의시점의 영상을 생성하는 DIBR (Depth Information-Based Rendering) 프로그램이다. RVS는 기존의 DIBR이 갖는 깊이정보 전달의 문제를 컴퓨터 그래픽스의 메쉬 표면 방식으로 접근하여 이전 화소방식에 비하여 2.5dB 이상의 성능향상을 보이며 OpenGL을 사용하면 CPU에서 동작하는 코드보다 10배 이상의 속도를 보인다. 그러나 여전히 2개의 2k 해상도 입력 영상에서 0.75fps 정도의 비실시간 처리속도를 보인다. 본 논문에서는 현 RVS의 내부 구현을 분석하고 이를 바탕으로 1) OpenGL 버퍼와 텍스쳐 객체의 재사용 2) 파일 입출력과 OpenGL 실행의 병렬화 3) GPU 셰이더 프로그램과 버퍼 데이터 전송의 병렬화를 적용하였다. 그 결과 두 개의 2k 해상도 입력 영상의 처리속도를 34배 이상 가속하여 22-28fps의 실시간 성능을 확보하였다.

• 한국콘텐츠학회논문지
• /
• 제12권12호
• /
• pp.1-13
• /
• 2012

3차원 동영상은 다양한 응용분야들에서 차세대 콘텐츠로 큰 주목을 받고 있다. 2D-to-3D 변환은 3차원 동영상의 시대로 넘어가는 과도기 동안에 3차원 동영상 콘텐츠의 부족현상을 해결하기위한 강력한 기술로 여겨지고 있다. 일반적으로 2D-to-3D 변환을 위해서는 2차원 동영상 각 장면의 깊이영상을 추정/생성한 후 깊이 영상 기반 랜더링 (DIBR : Depth Image Based Rendering) 기술을 이용하여 스테레오 동영상을 합성한다. 본 논문은 2차원 동영상 내 존재하는 다양한 변환 단서들을 통합하는 새로운 깊이 융합 기법을 제안한다. 우선, 알맞은 깊이 융합을 위해 몇몇 단서가 현재 장면을 효과적으로 표현할 수 있는 지 아닌지 검사된다. 그 후, 신뢰성 검사의 결과를 기반으로 현재 장면은 4개의 유형 중 하나로 분류된다. 마지막으로 최종 깊이 영상을 생성하기 위해 신뢰할 수 있는 깊이 단서들을 조합하는 장면 적응적 깊이 융합이 수행된다. 실험 결과를 통해 각각의 단서가 장면 유형에 따라 타당하게 활용되었고 최종 깊이 영상이 현재 장면을 효과적으로 표현할 수 있는 단서들에 의해 생성되었음을 관찰할 수 있다.

• 한국통신학회논문지
• /
• 제37A권11호
• /
• pp.918-926
• /
• 2012

3차원 비디오 전송에 있어서, 렌더링에 사용되는 깊이 맵은 압축 효율을 위하여 일반적으로 낮은 해상도로 다운샘플링 되어 전송된다. 이때, 다운샘플링 과정에서 발생하는 오류는 디코딩 후의 적절한 업샘플링 기법을 통하여 효과적으로 복구할 수 있다. 하지만 기존의 연구들은 이러한 오류를 줄이기 위하여 여러 업샘플링 기법에 대해서만 초점이 맞춰져 있었다. 본 논문에서는 사람의 인지적인 화질을 보다 제고시키기 위하여 동적인 객체와 정적인 배경에 서로 다른 다운샘플링 비율을 적용시키는 새로운 하이브리드 깊이 맵 다운샘플링 기법을 제안한다. 실험적인 결과는 제안하는 방법이 시각적인 품질과 PSNR 측면에서의 이득이 있음을 보여준다. 또한 제안하는 방법은 여러 업샘플링 기법들과 호환이 가능하다.

• 한국정보통신학회:학술대회논문집
• /
• 한국정보통신학회 2014년도 추계학술대회
• /
• pp.822-823
• /
• 2014

다시점 디스플레이용 영상은 주로 레퍼런스가 되는 컬러 카메라와 깊이 카메라의 영상을 입력 받아 DIBR (Depth Image Based Rendering) 기법을 활용, 3차원 점 구름 형태로 재구성 한 후 가상 카메라를 여러 시점에서 배치하여 중간 영상을 생성하여 조합하였다. 이렇게 다시점 중간 영상을 생성하면 원래의 시점에서는 구멍이 없었지만 다른 시점에서는 구멍(Hole)이 보이는 현상이 발생한다. 기존에는 틈새 영역을 채우는 알고리즘을 개발하거나 깊이 영상을 보정하여 개선시키는 방법을 연구하였으나 본 논문에서는 점 구름을 메시(Mesh)화 시키는 알고리즘 중 한 가지인 볼 피봇팅(Ball Pivoting) 방법을 적용시켜 중간 영상의 화질 개선 방법을 설명하고 있다. 마이크로소프트사의 발레와 브레이크 댄서 영상에 개발된 개선 방법을 적용시켜 보았고 PSNR로 비교할 때 약 0.18~1.19정도의 향상을 보임을 확인하였다. 본 논문을 통해 개선 방법과 실험방법, 그리고 결과에 대해 설명한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2008년도 하계종합학술대회
• /
• pp.859-860
• /
• 2008

In this paper, we present a simultaneous method for depth image based rendering. Simultaneous method can reduce high computational complexity and waste of memory required for DIBR. Experimental results show that the proposed method is suitable for generating auto-stereoscopic images.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2016년도 하계학술대회
• /
• pp.228-230
• /
• 2016

본 논문은 깊이 영상 기반의 렌더링 방식을 이용하는 다시점 영상 시스템에서 새로운 프레임율 변환(Frame Rate Up-Conversion, FRUC) 방식을 소개한다. 제안된 방식은 깊이 영상을 이용해 각각의 블록을 세부 영역으로 나누고, 주변 시점의 영상을 이용해 각각 세부 영역의 폐쇄 영역의 정보를 복원한다. 복원된 폐쇄 영역의 정보와 기존의 세부 영역의 정보를 이용해 움직임 예측 및 보상을 수행한다. 제안하는 방법은 폐쇄 영역이 발생하는 영역에서 기존의 방법보다 정확한 움직임 예측을 수행한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2008년도 하계종합학술대회
• /
• pp.815-816
• /
• 2008

In this paper, we evaluate depth image preprocessing for 3D data service based on DIBR over T-DMB. We evaluate two preprocessing methods of depth images. These are gaussian smoothing and adaptive smoothing. The results show that adaptive smoothing is more suitable for images with sharp transition of depth.