• 대한전자공학회논문지SP
• /
• 제47권6호
• /
• pp.66-74
• /
• 2010

최근 부호화기의 성능 및 전력이 제한된 환경을 위한 비디오 부호화 기술로 분산 비디오 부호화 기술 (DVC : Distributed Video Coding)이 각광받고 있으며, Wyner-Ziv (WZ) 부호화 기술은 이의 대표적인 기술이다. WZ 부호화기는 기존 인트라 부호화 기술과 채널 부호를 사용하여 각각 키 (key)프레임과 WZ 프레임을 독립적으로 부호화한다. WZ 복호화기는 프레임 간 시간적 유사도를 기반으로, 복호화 된 키 프레임으로부터 보조 정보 (Side Information)를 생성한다. 보조 정보는 가상의 채널 잡음이 존재하는 WZ 프레임으로 간주되고, 가상의 채널 잡음은 채널 부호 복호화 과정을 통해 제거된다. 따라서 WZ 부호화 기술의 성능은 채널 부호의 성능에 크게 좌우된다. 현존하는 채널 부호 중 LPDC 채널 부호와 Turbo 채널 부호는 강력한 에러 정정 능력을 가지고 있으며, 확률적인 계산을 기반으로 반복적인 복호화 알고리즘을 수행하는 것이 특징이다. 하지만 반복적인 복호화 과정은 상당히 소모적인 과정으로 WZ 복호화기의 복잡도를 증가시킨다. 실제 WZ 부호화 기술에 LDPCA 채널 부호를 사용한 경우, WZ 복호화기 전체 복잡도에서 채널 복호화 과정이 차지하는 비율은 평균 60%에 이른다. 채널 복호화 과정 복잡도의 감소를 위해 채널 부호 분야에서 제안되었던 HDA (Hard Decision Aided) 방법을 LDPCA 채널 부호에 적용할 경우, 채널 복호화 과정의 복잡도는 상당히 줄어든다. 하지만 HDA 방법 적용을 위해 설정할 경계치에 따라 율 왜곡 측면에서 상당한 성능 저하가 있을 수 있으며. 적정 경계치는 영상마다 각각 다르다. 이에 본 논문에서는 영상의 특성에 따라 경계치가 설정되는 적응적 HDA 방법을 제안한다. 제안 방법은 적정 율 왜곡 성능을 유지하며, 채널 복호화 과정 및 WZ 복호화 과정에서 각각 약 62%, 32%의 시간 절감 성능을 보인다.

• 대한전자공학회논문지SP
• /
• 제46권4호
• /
• pp.58-66
• /
• 2009

최근 경량화 비디오 부호화를 위함 분산 비디오 부호화 기술 (DVC: Distributed Video Coding)에 대한 연구가 활발히 이루어지고 있으며, Wyner-Ziv 부호화 기술은 이의 대표적인 기술로써 각광받고 있다. Wyner-Ziv (WZ) 부호화기는, 영상을, 기존의 인트라 부호화기를 이용하는 키 (Key) 프레임과 WZ 부호화를 하는 WZ 프레임으로 나누어 독립적으로 부호화 한다. WZ 복호화기로 전송된 키 프레임은 복원된 뒤 키 프레임 사이의 WZ 프레임을 추정하는데 사용되며 추정된 WZ 프레임을 보조정보 (Side Information)라고 한다. 보조정보는 WZ 프레임에 대한 정보가 없는 상태에서 추정되므로 필연적으로 WZ 프레임과 다르며 WZ 복호화기에서는 보조정보와 WZ 프레임과의 차이를 가상의 채널 잡음으로 간주한다. WZ 복호화 과정은 가상의 채널잡음을 WZ 복호화기 내에 존재하는 채널코드를 이용하여 제거함으로써 이루어지므로 채널 정보를 정확히 아는 것은 채널코드의 에러정정능력에 큰 영향을 미친다. WZ 복호화기에서는 추정된 WZ 영상만이 존재하므로 정확한 잡음의 양을 알 수 없으며, 일반적으로 선형 움직임에 근거한 키 프레임 간의 차를 하나의 예측 수단으로 사용한다. 또한 이와 같이 예측이 갖는 불확실성으로 채널코드의 효율이 저하되는 것을 막기 위하여 주변의 잡음과 비교를 통한 잘못된 잡음을 정정하는 방법도 제안되었다. 하지만 이런 방법들이 모든 프레임이나 비트 플레인에 존재하는 잡음을 제대로 측정한다고 할 수는 없다. 따라서 본 논문에서는 여러 개의 후보 잡음 모델을 생성한 후, 복호화 과정에서 가장 효율적인 모델을 선택하는 방법을 제안한다. 제안 방법에 대한 실험결과는 최대 0.8 dB의 PSNR이득을 보여준다.

• 방송공학회논문지
• /
• 제22권4호
• /
• pp.473-483
• /
• 2017

최근 들어, 3D 서비스, UHD 비디오, 가상현실(Virtual Reality, VR) 등의 다양한 서비스에 대한 공급 및 수요가 증가하고, 이러한 시장의 동향에 따라, 고품질 및 대화면의 콘텐츠에 대한 수요도 함께 증가하고 있다. UWV 서비스는 기존 파노라마보다 넓은 시야각을 이용하여 사용자들에게 생동감 있는 경험을 제공하고 해당 이벤트에 대한 이해도를 증진하는 서비스이며, 본 논문에서는 UWV 서비스를 제공하기 위한 공간 유사도 맵 생성 방법 및 UWV 파일 저장 포맷 기술을 제안한다. 공간 유사도 맵은 영상의 유사도를 측정하고, 측정된 유사도를 기반으로 하여 영상의 위치 정보를 생성하고 기록한 것으로, 이를 이용하여 영상의 정합 시간을 단축해, 대화면 콘텐츠의 생성시간을 단축시킬 수 있다. UWV 파일 포맷은 ISOBMFF를 기반으로 한 공간 유사도 맵 및 대화면을 구성하는 각 콘텐츠를 함께 처리할 수 있는 파일 포맷이며, 랜덤 액세스를 지원한다. 본 논문에서는 공간 유사도 맵 및 UWV 파일 포맷 검증하기 위해 UWV 플레이어를 설계하였고, 실험을 통한 결과를 보였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1216-1217
• /
• 2022

포인트 클라우드는 객체 또는 장면을 재구성하기 위한 3D 데이터의 표현 방식 중 하나로써 가상 및 증강 현실을 포함한 다양한 분야에서 활용되고 있다. 포인트 클라우드 데이터는 품질에 따라 수많은 포인트로 이루어질 수 있으며, 이와 관련된 데이터의 양은 2차원 영상의 데이터보다 상당히 많다. 따라서 포인트 클라우드 데이터를 사용하여 다양한 서비스를 제공하기 위해서는 포인트 클라우드의 특징을 고려한 효율적인 압축 기술이 요구되며, 이에 따라 국제 표준화 단체의 Moving Picture Experts Group은 포인트 클라우드 데이터의 효율적인 압축을 위한 V-PCC 표준을 제정하였다. V-PCC는 포인트 클라우드 데이터를 다수의 2차원 공간으로 투영하여 점유 맵, 기하 영상, 그리고 속성 영상을 생성하고 각 2차원 영상을 기존의 비디오 코덱을 활용하여 압축하는 방식이다. 기존의 코덱을 사용하여 압축함에 따라 활용성이 높지만, 3차원 데이터를 다수의 2차원 영상을 통하여 압축하기 때문에 압축의 효율성을 높이기 위한 많은 연구가 필요하다. 본 논문에서는 V-PCC의 부호화 효율을 높이기 위해 점유 맵의 투영 정보를 활용한 속성 영상의 효율적인 압축 방법을 소개하고 이를 위한 적응적 SAO 방법을 제안한다. 실험에서 제안 방법은 V-PCC의 속성 영상에 대해 약 3.2%의 부호화 효율을 보인다.

• 방송공학회논문지
• /
• 제15권1호
• /
• pp.52-62
• /
• 2010

분산 비디오 부호화(DVC: Distributed Video Coding)는 움직임 추정과 같은 복잡한 연산을 복호기측에서 처리함으로써 경량화 된 영상 부호화를 가능하게 하는 기술로 최근 많은 연구가 진행되고 있다. 분산 비디오 부호화의 부호화 성능을 개선하기 위한 기존의 연구는 주로 우수한 보조정보(SI: Side Information) 생성 또는 채널 특성을 잘 기술할 수 있는 채널 잡음 모델링에 집중되었다. 본 논문에서는 화소영역 Wyner-Ziv(Pixel Domain WZ: PDWZ) 코덱의 성능을 개선하기 위해 부호기에서 높은 복잡도를 도입하지 않고 간단한 비트 연산을 통하여 구현될 수 있는 성능 개선 방법을 제안한다. 즉, WZ 프레임과 보조정보 간에 존재하는 높은 상관성을 이용하고, 특정 영역에 집중하여 나타나는 가상채널 잡음을 줄임으로써 부호화 성능을 개선하는 방식을 제안한다. 이를 위해, 본 논문에서는 코드할당 및 그레이코드(Gray Code)를 사용하여 통계적 중복성을 효과적으로 이용하고, 더불어 비트 인터리버를 통하여 가상 채널 잡음의 영향을 줄이는 PDWZ 코덱을 제안한다. 모의실험을 통하여 제안한 방법은 최대 약 0.5 dB의 화질 개선을 제공할 수 있음을 보인다.

• 한국정보통신학회논문지
• /
• 제17권8호
• /
• pp.1908-1918
• /
• 2013

자유시점 또는 오토스테레오스코픽 비디오 서비스는 3차원 영상을 제공하는 차세대 방송 시스템으로, 여러 시점의 영상들이 필요하다. 본 논문에서는 가상 시점 영상을 고속 생성하기 위해 알고리즘 병렬 구조를 최적화하고, Compute Unified Device Architecture(CUDA)를 이용한 General Propose Graphic Processing Unit(GPGPU) 기반의 중간시점 영상 고속 생성을 위한 최적화 기법을 제안한다. 제안한 방법은 좌/우 깊이영상을 병렬화시킨 스테레오 정합알고리즘을 이용하여 변위정보를 얻은 후, 깊이 당 변위증분을 계산하여 사용한다. 계산된 변위증분을 사용하여 해당 각 화소들의 깊이 값을 이용하여 좌/우 영상들을 원하는 위치의 중간시점으로 영상을 이동시킨다. 그 다음, 비폐색영역들을 서로 상호 보완하여 없앤 다음에 남은 홀들은 홀 필링으로 없애 최종 중간시점 영상을 생성한다. 제안한 방법을 구현하여 여러 실험 영상에 적용한 결과, 생성된 중간시점 깊이영상의 화질은 평균 PSNR 30.47dB이었으며, Full HD급 중간시점 영상을 초당 38 프레임 정도 생성하는 속도를 보였다.

• 방송공학회논문지
• /
• 제26권6호
• /
• pp.692-703
• /
• 2021

최근 컴퓨터 그래픽 기술의 발전으로 현실의 객체를 더욱 사실적인 가상의 그래픽으로 표현하는 기술의 연구가 활발히 진행되고 있다. 포인트 클라우드는 3차원 공간 좌표와 색 정보 등을 포함하는 수많은 점을 사용해 3차원 객체를 표현하는 기술로 기존의 2차원 영상보다 많은 데이터를 사용하고 데이터 처리에 더욱 복잡한 연산이 필요하므로 포인트 클라우드를 사용한 서비스를 제공하기 위해서는 거대한 데이터 저장 공간과 높은 성능의 연산 장치가 필요하다. 현재 국제 표준기구인 MPEG에서 포인트 클라우드를 2차원 평면에 투영한 다음 비디오 코덱을 사용해 압축하는 Video-based Point Cloud Compression (V-PCC) 기술이 연구되고 있다. V-PCC 기술은 포인트 클라우드를 점유 맵 (Occupancy map), 기하 영상 (Geometry image), 속성 영상 (Attribute image) 등의 2차원 영상과 2차원 영상과 3차원 공간 사이의 관계를 알려주는 보조 정보를 사용해 압축한다. 복호화된 포인트 클라우드의 밀도를 높이거나 객체를 확대할 때, 일반적으로 3차원 연산을 사용하지만 연산 방식이 복잡하고 많은 시간을 소모하며 새로운 포인트의 정확한 생성 위치를 결정하기 힘들다는 한계가 존재한다. 이에 본 논문은 V-PCC의 포인트 클라우드가 투영된 영상에 2차원 보간 (Interpolation) 기술을 적용해 적은 연산으로 보다 정확한 추가 포인트 클라우드를 생성하는 방안을 제안한다.

• 방송공학회논문지
• /
• 제14권2호
• /
• pp.144-153
• /
• 2009

최근, 사용자 제작 콘텐츠(UCC: User Created Contents) 또는 다시점 비디오(Multiview Video) 등의 응용을 위한 경량화 부호화 기술의 필요성이 대두됨에 따라 비디오 부호화 복잡도의 대부분을 차지하는 움직임 예측/보상 과정을 부호화기가 아닌 복호화기 측에서 수행하는 분산 비디오 부호화 기술(Distributed Video Coding)에 대한 연구가 활발히 이루어지고 있다. Wyner-Ziv 부호화 기술은 채널 코딩을 이용하여 원본 영상에 대한 복호화기 측의 예측영상인 보조정보에 포함된 잡음을 제거함으로써 영상을 복원하는 구조를 가진다. 일반적인 Wyner-Ziv 부호화 기술은 키 프레임 간의 움직임 예측/보상 과정에 기반한 프레임 보간법을 통해 보조정보를 생성하며, Shannon limit에 근접한 성능을 보이는 Turbo 코드나 LDPC 코드를 통해 잡음을 제거한다. Wyner-Ziv 부호화 기술은 채널 코드의 복호화를 위해 보조정보에 포함된 잡음의 정도를 예측하는데, 이를 '가상 채널 잡음(Virtual Channel Noise)'이라 하며 일반적으로 Laplacian이나 Gaussian으로 모델화 한다. 본 논문은 변환영역에서의 주파수 단위에 적응적인 채널 잡음 모델링에 기반한 Wyner-Ziv 부호화 방법을 제안한다. 다양한 영상에 대한 제안 방법의 실험 결과는 기존 방법과 비교하여 최대 약 0.52dB에 해당하는 율-왜곡 성능의 향상을 보여준다.

• 방송공학회논문지
• /
• 제15권4호
• /
• pp.540-546
• /
• 2010

사용자에게 보다 실감나는 입체감을 제공하는 양안식 3차원 영상을 위해서는 기존 2차원 영상의 두 배에 해당하는 데이터가 필요하므로 이를 고속으로 처리하는데 어려움이 따른다. 본 논문에서는 2차원 영상과 깊이 영상을 입력 영상으로 한 고속 양안식 3차원 방송 시스템을 제안한다. 제안하는 시스템은 전송해야 할 데이터의 양을 줄이기 위해 전송 전에 H.264/AVC 오픈 소스 고속 부호화기인 x264를 이용하여 부호화를 수행한다. 수신단에서는 수신한 비트스트림을GPU(Graphics Processing Unit)에 내장된 CUDA 비디오 복호기 API를 이용해 설계된 복호기로 고속으로 복호하고, GPU를 이용해 고속으로 가상시점의 영상을 생성하여 양안식 3차원 영상을 재현한다. 제안한 시스템을 이용하면 수신단의 환경에 따라 2차원 디스플레이와 3차원 디스플레이에서 모두 영상을 출력할 수 있다. 컴퓨터 모의 실험을 통해 제안한 시스템이 3차원 양안식 콘텐츠를 초당 최대 24 프레임까지 서비스할 수 있음을 확인했다.

• 한국융합학회논문지
• /
• 제12권10호
• /
• pp.1-8
• /
• 2021

웹캠을 이용한 온라인 회의 및 수업에서 크로마키 기법을 이용한 콘텐츠 제작은 중요한 기법중의 하나이다. 본 연구에서는 크로마키 배경을 사용하지 않고 배경 합성이 가능한 기술을 제안하였다. 제안하는 방법은 HSI 이미지 변환 단계, 배경에서 변경된 영역을 감지하는 단계, 배경 영역을 크로마키로 대체하여 적용하는 단계의 3단계로 구성된다. 입력 영상에서 각 프레임의 블록 평균 영상을 계산하고, 배경 영상의 블록 평균 영상과 입력 영상의 블록 평균 영상의 차이를 이용하여 변화 영역을 검출한다. 개발된 크로마키 효과 기술은 하나의 카메라에서 물체가 없는 배경 이미지를 획득하고 움직이는 물체와 배경을 구분하여 물체만 추출하는 기술을 사용하였다. 실험결과, 제안한 방법은 배경색이 다양한 경우에도 처리가 가능할 뿐만 아니라 물체의 경계선을 매끄럽게 처리할 수 있어서 현장에서 쉽게 적용할 수 있을 것으로 기대할 수 있다.