• 방송공학회논문지
• /
• 제11권1호
• /
• pp.116-129
• /
• 2006

인터넷을 통한 데이터 전송 기술의 발전은 다양한 실감 콘텐츠를 확산시키는 역할을 하고 있고, 이러한 실감 콘텐츠의 하나로 다시점 비디오가 연구되고 있다. 다시점 비디오는 여러 대의 카메라로부터 획득한 영상을 사용자에게 전달해 원하는 시점에서 영상을 시청할 수 있도록 하는 차세대 영상이다. 다시점 영상을 공급하기 위해서는 일반적으로 카메라 개수와 같은 개수의 엔코더와 디코더가 필요하며, 또한 상대적으로 큰 전송 대역폭을 필요로 한다. 본 논문에서는 상기 문제점을 해결하기 위해서 단일 엔코더와 디코더만을 이용하는 다시점 비디오 시스템을 제안한다. 부호화에서는 다시점 YUV 비디오를 GOP 단위로 믹싱하여 l 개의 YUV 스트립을 만든 후에, 단일 H.264/ AVC 엔코더로 부호화하여 압축 비트열을 생성한다. 또한 복호화도 단일 디코더 및 이를 제어하는 스케줄러로 구성된다. 스케줄러는 디코더 이용률과 프레임 스킵을 활용하여 각 시점 영상들이 동등한 복호화 프레임 개수를 가지게 한다. 또한 프레임 스킵에서는 비용 함수를 이용하여 H.264/AVC 프로화일에 따른 효율적인 프레임 선택 방법을 제안한다. 다양한 메인 및 베이스라인 프로화일 다시점 영상들을 활용하여 제안 방법의 성능을 검증하였다. 실험 결과는 각 시점 영상이 동등한 디코더 이용률을 얻는 것을 보여준다. 또한 rate-distortion 커브를 이용하여 제안한 방식과 동시 방식의 성능을 검증하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.452-454
• /
• 2015

본 논문에서는 다시점 깊이영상 기반 3 차원 영상시스템에서 깊이영상의 해상도에 따른 압축성능을 비교 실험한다. 다시점 깊이영상 시스템에서 깊이영상은 중간시점 합성을 위해 사용되며, 깊이영상은 중간영상의 화질에 큰 영향을 미치게 된다. 본 논문에서는 3 차원 영상시스템에서 깊이영상 해상도에 따른 중간영상의 화질변화를 분석하고, dilation filter 로 인한 성능변화를 비교 분석한다.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.329-336
• /
• 2017

비디오 압축에서 움직임 추정 기법은 영상 화질과 발생 비트량에 있어서 중요한 역할을 하지만 많은 계산 복잡도를 요구한다. 다수의 카메라로 촬영한 동영상인 다시점 비디오는 카메라의 수에 비례하여 데이터의 양이 기하급수적으로 증가하기 때문에 움직임 추정에 많은 계산량을 필요하다. 본 논문에서 다시점 비디오의 부호화를 위한 움직임 추정의 계산량을 줄이면서 화질과 비트량을 유지하는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 움직임 벡터들의 분포 특성과 영상 블록들의 움직임 특성을 이용한다. 제안한 움직임 추정기법은 계층적 움직임 추정 기법으로 대칭형 멀티 마름모 패턴, 대각선 패턴, 사각형 패턴 그리고 정교한 패턴으로 구성되어 있다. 제안한 움직임 추정 기법은 움직임 벡터들과 블록 움직임의 특성들을 이용하여 패턴들의 탐색 점들을 탐색 영역 내에 대칭적으로 배치하고 블록 움직임 크기에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법과 전역 탐색 기법인 PBS (Pel Block Search)의 성능과 비교한 경우, 영상 화질면에서와 발생 비트량면에서 비슷하지만 움직임 추정에 필요한 계산량을 각각 약 40~75%, 98%감소시킨다.

• 대한전자공학회논문지SP
• /
• 제47권6호
• /
• pp.127-136
• /
• 2010

다시점 비디오는 카메라간의 다른 위치와 불완전한 카메라 보정(calibration)으로 인접한 시점의 영상 내에 존재하는 동일물체 간에 색상 차이가 발생할 수 있다. 이러한 색상 불일치(color mismatch)는 시점 간 움직임 예측(inter-view prediction) 수행 시, 오정합을 발생시켜 다시점 비디오 부호화(Multi-view Video Coding : MVC) 성능을 저하시키는 원인이 된다. 본 논문에서는 이웃하는 영상 간에 존재하는 휘도 및 색차 성분 불일치를 보상하여 다시점 비디오 부호화의 압축률을 향상시키는 전처리 기법을 제안한다. 제안된 기법에서는 모든 시점의 영상을 히스토그램 매칭 기법에 의해 정해진 참조 시점 영상의 색상을 기준으로 보정된다. 또한 히스토그램 매칭 수행 전에 YCbCr 색상공간 변경 시에 색차 성분의 대표 값 추출(chrominance subsampling)에 사용되는 Cosited filter를 영상의 각 색상성분에 적용하여 성능을 더욱 높일 수 있다. 히스토그램 매칭은 YCbCr 색상공간에서 RGB 색상공간으로 변환하여 각 색상성분에 적용한다. 이 과정에서 영상에 존재하는 에지의 방향성과 화소 값의 존재 범위를 고려한 효과적인 색상 변환 기법이 사용된다. 실험을 통해 제안하는 전처리 기법이 다른 기법들에 비해 향상된 부호화 효율을 가지는 것을 확인하였다.

• 방송공학회논문지
• /
• 제13권3호
• /
• pp.388-400
• /
• 2008

본 논문에서는 다시점 비디오 부호화에서 색차 보상을 적용하여 비용면에서 효과적으로 기준 영상의 품질을 향상시키는 방법을 소개한다. 제안하는 방법은 기준 P-영상에만 적용이 되며, 그 중에서도 INTER $16{\times}16$ 모드와 SKIP 모드에만 적용된다. JVT의 공통 실험 조건을 사용하여 실험을 수행하였을 경우, 휘도 성분 신호인 Y 신호에서 거의 동일한 성능을 유지하면서, 색차 성분인 U, V 신호에 대해 평균 BD-PSNR이 각각 0.136 dB, 0127 dB 향상되었고, 저비트율 실험에서는 Y, U, V 신호에 대해 평균 BD-PSNR이 각각 0.141 dB, 0.494 dB, 0.525 dB 향상되었다. 제안하는 방법을 적용하는 기준 P-영상의 비중은 전체 영상 시퀀스에서 4.18%로 상당히 비중이 작기 때문에 필요한 계산 복잡도는 상당히 낮다고 할 수 있으며, 이에 비해 색상 정보의 부호화 효율은 매우 향상되었음을 확인할 수 있다.

• 한국정보통신학회논문지
• /
• 제15권12호
• /
• pp.2527-2533
• /
• 2011

본 논문에서는 특징점 기반 색상 보정을 통한 다시점 비디오 부호화 전처리 방법을 제안 한다. 다시점 영상은 조명 및 카메라 간의 특성차이로 인해 인접 시점 간 색상차를 갖게 된다. 이를 보정하기 위한 여러 가지 방법 중, 본 논문에서는 영상 간의 대응되는 특징점들을 기반으로 상대적인 카메라의 특성을 모델링하고 이를 통해 색상을 보정하는 방법을 제안한다. 대응되는 특징점을 추출하기 위해 Harris 코너 검출법을 사용하고, 모델링 된 수식의 계수는 가우스-뉴튼 순환 기법(Gauss-Newton circulation algorithm)으로 추정한다. 또한 참조 영상을 기준으로 보정해야할 타겟 영상의 색상값을 RGB 성분별로 보정한다. 테스트 영상을 가지고 실험한 결과 제안한 전처리 방법으로 보정을 하였을 경우, 전처리 과정을 거치지 않았을 때보다 화질 및 압축효율이 향상됨을 알 수 있었다. 또한 누적 히스토그램 기반의 전처리 방식과 비교했을 때, PSNR은 성분별로 0.5 dB ~ 0.8dB 정도 개선되고 bit rate 는 14% 정도 감소되는 성능을 확인하였다.

• 한국인터넷방송통신학회논문지
• /
• 제20권1호
• /
• pp.113-120
• /
• 2020

다시점 비디오는 하나의 장면을 여러 대의 카메라를 이용하여 여러 시점에서 촬영한 것이다. 따라서 사용자의 요구에 의해서 원하는 시점의 비디오를 제공할 수 있는 장점을 갖는다. 본 논문에서는 보다 향상된 기법을 활용하여 계층적 깊이 영상 구조 표현의 압축 성능을 향상시켰다. 계층적 깊이 영상을 H.264 기술로 부호화시켜 압축된 데이터 크기를 확인하고, 복원된 각 영상의 품질 성능을 알아보았다. H.264/AVC 기술은 쉽게 비디오와 관련된 콘텐트에 대한 H.264 기술로 확장될 수 있다. 그래서 깊이 정보를 포함하는 다시점 영상을 효과적으로 압축할 수 있는 계층적 깊이 영상 구조라는 새로운 콘텐트에 적용하는 방법을 제안하였다. 다시점 비디오 영상의 막대한 데이터 양이 감소되며, 고품질의 영상을 제공되고, 에러 복원 기능이 강화하는 장점이 있는 것을 보여주었다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2007년도 가을 학술발표논문집 Vol.34 No.2 (D)
• /
• pp.560-563
• /
• 2007

다시점 영상은 관찰자가 원하는 시점을 선택할 수 있고, 자연스러운 입체감을 제공한다. 하지만 카메라의 수가 증가함에 따라 데이터양이 늘어나는 단점이 있다. 본 논문은 시.공간적 상관성을 고려한 시점 간 움직임 벡터 예측 기법을 제안한다. 인접한 시점의 영상이 비슷한 움직임 정보를 가지는 특징을 이용해 현재 블록의 움직임 벡터의 예측간을 계산한다. 또한 시간적으로 연속한 프레임의 경우 비슷한 변이 벡터를 가지므로, 이전 프레임의 변이 벡터 정보를 현재 매크로블록의 변이벡터로 활용하는 방법을 제안한다.

• 방송공학회논문지
• /
• 제20권4호
• /
• pp.545-556
• /
• 2015

차세대 3차원 디스플레이 및 서비스를 지원하기 위한 HEVC 기반 3차원 비디오 코딩 표준(3D-HEVC)이 최근 완료되었다. 3D-HEVC는 소수의 텍스처 영상(Texture image)과 깊이 영상(Depth map image)으로 구성된 Multi-view plus depth (MVD) 포맷을 효율적으로 처리하기 위한 표준으로써 H.264/AVC와 HEVC에서 사용하는 단일 계층 부호화 방법과 더불어 텍스처 영상들간, 깊이 영상들간, 텍스처 영상과 깊이 영상들간의 예측을 수행하는 인터-컴포넌트 부호화 기술을 추가적으로 사용한다. 본 논문에서는 3D-HEVC 표준의 일반적인 코딩 구조, 3D-HEVC 기술의 기반이 되는 인터-컴포넌트 부호화 기술 및 인터-컴포넌트 부호화 효율에 중요한 영향을 미치는 시차 벡터(Disparity vector) 유도 기술에 대해 상세히 소개한다. 또한 본 논문에서는 3D-HEVC의 부호화 효율을 검증하기 위해 각 시점을 HEVC로 부호화한 방법과 단순 다시점 확장 표준인 MV-HEVC와의 성능평가를 수행한다.

• 대한전자공학회논문지SP
• /
• 제45권2호
• /
• pp.37-48
• /
• 2008

일반적으로 움직임 벡터는 한 카메라에서 촬영된 영상 속에서의 객체의 움직임 정보를 나타내고, 변이 벡터는 서로 다른 카메라에서 촬영된 영상 간 객체의 위치 차이를 나타낸다. 기존의 H.264/AVC에서는 단일 시점 영상을 위한 비디오 부호화 기술이기 때문에 변이 벡터를 고려하지 않는다. 하지만, 다시점 비디오 부호화 기술은 H.264/AVC를 기반으로 하여 시점 간 예측구조를 지원하기 때문에, 다른 시점에서의 영상을 참조할 때는 움직임 벡터 대신 변이 벡터가 고려된다. 따라서, 본 논문에서는 다시점 비디오 부호화 기술을 위해 전역 변이 벡터 대체 방법과 확장된 주변 블록 예측 방법을 이용하여 개선된 움직임/변이 벡터 예측 방법을 제안한다. 제안하는 방법을 통해서 움직임 벡터 탐색 범위를 ${\pm}16$으로 설정하고, 전역 변이 벡터 탐색 범위를 ${\pm}32$으로 설정한 경우 평균 1.07%의 BD (Bjontegaard delta)-비트율 감소를 얻었으며, 전역 변이 벡터 탐색 범위를 ${\pm}64$로 설정한 경우 평균 1.32%의 BD-비트율 감소를 얻을 수가 있었다.