• 전자통신동향분석
• /
• 제32권5호
• /
• pp.39-48
• /
• 2017

Since the world's first 3D commercial film with red-blue glasses was introduced in 1922, remarkable progress has been made in the field of 3D video. 3D video content gained enormous popularity with the movie "Avatar," which greatly increased the sale of 3D TVs. This momentum has weakened owing to lack of 3D content. However, the recent trend of virtual reality (VR) and augmented reality (AR) made 360 VR video and 3D games using a head mounted display wide spread. All these experiences mentioned above require wearing glasses to enjoy 3D content. Super multi-view content technology, on the other hand, enables viewers to enjoy 3D content without glasses on a super multi-view display. In this article, we introduce the technologies used to make super multi-view content, interact with it, and author content, which are developed by ETRI.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.259-262
• /
• 2008

본 논문에서는 다시점 비디오와 깊이 정보의 상관도를 이용해서 현재 JVT(joint video team)에서 표준화 된 다시점 비디오 부호화 (multi-view video coding : MVC)의 참조 소프트웨어인 JMVM(joint multi-view video model)을 기반으로 하여 효율적인 다시점 비디오 압축 방법을 제안한다. 기존의 일반적인 비디오 부호화 방식은 단일 시점에 대한 비디오 부호화 기술이기 때문에 다시점 비디오 전송을 위해서는 시점 당 각각 전송 채널에 필요하다. 하지만 다시점 비디오 부호화 기법을 이용하게 되면, 단일 전송 채널을 이용하여 전송이 가능하다. 본 논문에서 제안된 방법은 입력된 다시점 입력 영상과 해당 하는 깊이 정보를 이용하여 시점 간의 예측 방법의 효율성을 높였다. 다시점 입력 영상과 깊이 정보의 전역 변이 벡터 (global disparity vector : GDV)의 상관도를 이용하였으며, 다시점 영상과 깊이 정보를 동시에 전송해야 할 경우 복잡도를 낮출 수 있고, 약 $0.01{\sim}0.1dB$의 PSNR 이득을 얻을 수 있다.

• 한국콘텐츠학회논문지
• /
• 제17권11호
• /
• pp.312-318
• /
• 2017

최근 고화질 영상 입력장치가 일반화 되고 있으며, 실시간으로 입력된 영상을 한 곳에서 동시에 볼 수 있는 중앙관제시스템이 필수 요소가 되고 있다. 이때 프로그램을 따로 설치하지 않고, 웹을 통한 접근을 하려는 시도들이 있으나, 여러 개의 고화질 영상을 동시에 웹 브라우저를 통해 시청하려하면, 웹 브라우저가 강제 종료되는 현상이 발생된다. 본 논문에서는 실시간 고화질 영상에 대한 웹기반의 HLS 멀티뷰 시스템을 제안한다. 화면으로 보이는 멀티뷰 화면을 트랜스코딩을 통해서 재구성하였고, 보안의 취약점이 있는 ActiveX를 사용하지 않으면서도, 통시에 웹브라우저를 통해서 여러 영상 입력을 모니터링 할 수 있는 시스템을 구현 하였다.

• 한국멀티미디어학회논문지
• /
• 제18권10호
• /
• pp.1205-1215
• /
• 2015

Efficient multi-view coding techniques are needed to reduce the complexity of multi-view video which increases in proportion to the number of cameras. To reduce the complexity and maintain image quality and bit-rates, an motion estimation method and temporal prediction structure are proposed in this paper. The proposed motion estimation method exploits the characteristic of motion vector distribution and the motion direction and motion size of the block to place search points and decide the search patten adaptively. And the proposed prediction structure divides every GOP to decide the maximum index of hierarchical B layer and the number of pictures of each B layer. Experiment results show that the complexity reduction of the proposed temporal prediction structure and motion estimation method over hierarchical B pictures prediction structure and TZ search method which are used in JMVC(Joint Multi-view Video Coding) reference model can be up to 45∼70% while maintaining similar video quality and bit rates.

• 방송공학회논문지
• /
• 제12권6호
• /
• pp.565-573
• /
• 2007

본 논문에서는 JVT에서 표준화가 진행 중인 다시점 비디오 부호화의 부호화 효율을 높이기 위해 다시점 비디오의 예측구조의 특성을 고려하여 움직임벡터 예측값을 선택하는 방법을 제안한다. 다시점 비디오 부호화에서 시간 방향과 뷰 방향의 예측을 수행하면서 서로 다른 성향의 움직임벡터가 발생된다. 또한 주변 블록에서 시간 방향과 뷰 방향 참조의 움직임벡터가 혼재하는 상황에서 동일한 성향의 움직임벡터가 선택되지 않는 경우가 발생되어 움직임벡터의 예측 효율이 저하된다. 이에 다시점 비디오 부호화의 예측구조에 따라 움직임벡터 예측값을 선택할 수 있는 방법을 제안한다. 제안하는 움직임벡터 예측값 선택 방법을 통하여 다시점 비디오 부호화의 압축 효율을 높일 수 있었으며, JMVM 3.6에서 움직임벡터 예측값을 선택하는 방법을 사용하는 다시점 비디오 부호화와 비교하여 PSNR(Peak Signal-to-Noise Ratio)이 약$0.03{\sim}0.1$ dB 정도 향상되었다.

• 한국콘텐츠학회논문지
• /
• 제17권3호
• /
• pp.329-336
• /
• 2017

비디오 압축에서 움직임 추정 기법은 영상 화질과 발생 비트량에 있어서 중요한 역할을 하지만 많은 계산 복잡도를 요구한다. 다수의 카메라로 촬영한 동영상인 다시점 비디오는 카메라의 수에 비례하여 데이터의 양이 기하급수적으로 증가하기 때문에 움직임 추정에 많은 계산량을 필요하다. 본 논문에서 다시점 비디오의 부호화를 위한 움직임 추정의 계산량을 줄이면서 화질과 비트량을 유지하는 움직임 추정 기법을 제안한다. 제안한 움직임 추정 기법은 움직임 벡터들의 분포 특성과 영상 블록들의 움직임 특성을 이용한다. 제안한 움직임 추정기법은 계층적 움직임 추정 기법으로 대칭형 멀티 마름모 패턴, 대각선 패턴, 사각형 패턴 그리고 정교한 패턴으로 구성되어 있다. 제안한 움직임 추정 기법은 움직임 벡터들과 블록 움직임의 특성들을 이용하여 패턴들의 탐색 점들을 탐색 영역 내에 대칭적으로 배치하고 블록 움직임 크기에 따라 적응적으로 탐색 패턴을 선택하여 움직임 벡터를 추정한다. 제안한 기법의 성능은 JMVC의 고속 움직임 추정 기법인 TZ 탐색 기법과 전역 탐색 기법인 PBS (Pel Block Search)의 성능과 비교한 경우, 영상 화질면에서와 발생 비트량면에서 비슷하지만 움직임 추정에 필요한 계산량을 각각 약 40~75%, 98%감소시킨다.

• 방송공학회논문지
• /
• 제11권1호
• /
• pp.116-129
• /
• 2006

인터넷을 통한 데이터 전송 기술의 발전은 다양한 실감 콘텐츠를 확산시키는 역할을 하고 있고, 이러한 실감 콘텐츠의 하나로 다시점 비디오가 연구되고 있다. 다시점 비디오는 여러 대의 카메라로부터 획득한 영상을 사용자에게 전달해 원하는 시점에서 영상을 시청할 수 있도록 하는 차세대 영상이다. 다시점 영상을 공급하기 위해서는 일반적으로 카메라 개수와 같은 개수의 엔코더와 디코더가 필요하며, 또한 상대적으로 큰 전송 대역폭을 필요로 한다. 본 논문에서는 상기 문제점을 해결하기 위해서 단일 엔코더와 디코더만을 이용하는 다시점 비디오 시스템을 제안한다. 부호화에서는 다시점 YUV 비디오를 GOP 단위로 믹싱하여 l 개의 YUV 스트립을 만든 후에, 단일 H.264/ AVC 엔코더로 부호화하여 압축 비트열을 생성한다. 또한 복호화도 단일 디코더 및 이를 제어하는 스케줄러로 구성된다. 스케줄러는 디코더 이용률과 프레임 스킵을 활용하여 각 시점 영상들이 동등한 복호화 프레임 개수를 가지게 한다. 또한 프레임 스킵에서는 비용 함수를 이용하여 H.264/AVC 프로화일에 따른 효율적인 프레임 선택 방법을 제안한다. 다양한 메인 및 베이스라인 프로화일 다시점 영상들을 활용하여 제안 방법의 성능을 검증하였다. 실험 결과는 각 시점 영상이 동등한 디코더 이용률을 얻는 것을 보여준다. 또한 rate-distortion 커브를 이용하여 제안한 방식과 동시 방식의 성능을 검증하였다.

• 대한전자공학회논문지SP
• /
• 제45권6호
• /
• pp.17-26
• /
• 2008

본 논문에서는 분산 비디오 코딩기법을 이용한 조명 보상 기반의 다시점 비디오 코딩 방법을 제안한다. 다시점 비디오 코딩을 위한 분산 비디오 코딩은 주변 정보를 생성하는 방법에 따라 크게 움직임 예측 및 보간 방법과 시점 간 예측 및 보간 방법으로 나눌 수 있다. 시점 간 예측 및 보간 방법은 다시점 비디오의 특성을 이용하는 방법으로, 시점 간 상관성에 따른 보조 정보의 생성을 통하여 분산 코딩의 효율을 향상 시킬 수 있다. 그러나, 실제 다시점 영상의 특성상 시점 간 예측에서 각 시점의 카메라 파라미터 및 조명 조건 변화에 따라 부정확한 시점 간 예측 및 보간이 이루어질 수 있다. 본 논문에서는 다시점 비디오에 분산비디오 코딩기법을 적용함에 있어서, 조명 조건을 보상하는 방법을 제안한다. 이를 위하여 인코더에서 AC 변환계수의 패리티 비트에 추가하여 DC 정보를 전송하고, 디코더에서 보조 정보 생성 시 추가 전송된 DC 성분을 이용하여 조명 조건이 보상된, 보다 정확한 보조 정보를 생성하는 방법을 제안한다. 제안된 방법을 통하여 조명보상을 적용하지 않은 경우와 비교했을 때, 같은 비트율에서 $0.1{\sim}0.2dB$의 화질 향상을 얻을 수 있었다.

• 융합보안논문지
• /
• 제15권2호
• /
• pp.3-9
• /
• 2015

디지털 압축 기술로 인한 방송 대역폭 증가 효과와 방송수신기의 영상처리기술 발달에 따라 디지털방송에 멀티 뷰 기능을 활용하는 연구 및 응용 개발이 진행되고 있다. 디지털방송에서의 멀티 뷰 기능은 시청자에게 서너 개의 방송프로그램 영상을 동시에 시청할 수 있게 하거나 스포츠 방송의 경우 멀티 앵글 영상을 제공하여 원하는 시점에서 경기를 감상할 수 있도록 하는데 주로 응용되고 있는데 백 수십 개의 방송프로그램을 제공하고 있는 근래의 디지털방송 양상을 반영하고 데이터서비스의 다양한 멀티 뷰 활용을 지원하는 통합적인 멀티 뷰 영상 지원 방법이 존재하지 않고 있다. 이 에, 본 논문은 디지털방송 사업자가 운영하는 모든 방송프로그램 영상들을 포함하는 멀티 뷰 영상을 구성하고 이를 데이터서비스가 활용할 수 있도록 DVB 표준에 정합되는 멀티 뷰 영상 활용 정보를 구성하고 전송하는 방식, 그리고 데이터서비스가 멀티 뷰 영상을 자신의 기능으로 수월하게 활용할 수 있도록 방송수신기의 미들웨어를 확장하는 방법을 제안한다.

• 대한전자공학회논문지SP
• /
• 제47권6호
• /
• pp.127-136
• /
• 2010

다시점 비디오는 카메라간의 다른 위치와 불완전한 카메라 보정(calibration)으로 인접한 시점의 영상 내에 존재하는 동일물체 간에 색상 차이가 발생할 수 있다. 이러한 색상 불일치(color mismatch)는 시점 간 움직임 예측(inter-view prediction) 수행 시, 오정합을 발생시켜 다시점 비디오 부호화(Multi-view Video Coding : MVC) 성능을 저하시키는 원인이 된다. 본 논문에서는 이웃하는 영상 간에 존재하는 휘도 및 색차 성분 불일치를 보상하여 다시점 비디오 부호화의 압축률을 향상시키는 전처리 기법을 제안한다. 제안된 기법에서는 모든 시점의 영상을 히스토그램 매칭 기법에 의해 정해진 참조 시점 영상의 색상을 기준으로 보정된다. 또한 히스토그램 매칭 수행 전에 YCbCr 색상공간 변경 시에 색차 성분의 대표 값 추출(chrominance subsampling)에 사용되는 Cosited filter를 영상의 각 색상성분에 적용하여 성능을 더욱 높일 수 있다. 히스토그램 매칭은 YCbCr 색상공간에서 RGB 색상공간으로 변환하여 각 색상성분에 적용한다. 이 과정에서 영상에 존재하는 에지의 방향성과 화소 값의 존재 범위를 고려한 효과적인 색상 변환 기법이 사용된다. 실험을 통해 제안하는 전처리 기법이 다른 기법들에 비해 향상된 부호화 효율을 가지는 것을 확인하였다.