• 한국정보디스플레이학회:학술대회논문집
• /
• 한국정보디스플레이학회 2007년도 7th International Meeting on Information Display 제7권2호
• /
• pp.1231-1234
• /
• 2007

This paper presents the overview of 3D video processing technologies for 3DTV such as 3D content generation, 3D video codec and video processing techniques for 3D displays. Some experimental results for 3D contents generation are shown in 3D mixed reality and 2D/3D conversion.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1076-1085
• /
• 2009

본 논문에서는 3차원 동영상의 시간적 중복성과 룩업 테이블을 이용한 효과적인 3차원 동영상 홀로그램 생성방법을 제안한다. 기존의 N-LT를 이용한 홀로그램 생성 기법은 미리 생성된 요소 프린지 패턴을 단순 이동 시켜 물체에 대한 홀로그램을 고속으로 생성할 수 있게 하였다. 하지만, 3차원 동영상 홀로그램의 경우는 정지영상에 대한 홀로그램에 비해 방대한 양으로 인하여 실시간 홀로그램을 생성하는데 많은 시간이 필요하게 되어 실직적인 제한이 있었다. 반면 이러한 3차원 동영상은 인접한 프레임은 유사한 정보를 갖는다는 시간적 중복성을 갖고 있고, 이러한 특성을 동영상 압축에 이용하고 있다. 따라서 본 논문에서는 이러한 3차원 동영상의 시간적 중복성을 이용하여 계산하여야 하는 데이터의 양을 현저하게 줄임으로써 3차원 동영상에 대한 홀로그램을 고속으로 생성할 수 있는 새로운 방법을 제안하고 실험을 통하여 검증하였다.

• International Journal of Contents
• /
• 제10권3호
• /
• pp.9-16
• /
• 2014

Depth-image-based rendering is generally used in real-time 2D-to-3D conversion for 3DTV. However, inaccurate depth maps cause flickering issues between image frames in a video sequence, resulting in eye fatigue while viewing 3DTV. To resolve this flickering issue, we propose a new 2D-to-3D conversion scheme based on fast and robust depth-map generation from a 2D video sequence. The proposed depth-map generation algorithm divides an input video sequence into several cuts using a color histogram. The initial depth of each cut is assigned based on a hypothesized depth-gradient model. The initial depth map of the current frame is refined using color and motion information. Thereafter, the depth map of the next frame is updated using the difference image to reduce depth flickering. The experimental results confirm that the proposed scheme performs real-time 2D-to-3D conversions effectively and reduces human eye fatigue.

• 한국콘텐츠학회논문지
• /
• 제15권2호
• /
• pp.31-39
• /
• 2015

2D-to-3D 비디오 변환 기술은 2D 비디오 속에 내재하는 깊이 단서를 이용하여 스테레오 영상을 생성함으로써 2D 비디오에 3D 효과를 부여한다. 이 기술은 완전한 3D 비디오 시대로 가는 과도 기간 동안 3D 콘텐츠의 부족문제를 해결할 수 있는 유용한 기술이다. 본 논문은 2D-to-3D 비디오 변환의 저 복잡도 구현을 위한 새로운 깊이 생성 방안을 제시한다. 제안 기법에서는 전역 깊이의 시방향 일관성을 위하여 패턴 기반의 전역 깊이 생성 기법을 제안하였다. 뿐만 아니라 객체 영역의 3D 입체감 개선을 위한 저 복잡도의 객체 깊이 개선 알고리즘도 추가적으로 제시하였다. 실험을 통해 제안 알고리즘이 복잡도와 주관적 화질 측면에서 기존 방식들에 비해 우수한 성능을 나타냄을 보인다.

• 한국정보디스플레이학회:학술대회논문집
• /
• 한국정보디스플레이학회 2009년도 9th International Meeting on Information Display
• /
• pp.1375-1378
• /
• 2009

In this paper, a new method to efficiently generate the holographic news ticker in holographic 3DTV or 3-D movies using N-LUT method is proposed. The proposed method is largely consisted of five steps: construction of the LUT for each character, extraction of characters in news ticker, generation and shift of the CGH pattern for news ticker using the LUT, composition of hologram pattern for 3-D video and news ticker and reconstruct the holographic 3D video with news ticker. From some simulation results confirmed the feasibility of the proposed method in fast generation of CGH patterns for holographic news ticker.

• 한국통신학회논문지
• /
• 제34권10B호
• /
• pp.1093-1103
• /
• 2009

본 논문에서는 효율적인 보조 정보 생성을 통한 새로운 분산 다시점 비디오 코딩 기법을 제안한다. 분산 비디오 코딩은 원영상과 디코더에서 생성한 보조 정보 간의 오차를 채널 코딩 기법으로 정정한다. 따라서 보조 정보를 정확히 만들수록 분산 비디오 코딩의 성능은 좋아지게 된다. 제안한 기법에서는 깊이지도를 기반으로 하는 다시점 비디오 코딩에 분산 비디오 코딩 기법을 적용한다. 또한 깊이지도를 이용한 3차원 워핑을 통해 인접한 시점의 영상으로부터 보조 정보를 생성하고, 3차원 워핑과 시간 축 상의 인접한 영상을 이용하는 MCTI(motion compensated temporal interpolation)를 효율적으로 혼합하여 사용한다. 실험 결과 제안한 기법으로 생성한 보조 정보는 MCTI와 3차원 위핑을 따로 사용한 방법보다 평균 0.97dB의 PSNR이 향상되었음을 알 수 있었다. 또한 R-D 곡선 상에서 동일 PSNR 대비 평균 8.01%의 비트율이 감소되었다.

• 한국통신학회논문지
• /
• 제37C권10호
• /
• pp.859-869
• /
• 2012

본 논문에서는 3차원 동영상의 시 공간적 정보 중복성 (TSR: temporal-spatial redundancy)과 노블 룩업테이블(N-LUT: novel look-up table)를 이용한 효과적인 3차원 동영상 홀로그램 생성기법인 TSR-N-LUT을 제시하였다. 제안된 기법에서는 먼저, DPCM (differential pulse code modulation) 알고리즘을 이용하여 3차원 동영상 프레임간의 시간적 중복 데이터를 제거한 다음, 잔여 영상에 대해서도 각 프레임별로 영상라인 간 중복 데이터를 제거하게 된다. 따라서, 시 공간적인 중복 데이터가 제거된 물체영상에 N-LUT 기법을 적용함으로써 효과적으로 3차원 비디오 홀로그램을 합성하게 된다. 실험결과 제안된 TSR-N-LUT 기법은 기존 방법에 비해 평균적으로 홀로그램 계산을 위한 물체 포인트 수가 23.72% 감소함과 동시에 홀로그램 생성속도 역시 19.55% 개선됨을 보임으로써 제안된 기법의 실제 응용 가능성을 제시하였다.

• Journal of Information Processing Systems
• /
• 제14권6호
• /
• pp.1318-1330
• /
• 2018

Video captioning refers to the process of extracting features from a video and generating video captions using the extracted features. This paper introduces a deep neural network model and its learning method for effective video captioning. In this study, visual features as well as semantic features, which effectively express the video, are also used. The visual features of the video are extracted using convolutional neural networks, such as C3D and ResNet, while the semantic features are extracted using a semantic feature extraction network proposed in this paper. Further, an attention-based caption generation network is proposed for effective generation of video captions using the extracted features. The performance and effectiveness of the proposed model is verified through various experiments using two large-scale video benchmarks such as the Microsoft Video Description (MSVD) and the Microsoft Research Video-To-Text (MSR-VTT).

• 방송공학회논문지
• /
• 제19권5호
• /
• pp.713-725
• /
• 2014

차세대 영상 기술의 하나로 다양한 분야에서 주목받고 있는 고품질 다시점 및 3차원 콘텐츠들에 대한 비디오 부호화 기술의 연구 및 표준화가 활발히 진행되고 있다. 다시점 및 3차원 비디오 기술은 복수의 시점을 이용하여 사용자에게 실감나는 영상을 제공할 수 있다. 하지만, 많은 시점을 획득 및 전송하는 것은 한계가 있으므로, 소수의 시점을 이용하여 다양한 시점을 제공하는 연구가 주를 이룬다. 이러한 연구에는 전송 시점을 줄이는 대신 깊이 정보를 전송하여 전송된 시점으로부터 더욱 정확히 임의 시점을 생성하는 기술과 시점간 정보 중복성을 제거하기 위한 부호화 기술이 있다. 최근 국제 표준화 기구인 JCT-3V(Joint Collaborative Team on 3D Video Coding Extension Development)에서는 다시점 및 3차원 비디오 영상을 효율적으로 부호화할 수 있는 기술에 대하여 표준화가 진행되고 있다. 본 논문은 현재 JCT-3V에서 HEVC(High Efficiency Video Coding) 기반으로 표준화가 진행 중인 3D-HEVC 부호화 기술에 대해 살펴보고 그 부호화 및 복잡도 성능을 분석하였다. 이러한 성능 분석은 향후 부호화 성능 향상을 위한 알고리즘 개발 및 고속 부호화기 개발을 위한 부호화 툴의 선별 및 조정에 유용할 것으로 판단된다.

• 한국측량학회지
• /
• 제27권4호
• /
• pp.453-460
• /
• 2009

3차원 정보를 추출하기 위해서는 중복된 영역에 대하여 서로 다른 시야각을 가지고 있는 입체 영상이 존재하여야 하며, 비디오 프레임 영상에 있어서 입체 모자이크 영상은 연속적인 프레임 영상에서 좌우 슬라이스 영상을 추출하여 모자이킹 함으로써 제작할 수 있다. 따라서 본 논문에서는 항공기에 탑재한 비디오카메라로 촬영한 영상의 활용성을 극대화하기 위하여 3차원 정보 추출이 가능한 입체 모자이크 영상을 제작하는데 목적을 두고 있다. 모자이크 영상을 제작하기 위해서는 인접한 비디오 프레임 영상간의 위치관계를 규명하기 위한 이동변수가 결정되어져야 하므로, 본 연구에서는 자유 모자이크 방법으로 GPS/INS 데이터 없이 인접한 프레임 영상간의 상호표정요소를 이용한 방법을 사용하였다. 이동변수를 결정 한 후, 영상등록, 영상 슬라이싱, 접합선 추출 및 3D 모자이킹 과정을 거쳐 최종적인 입체 모자이크 영상을 제작하였다. 본 연구의 결과로써 제작된 자유 입체 모자이크 영상과 그 적용 가능성을 분석하기 위하여 종시차와 횡시차를 분석하여 나타내었다.