• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.99-102
• /
• 2022

실재하는 물체나 장소를 디지털 카메라나 휴대폰 카메라로 여러 장 촬영하여 얻은 2차원 이미지 데이터셋으로부터 3차원 영상을 얻기 위해서 이미지를 이루는 각 pixel의 depth 정보를 얻는 것은 필수적인 과정이다. 주어진 이미지에서 depth 정보를 얻기 위해 Shuhan Shen은 PatchMatch 알고리즘을 활용하는 것을 제안하였다. 그 이후 PatchMatch 기반의 알고리즘은 널리 사용되며 우수한 성능을 보이고 있다. PatchMatch 기반의 알고리즘을 사용해 depth를 추정하는 과정에서 depth와 법선 벡터를 Zero-mean Normalized Cross Correlation(ZNCC)를 사용해 평가한다. 하지만, ZNCC는 depth를 평가하려는 pixel의 주변 pixel들의 밝기 값 혹은 색상 값의 분포를 사용하기 때문에 밝기 값이나 색상 값의 변화가 적은 texture-less region에서는 신뢰성이 떨어진다. 본 논문에서는 이 문제를 epipolar geometry를 활용한 기하학적 정보를 이용하여 개선하고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.11a
• /
• pp.267-269
• /
• 2020

입모양 인식(Lip Reading) 기술은 입술 움직임을 통해 발화를 분석하는 기술이다. 본 논문에서는 일상적으로 사용하는 10개의 상용구에 대해서 발화자의 안면 움직임 분석을 통해 실시간으로 분류하는 연구를 진행하였다. 시간상의 연속된 순서를 가진 영상 데이터의 특징을 고려하여 3차원 합성곱 신경망 (Convolutional Neural Network)을 사용하여 진행하였지만, 실시간 시스템 구현을 위해 연산량 감소가 필요했다. 이를 해결하기 위해 차 영상을 이용한 2차원 합성곱 신경망과 LSTM 순환 신경망 (Long Short-Term Memory) 결합 모델을 설계하였고, 해당 모델을 이용하여 실시간 시스템 구현에 성공하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.91-92
• /
• 2021

디지털 홀로그램(digital hologram, DH)은 2차원 데이터에 3차원의 정보를 포함하는 차세대 영상 콘텐츠이다. 따라서 이 콘텐츠의 유통을 위해서는 그 지적재산권이 반드시 보호되어야 한다. 본 논문에서는 이를 위한 딥러닝 기반 DH의 워터마킹 방법을 제안한다. 이 방법은 워터마크의 비가시성, 공격에 대한 강인성, 워터마크 추출 시 호스트 정보를 사용하지 않는 blind 워터마킹 방법이다. 이 네트워크는 고주파 성분이 강한 DH의 특성을 감안하여 호스트 데이터를 축소하지 않고 워터마크 데이터를 확장하여 워터마크를 삽입한다. 또한 홀로그램의 복원성능을 위한 학습을 제안한다. 제안한 방법을 다양한 종류와 강도의 공격에 대해 실험을 수행하여 그 성능을 보인다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.14-17
• /
• 2020

단안 영상에서의 깊이 추정은 주어진 시점에서 촬영된 2 차원 영상으로부터 객체까지의 3 차원 거리 정보를 추정하는 것이다. 최근 딥러닝 기반으로 단안 RGB 영상에서 깊이 정보 추정에 유용한 특징 맵을 추출하고 이를 이용해서 깊이를 추정하는 모델들이 기존 방법들의 성능을 넘어서면서 관련된 연구가 활발히 진행되고 있다. 또한 Attention Model 과 같이 특정 특징 맵의 채널 혹은 공간을 강조하여 전체적인 네트워크의 성능을 개선하는 연구가 소개되었다. 본 논문에서는 깊이 정보 추정을 위해 사용되는 특징 맵을 강조하기 위해서 Attention Model 을 추가한 AutoEncoder 기반의 깊이 추정 네트워크를 제안하고 적용 부분에 따른 네트워크의 깊이 정보 추정 성능을 평가 및 분석한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.829-831
• /
• 2022

포인트 클라우드 콘텐츠는 움직임이 있는 콘텐츠를 연속된 프레임에 3 차원 위치정보와 대응하는 색상으로 기록한 데이터이다. 강체 포인트 클라우드 데이터를 정합하기 위해서는 고전적인 방법이지만 강력한 ICP 정합 알고리즘을 사용한다. 그러나 국소적인 모션 벡터가 있는 비 강체 포인트 클라우드 콘텐츠는 기존의 ICP 정합 알고리즘을 통해서는 프레임 간 정합이 불가능하다. 본 논문에서는 비 강체 포인트 클라우드 콘텐츠를 지역적 확률 모델을 사용하여 프레임 간 포인트의 쌍을 맺고 개별 포인트 간의 모션벡터를 구해 정합 하는 방법을 제안한다. 정합 대상의 데이터를 2 차원 투영을 하여 구조화시키고 정합 할 데이터를 투영하여 후보군 포인트를 선별한다. 선별된 포인트에서 깊이 값 비교와 좌표 및 색상 유사도를 측정하여 적절한 쌍을 찾아준다. 쌍을 찾은 후 쌍으로 모션 벡터를 더하여 정합을 수행하면 비 강체 포인트 클라우드 콘텐츠 데이터에 대해서도 정합이 가능해진다.

• Journal of Broadcast Engineering
• /
• v.15 no.3
• /
• pp.434-453
• /
• 2010

In this paper, we propose 3DTE(3-Dimensional Transform Environment) that is based on 3DT(Dimensional Transform) that performs 2-dimensional integer DCT(Discrete Cosine Transform) based on $4{\times}4$ block and 1-dimensional integer DCT based on $4{\times}1$ block after collecting same frequency coefficients in neighboring $4{\times}4$ block and supports it's additional coding tools for high performance. The transform of 3DT can keep prediction error by using $4{\times}4$ block and reduce spatial redundancy additionally. The proposed 3DTE can provide coding tools to improve the coding efficiency with using 3DT. The performance of 3DTE compared to JM11.0 is average 3.58% and 5.40% bit savings for all test sequences and HD sequences, respectively, with keeping subjective video quality in High profile.

• Journal of Broadcast Engineering
• /
• v.19 no.5
• /
• pp.713-725
• /
• 2014

Multi-view and 3D video technologies for a next generation video service are widely studied. These technologies can make users feel realistic experience as supporting various views. Because acquisition and transmission of a large number of views require a high cost, main challenges for multi-view and 3D video include view synthesis, video coding, and depth coding. Recently, JCT-3V (joint collaborative team on 3D video coding extension development) has being developed a new standard for multi-view and 3D video. In this paper, major tools adopted in this standard are introduced and evaluated in terms of coding efficiency and complexity. This performance analysis would be helpful for the development of a fast 3D video encoder as well as a new 3D video coding algorithm.

• Journal of Broadcast Engineering
• /
• v.21 no.6
• /
• pp.878-888
• /
• 2016

This paper proposes an efficient method to remove the boundary artifacts of rendered views caused by damaged depth maps in the 3D video system. First, characteristics of boundary artifacts with the compression noise in depth maps are carefully studied. Then, the artifacts suppression method is proposed by the iterative projection onto convex sets (POCS) algorithm with setting the convex set in pixel and frequency domain. The proposed method is applied to both texture and depth maps separately during view rendering. The simulation results show the boundary artifacts are greatly reduced with improving the quality of synthesized views.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.293-295
• /
• 2013

최근 3D 비디오의 흥행과 더불어 사람들이 스테레오스코픽 비디오를 쉽게 접할 수 있게 되었다. 하지만 부적절한 스테레오 스코픽 비디오는 시청자로 하여금 어지럼증, 눈의 피로 등을 느끼게 할 수 있다. 따라서 비디오 컨텐츠를 분석하여 피로도를 예츨할 수 있는 지표의 개발이 필요하다. 스테레오스코픽 비디오에서 피로도를 유발시키는 원인은 여러 가지가 있으며, 본 논문에서는 비디오의 카메라 움직임 정보에 집중한다. 카메라의 흔들림은 심각한 멀미를 유발할 수 있다. 이는 스테레오스코픽 비디오에서 더욱 강렬하게 나타나게 된다. 우리는 스테레오스코픽 비디오의 흔들림을 측정하기 위해 3D 복원 기술을 사용한다. 특히, 좌안 비디오와 우안 비디오의 정보를 모두 활용하는 최적화된 알고리즘을 제안한다. 이를 통해 우리는 각 프레임의 카메라 위치와 방향 정보를 획득할 수 있다. 마지막으로 획득한 3차원 카메라 움직임 정보로부터 카메라의 흔들림을 잘 표현할 수 있는 점수를 계산한다.

• The Journal of the Institute of Internet, Broadcasting and Communication
• /
• v.14 no.1
• /
• pp.31-36
• /
• 2014

A study on the indoor positioning system has been active recently for the location based service indoors. In the 3 dimensional positioning system based on the acoustic signal and TDOA technology, the error characteristics of the estimated source position would be changed depending on the number of microphones and the pattern of the microphone array. In this paper, the estimated position error according to the measured distance error between the microphones and the signal source is analyzed, and the optimum microphone array is decided considering the estimated position error patterns and the total amount of the estimated position error.