• Journal of Broadcast Engineering
• /
• v.26 no.1
• /
• pp.70-78
• /
• 2021

Estimating 3D information from a single image is one of the essential problems in numerous applications. Since a 2D image inherently might originate from an infinite number of different 3D scenes, thus 3D reconstruction from a single image is notoriously challenging. This challenge has been overcame by the advent of recent deep convolutional neural networks (CNNs), by modeling the mapping function between 2D image and 3D information. However, to train such deep CNNs, a massive training data is demanded, but such data is difficult to achieve or even impossible to build. Recent trends thus aim to present deep learning techniques that can be trained in a weakly-supervised manner, with a meta-data without relying on the ground-truth depth data. In this article, we introduce recent developments of weakly-supervised deep learning technique, especially categorized as scene 3D reconstruction and object 3D reconstruction, and discuss limitations and further directions.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.185-188
• /
• 2015

미리 저장된 객체의 3차원 특징점(Feature point) 좌표와 카메라 영상의 2차원 특징점 좌표를 매칭(Matching)하여 객체를 추적하는 방식의 경우, 카메라의 시점이 변할 때 특징점에서 발생되는 원근 효과(Perspective effect)가 반영되지 못하여 특징점 매칭 오류가 발생한다. 따라서 특징점에서 발생하는 원근 효과를 반영하여 정확한 카메라 포즈를 추정하기 위해 이전 프레임(Frame)의 카메라 포즈(Camera Pose)에 맞추어 텍스쳐가 포함 된 3차원 객체의 모델을 렌더링 하여 원근 효과를 적용한 후, 현재 카메라 영상과 특징점 매칭하여 프레임 사이의 카메라 움직임을 구하여 객체를 추적한다. 더 나아가 본 논문에서는 특징점 매칭에서 발생하는 작은 오류들로 인한 미세한 카메라 움직임은 2단계의 임계치(Threshold)를 적용하여 떨림 현상으로 간주하여 떨림 현상이 제거된 객체 추적을 수행한다. 매 프레임마다 카메라 포즈에 맞춘 추적 객체를 렌더링 하기 때문에 떨림 현상으로 간주되어 제거된 카메라 움직임은 누적되지 않고, 추적 오류도 발생시키지 않는다.

• Broadcasting and Media Magazine
• /
• v.26 no.2
• /
• pp.9-17
• /
• 2021

LiDAR는 조사된 빛이 피사체에 반사되어 돌아오는 시간을 측정하여 거리를 측정하는 장비로서, 넓은 영역과 긴 거리에 걸쳐 실세계의 정밀한 3차원 정보를 포인트 클라우드 데이터로 제공해 준다. 이러한 대용량 포인트 클라우드 데이터는 자율주행 자동차, 로봇, 3차원 지도 제작 등 컴퓨터 비전 기술을 이용하는 다양한 분야에 널리 활용될 수 있다. 그러나 유리 구조물을 포함하는 피사체를 LiDAR로 촬영하는 경우, 유리면에서 빛의 반사로 인한 가상의 포인트가 생성되어 실제 3차원 정보를 왜곡하는 문제가 있다. 포인트 클라우드의 후속 처리를 효율적으로 수행하기 위하여, 이러한 왜곡을 제거하는 전처리 기술이 필요하다. 본 고에서는 LiDAR의 취득 원리와 3차원 포인트 클라우드의 특성을 고찰하고, 유리 반사로 인한 왜곡된 가상의 포인트를 자동으로 검출하고 제거하는 새로운 연구 주제를 소개한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.256-259
• /
• 2021

본 논문에서는 사람을 키넥트로 촬영하여 3 차원 아바타로 복원하여 연예인처럼 춤을 추게 하는 기술을 설계 구현하였다. 기존의 순수 딥러닝 기반 방식과 달리 본 기술은 3 차원 인체 모델을 사용하여 안정적이고 자유로운 결과를 얻을 수 있다. 우선 인체 모델의 기하학적 정보는 3 차원 조인트를 사용하여 추정하고 DensePose를 통하여 정교한 텍스쳐를 복원한다. 여기에 3 차원 포인트-클라우드와 ICP 매칭 기법을 사용하여 의상 모델 정보를 복원한다. 이렇게 확보한 신체 모델과 의상 모델을 사용한 아바타는 신체 모델의 rigged 특성을 그대로 유지함으로써 애니메이션에 적합하여 PSY 의 <강남스타일>과 같은 춤을 자연스럽게 표현하였다. 개선할 점으로 인체와 의류 부분의 좀 더 정확한 분할과 분할과정에서 발생할 수 있는 노이즈의 제거 등을 확인되었다.

• Korea Multimedia Society
• /
• v.4 no.3
• /
• pp.34-43
• /
• 2000

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.105-106
• /
• 2018

본 논문에서는 동적 프로젝션 맵핑을 구현하기 위하여 3차원 공간의 깊이 정보와 대상 객체의 색상영상에서의 특징점을 추출하여 3차원 공간상에서 움직이는 2차원 평면 객체의 자세를 안정적으로 추정하는 기법을 제안한다. 제안 기법은 타겟 이미지를 출력하여 타겟 이미지 보다 큰 평면 패널에 부착하고, 이 평면 패널을 3차원 공간상에서 움직이는 환경에서 타겟 이미지의 자세를 안정적으로 추정하기 위하여 고안되었다. 제안 기법에서는 우선 패널이 움직일 수 있는 깊이 영역을 지정하여 해당 깊이 영역에 존재하는 2차원 패널을 추출하고, 패널의 사각영역을 추출한다. 또한, 색상 영상에 SURF 알고리즘을 적용하여 2차원 평면상에 부착된 타겟 이미지의 영역을 색상 특징을 기반으로 함께 추출하여 패널의 사각 영역과 타겟 이미지의 상대적인 위치 정보를 추출한다. 셋업 단계에서 추출된 타겟 이미지의 상대적인 위치 정보를 이용하여, 조명의 변화에 의하여 순간적으로 타겟 이미지의 특징점 추적에 실패한 경우, 패널의 사각 영역에 의해 계산된 타겟 이미지의 상대적 위치 정보를 계산하여 자세 추정에 사용함으로써 움직이는 타겟 이미지의 3차원 자세를 안정적으로 추정할 수 있도록 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.215-218
• /
• 2008

본 논문에서는 스테레오 카메라로부터 획득된 좌, 우 영상의 변이를 추정하여 3차원 공간 좌표(x, y, z)를 얻어내고, 거리측정과 가상공간 제어를 통해 사용자에게 현실감을 제공하는 실시간 3차원 공간 인식 시스템을 제안한다. 스테레오 카메라로 부터 획득된 좌, 우 영상은 시점의 차이 때문에 동일 물체에 대한 좌, 우 영상의 좌표 값의 차이를 발생시키는 데 이를 변이(disparity)라 정의한다. 관심 영역의 변이를 추정할 때 일반적으로 관심 영역의 모든 화소(pixel)의 변이를 추정하지만, 제안한 알고리즘에서는 관심 영역의 2차원 중심 좌표(x, y)의 변이만을 추정하여 계산량을 줄이고 실시간 처리가 가능하도록 하였다. 카메라 파라미터를 이용하여 획득된 변이로부터 깊이 정보(depth)를 얻어내고 3차원 공간 좌표를 획득한다. 손을 관심 영역으로 설정한 시스템에서 3차원 공간 좌표는 실시간으로 사용자의 손의 움직임에 의해 획득되고, 가상공간(virtual space)에 적용되어 사용자가 가상공간을 조작할 수 있는 듯한 느낌을 준다. 실험을 통해 제안한 알고리즘이 1.5m 거리 내에서의 깊이 측정시 평균 0.68cm의 오차를 가짐을 확인 할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.297-298
• /
• 2018

증강현실 콘텐츠에서 가려짐 표현은 사실감을 위한 필수적이다. 가려짐이란 가상 물체의 일부가 실제 사물에 의해서 가려져서 표현되는 것을 의미한다. 이는 카메라의 트래킹 정보와 함께 현재 관찰하고 있는 실제 세계의 3차원 스캔 정보를 같이 획득해야 한다. 카메라 트래킹이란 현재 카메라가 세상의 어디에 위치해있는지, 어떤 자세로 바라보고 있는지에 대한 정보를 실시간으로 획득하는 기술이다. 3차원 스캐닝이란 실제 물체를 이루는 모든 점들의 3차원 위치 관계를 파악하는 과정이다. 가상물체의 3차원 위치와 자세가 실제물체의 위치/자세와의 관계를 통해서 가상물체의 그려야할 부분과 그리지 말아야할 부분을 판단할 수 있다. 본 논문에서는 트래킹과 스캐닝을 동시에 처리하여 가려짐 표현이 가능한 증강현실용 트래킹 기술을 제안한다. 카메라 트래킹이 실내외에서도 제약없이 동작하기 위해서 스테레오 카메라를 활용하였다. 트래킹은 카메라 프레임간 특징점들의 상호 관계를 파악하는 방법에 의해서 구하였다. 스테레오 카메라 이미징을 통해서 매 프레임마다 실세계의 3차원 깊이정보를 파악하게 되고, 이를 앞서구한 카메라 위치자세를 통해서 3차원 깊이 데이터를 병합하는 과정으로 스캐닝기술을 구현하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.14-17
• /
• 2010

Following the proliferation of three-dimensional video contents and displays, many terrestrial broadcasting companies prepare for starting stereoscopic 3DTV service. In terrestrial stereoscopic broadcast, it is a difficult task to code and transmit two video sequences while sustaining as high quality as 2DTV broadcast attains due to the limited bandwidth defined by the existing digital TV standards such as ATSC. Thus, a terrestrial 3DTV broadcasting system with heterogeneous video coding systems is considered for terrestrial 3DTV broadcast where the left image and right images are based on MPEG-2 and H.264/AVC, respectively, in order to achieve both high quality broadcasting service and compatibility for the existing 2DTV viewers. Without significant change in the current terrestrial broadcasting systems, we propose a joint rate control scheme for stereoscopic 3DTV service. The proposed joint rate control scheme applies to the MPEG-2 encoder a quadratic rate-quantization model which is adopted in the H.264/AVC. Then the controller is designed for the sum of two bit streams to meet the bandwidth requirement of broadcasting standards while the sum of image distortions is minimized by adjusting quantization parameter computed from the proposed optimization scheme. Besides, we also consider a condition on quality difference between the left and right images in the optimization. Experimental results demonstrate that the proposed bit rate control scheme outperforms the rate control method where each video coding standard uses its own bit rate control algorithm in terms of minimizing the mean image distortion as well as the mean value and the variation of absolute image quality differences.

• Proceedings of the Korean Information Science Society Conference
• /
• 2007.10b
• /
• pp.178-183
• /
• 2007

디지털 방송 기술의 비약적인 발전은 그 수요와 공급을 늘려가며 디지털 컨버전스 시대의 매력적인 산업으로 디지털 방송을 급부상시키고 있다. 이러한 발전 추세를 반영하듯 국내 아날로그 방송 서비스는 2012년을 기점으로 종료해야 하는 운명을 맞아 그 가속화는 더욱 빨라질 것으로 예상된다. 한편, 디지털 방송의 한 분야인 지상파 이동 멀티미디어 방송(Digital Multimedia Broadcasting, DMB) 역시 시류에 발맞추어 디지털 방송과 모바일 환경의 결합이라는 추가적인 이점을 안고, 몇 가지 서비스를 선보이고 있다. 하지만 이와 같은 이점에도 불구하고, DMB 서비스는 교육 혹은 광고 분야 등의 뚜렷한 수요의 증가를 가져오는 콘텐츠에 대한 제작과 배포가 쉽지 않고, 그 방법과 기준이 혼재하는 어려움으로 인하여 DMB가 지닌 무한한 가능성에 비해 크게 이슈화가 되지 못하고 있는 실정이다. 본 연구에서는 이러한 점에 착안하여, 지난 연구들에서 얻은 경험을 밑거름 삼아 기본적인 콘텐츠의 제작 및 배포는 물론 DMB 서비스에서 특화될 수 있는 콘텐츠를 더욱 쉴게 생성할 수 있으며, 기술적으로는 3차원 객체를 지원하는 부분을 보강하며, 편리한 인터페이스 등을 포함하는 저작 도구를 개발한다. 이를 위해 기존 연구들에서 다루어온 MPEG-4 Part 11 : BIFS(Binary Format for Scenes)를 기반으로 국내외에서 연구된 기존의 저작도구들을 비교하며, 새로운 아이디어들을 접목시켜 향후 DMB 서비스에서 효율적으로 쓰여 질 수 있는 저작도구를 개발한다.