• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.11a
• /
• pp.142-143
• /
• 2016

본 논문에서는 애니메이션, 드라마, 영화 등 영상으로 제작된 콘텐츠를 OpenGL를 사용하여 3D영상으로 재구성한다. 먼저 현재영상과 이전영상의 움직임의 차이로부터 운동 축적 데이터를 사용하여 모션 깊이맵을 생성한다. 그 깊이맵을 사용하여 OpenGL에서 사용하는 텍스쳐 맵핑으로 영상을 출력하고 3D 영상을 구현하기 위해 좌영상과 우영상을 생성하여 3D 입체영상을 만든다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2024.05a
• /
• pp.727-730
• /
• 2024

최근 딥러닝 기술이 급속히 발전하며 현대 사회의 다양한 응용분야에서 빠르게 적용되고 있다. 특히 영상 기반의 딥러닝 기술은 자연어 처리와 함께 인공지능 기술의 핵심 연구 분야로 많은 연구가 진행되고 있다. 논문에서는 최근 많은 연구가 진행되고 있는 영상의 의미적 분할 (Semantic Segmentation) 성능을 향상하기 위한 연구를 진행한다. 특히 모델에서 고정밀의 의미적 분할을 수행할 수 있도록 추가적인 정보로써 의사 깊이맵 (Pseudo Depth-Map)을 활용하는 방법을 제안하였다. 더불어, 의사 깊이맵을 모델 상에서 효과적으로 학습시키기 위하여 다중 디코더 모델과 학습 효율을 높이는 학습 스케줄링 전략을 제안한다. 의사 깊이맵과 다중 디코더 모델 기반의 제안 모델은 기존 의미적 분할 모델과 비교하여 iIoU 기준 2%의 성능 향상을 보였다.

• Journal of Broadcast Engineering
• /
• v.22 no.4
• /
• pp.429-437
• /
• 2017

2D-to-3D conversion technology has been studied over past decades and integrated to commercial 3D displays and 3DTVs. Generally, depth cues extracted from a static image is used for generating a depth map followed by DIBR (Depth Image Based Rendering) for producing a stereoscopic image. Further, motion is also an important cue for depth estimation and is estimated by block-based motion estimation, optical flow and so forth. This papers proposes a new method for motion depth generation using Motion History Image (MHI) and evaluates the feasiblity of the MHI utilization. In the experiments, the proposed method was performed on eight video clips with a variety of motion classes. From a qualitative test on motion depth maps as well as the comparison of the processing time, we validated the feasibility of the proposed method.

• The Journal of the Korea institute of electronic communication sciences
• /
• v.16 no.6
• /
• pp.1311-1316
• /
• 2021

In this paper, we present a bifocal stereo camera system combining two cameras with different focal length cameras to generate stereoscopic image and their corresponding depth map. In order to obtain the depth data using the bifocal stereo camera system, we perform camera calibration to extract internal and external camera parameters for each camera. We calculate a common image plane and perform a image rectification for generating the depth map using camera parameters of bifocal stereo camera. Finally we use a SGM(Semi-global matching) algorithm to generate the depth map in this paper. The proposed bifocal stereo camera system can performs not only their own functions but also generates distance information about vehicles, pedestrians, and obstacles in the current driving environment. This made it possible to design safer autonomous vehicles.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.12-15
• /
• 2016

요즘 들어, 3차원 콘텐츠의 수요는 지속적으로 증가하고 있다. 3차원 콘텐츠의 품질은 해당 장면의 깊이 정보에 큰 영향을 받기 때문에 정확한 깊이 정보를 얻는 방법이 매우 중요하다. 깊이 정보를 얻는 방법은 크게 수동형 방식과 능동형 방식으로 나뉘는데, 수동형 방식은 계산 과정이 복잡하고 깊이맵의 품질이 보장되지 않는 단점을 갖기 때문에 능동형 방식이 많이 사용되고 있다. 능동형 방식은 깊이 카메라를 이용하여 직접적인 깊이 정보를 얻는 방식으로, 대게 ToF(Time-of-flight) 기술이 사용된다. 이 논문에서는 ToF 깊이 카메라로 촬영된 실제 깊이맵의 특성을 분석하기 위해 여러 가지 촬영 환경과 객체에 대해서 SR4000 깊이 카메라와 키넥트 v2 센서를 이용하여 깊이맵 품질을 비교했다. 실험 결과, 적외선이 제대로 반사되기 어려운 방사성 물질이나 표면, 경계 영역, 어두운 영역, 머리 영역 등에서 정확한 깊이 정보를 얻기 어려웠으며, 실외 환경에서 정확한 깊이 정보가 획득되지 않는 것을 확인할 수 있었다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11a
• /
• pp.682-684
• /
• 2005

본 논문에서는 동적인 실제 객체로부터 얻어진 깊이 맵으로부터 3차원 메쉬 모델을 생성할 때, 영상의 경계정보를 기반으로 효율적인 비정규 메쉬를 생성하는 기법을 제안한다. 우선 깊이 맵으로부터 소수의 특징점과 경계영역에서의 실루엣 점을 추출한다. Delaunay 삼각화 기법을 적용할 때 경계 피부에 발생하는 불필요한 삼각형들을 효율적으로 제거하기 위해 실루엣점으로 구성된 경계 라인을 제약조건으로 사용한다. 즉 깊이 맵으로부터 경계 영역 정보를 추출하고 이를 기반으로 관심 객체의 비정규 삼각 메쉬에 존재하는 불필요한 외부 삼각형을 제거한다. 최종적으로 생성된 3차원 메쉬에 포함된 형상 노이즈를 제거하기 위해 메쉬 스무딩 기법을 적용하고, 깊이 맵과 동시에 획득된 컬러 영상을 텍스쳐링하여 3차원 메쉬를 생성한다.

• Journal of Broadcast Engineering
• /
• v.21 no.6
• /
• pp.957-964
• /
• 2016

Acquisition of reliable depth maps is a critical requirement in many applications such as 3D videos and free-viewpoint TV. Depth information can be obtained from the object directly using physical sensors, such as infrared ray (IR) sensors. Recently, Time-of-Flight (ToF) range camera including KINECT depth camera became popular alternatives for dense depth sensing. Although ToF cameras can capture depth information for object in real time, but are noisy and subject to low resolutions. Recently, filter-based depth up-sampling algorithms such as joint bilateral upsampling (JBU) and noise-aware filter for depth up-sampling (NAFDU) have been proposed to get high quality depth information. However, these methods often lead to texture copying in the upsampled depth map. To overcome this limitation, we formulate a convex optimization problem using higher order regularization for depth map upsampling. We decrease the texture copying problem of the upsampled depth map by using edge weighting term that chosen by the edge information. Experimental results have shown that our scheme produced more reliable depth maps compared with previous methods.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2014.11a
• /
• pp.236-239
• /
• 2014

3차원 영상을 제작하기 위해서는 여러 시점의 색상 영상과 함께 깊이 정보를 필요로 한다. 하지만 깊이 정보를 얻을 때 사용하는 ToF 카메라는 해상도가 낮으며 적외선 신호의 주파수 문제 때문에 최대 3대까지 사용할 수 있다. 따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다. 업샘플링은 깊이 정보를 색상 카메라 위치로 3차원 워핑하고 결합형 양방향 필터(joint bilateral filter, JBF)를 사용하여 빈 영역을 채우는 방법으로 진행된다. 업샘플링은 오랜 시간이 소요되지만 그래픽스 프로세싱 유닛(graphics processing units, GPU)를 이용하여 빠르게 수행될 수 있다. 본 논문에서는 다중 GPU의 병렬 수행을 통하여 빠르게 다시점 깊이맵을 생성할 수 있는 방법을 제안한다. 다중 GPU 병렬 수행은 범용 목적 GPU(general purpose computing on GPU, GPGPU) 중의 하나인 CUDA를 이용하였으며, 본 논문에서 제안된 방법을 이용하여 3개의 GPU 사용한 실험 결과 초당 35 프레임의 다시점 깊이맵을 생성했다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.307-309
• /
• 2010

본 논문에서는 깊이맵을 활용하여 살아있는 객체 입체영상 구현을 제안한다. 살아있는 객체 입체영상은 입력영상에 있는 각 객체가 움직이도록 제작되어 2D영상의 시청에서 살아있는 객체들을 시청할 수 있다. 제안 시스템은 C언어를 기반으로 제작되었으며, 한 장의 영상이 주어지면 그래픽 툴을 이용하여 영상에 따른 배경영상, 마스크 영상, 배경 깊이맵 영상, 객체 깊이 맵영상 파일을 생성한다. 이렇게 제작된 입력영상, 마스크영상을 이용하여 각 객체를 이동, 회전, 확대/축소를 통해 결과적으로 살아있는 객체로 구현하며, 이에 따라 변환된 영상에 깊이맵영상을 이용하여 실감있는 입체영상으로 구현한다. 실험영상은 조선시대 화가인 신윤복의 단오풍정을 이용하여 2D 입체영상으로 구현하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.345-347
• /
• 2011

최근 3D 콘텐츠의 관심 증가는 Display 장치, 모바일 기기 등의 하드웨어적인 발전을 가져왔고, 이에 따른 입체 콘텐츠의 필요성이 대두되고 있다. 본 논문에서는 자동으로 2D영상을 3D입체영상으로 변환하는 기법을 제안한다. 영상에서 에지맵과 채도 영상을 추출하고 합성하여 깊이맵을 생성하고 필터를 통해 노이즈 제거 등 보정 작업하여 최종 깊이맵을 생성한다. 이 깊이맵을 이용해 2D영상의 시프트된 영상을 만들어 입체영상을 생성한다.