• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2018.06a
• /
• pp.313-316
• /
• 2018

최근 미디어의 생성 및 소비 기술의 발전으로 몰입도 있는 콘텐츠에 대한 수요가 증가하고 있다. View Interpolation 기술은 두 개의 좌/우 영상을 기반으로 하여 두 영상의 중간 시점에 해당하는 영상을 생성해내는 기술이다. 먼저 Depth Hole Filling Module을 이용하여 좌/우 영상 및 그에 대응하는 깊이 지도를 입력으로 받아 깊이 지도에 존재하는 오류를 검출하고, 보정한다. 깊이 지도의 오류 보정이 완료되면, 해당 데이터를 각각 Feature Matching Module 및 Layer Dividing Module로 전달한다. Feature Matching Module은 실사 영상 내의 특징점들을 검출하고, 두 영상 내 특징점을 매칭하는 역할을 수행하며, Layer Dividing Module은 깊이 값을 기반으로 영상의 Layer를 분할한다. Feature Matching Module에서 특징점의 매칭이 완료되면, 특징점의 영상 내 좌표 및 해당 좌표에서의 깊이 값을 Distance Estimating Module로 전달한다. Distance Estimating Module은 전달받은 특징점의 좌표 및 해당 좌표에서의 깊이 값을 기반으로 전체 깊이 값에서의 이동도를 계산한다. 이와 같이 이동도의 계산 및 Layer 분할이 완료되면, 각 Layer를 이동도에 기반하여 이동시키고, 이동된 Layer들을 포개어 배치함으로써 View interpolation을 완성한다.

• The Journal of the Korea Contents Association
• /
• v.18 no.11
• /
• pp.447-454
• /
• 2018

This paper proposes a depth image generation algorithm of stereo images using a deep learning model composed of a CNN (convolutional neural network). The proposed algorithm consists of a feature extraction unit which extracts the main features of each parallax image and a depth learning unit which learns the parallax information using extracted features. First, the feature extraction unit extracts a feature map for each parallax image through the Xception module and the ASPP(Atrous spatial pyramid pooling) module, which are composed of 2D CNN layers. Then, the feature map for each parallax is accumulated in 3D form according to the time difference and the depth image is estimated after passing through the depth learning unit for learning the depth estimation weight through 3D CNN. The proposed algorithm estimates the depth of object region more accurately than other algorithms.

• Journal of KIISE:Software and Applications
• /
• v.31 no.5
• /
• pp.617-624
• /
• 2004

This paper describes a new facial feature localization method that uses Adjacent Depth Differences(ADD) in 3D facial surface. In general, human recognize the extent of deepness or shallowness of region relatively, in depth, by comparing the neighboring depth information among regions of an object. The larger the depth difference between regions shows, the easier one can recognize each region. Using this principal, facial feature extraction will be easier, more reliable and speedy. 3D range images are used as input images. And ADD are obtained by differencing two range values, which are separated at a distance coordinate, both in horizontal and vertical directions. ADD and input image are analyzed to extract facial features, then localized a nose region, which is the most prominent feature in 3D facial surface, effectively and accurately.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2020.07a
• /
• pp.14-17
• /
• 2020

단안 영상에서의 깊이 추정은 주어진 시점에서 촬영된 2 차원 영상으로부터 객체까지의 3 차원 거리 정보를 추정하는 것이다. 최근 딥러닝 기반으로 단안 RGB 영상에서 깊이 정보 추정에 유용한 특징 맵을 추출하고 이를 이용해서 깊이를 추정하는 모델들이 기존 방법들의 성능을 넘어서면서 관련된 연구가 활발히 진행되고 있다. 또한 Attention Model 과 같이 특정 특징 맵의 채널 혹은 공간을 강조하여 전체적인 네트워크의 성능을 개선하는 연구가 소개되었다. 본 논문에서는 깊이 정보 추정을 위해 사용되는 특징 맵을 강조하기 위해서 Attention Model 을 추가한 AutoEncoder 기반의 깊이 추정 네트워크를 제안하고 적용 부분에 따른 네트워크의 깊이 정보 추정 성능을 평가 및 분석한다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2012.06c
• /
• pp.454-455
• /
• 2012

깊이 카메라에서 입력 받은 사용자의 얼굴 데이터에 morphable 모델을 fitting하여 실제 얼굴과 가까운 3D 얼굴 모델을 생성하기 위해서는 먼저 깊이 영상으로부터의 정확한 얼굴 영역 추출이 필요하다. 이를 위해 얼굴의 특징점을 기반으로 얼굴 영역 추출을 시도한다. 먼저 원본 깊이 영상을 보정하고, 컬러 영상으로부터 얼굴과 눈, 코의 영역을 탐색한 후 이를 깊이 영상에 대응시켜 눈, 코, 턱의 3차원 위치를 계산한다. 이렇게 결정된 얼굴의 주요 특징점들을 시작으로 영역을 확장함으로써 영상의 배경으로부터 얼굴 영역을 분리한다.

• Proceedings of the Korea Institutes of Information Security and Cryptology Conference
• /
• 2006.06a
• /
• pp.246-250
• /
• 2006

얼굴의 중요한 특징부분을 잘 나타내는 깊이 에지 정보를 사용하면 표정과 조명변화로 인한 얼굴 픽셀의 밝기 값 변화에 대해 강인한 특징벡터를 생성할 수 있다. 본 논문에서는 깊이 에지(depth edge)를 이용한 새로운 특징벡터를 제안하고 그 유용성에 대하여 실험하였다. 새롭게 제안한 특징벡터는 얼굴의 깊이 에지 영상을 수평과 수직 방향으로 투영하여 얻어지는 에지 강도 히스토그램을 이용하기 때문에 얼굴의 움직임으로 인한 변형에 영향을 받지 않는다. 또한, 실시간 검출과 인식이 매우 용이하다. 제안한 깊이 에지 기반 특징벡터와 백색광 영상의 픽셀 값 기반 특징벡터에 대해 부공간 투영기반의 얼굴인식 알고리즘을 적용하여 성능을 비교 평가하였다. 실험 결과, 얼굴의 깊이 에지에 기반한 얼굴인식이 기존의 백색광만을 이용한 방법에 비해 높은 인식성능을 보였다

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.87-90
• /
• 2009

영상의 깊이 정보를 추출하는 것은 매우 어려운 연구이다. 다양한 유형의 영상 구조의 분석이 필요하지만 많은 경우에 주관적인 판단의 도움이 필요하다. 본 논문에서는 로스 텍스처 필터를 기반으로 정지 영상의 깊이를 자동으로 생성하는 방법을 제안한다. 로스 텍스처 필터는 단안 비전에서 3D 깊이를 얻기 위한 방법으로 활용되었는데, 실제 2D 영상에서 깊이를 예측하기 위해 텍스처 편차, 텍스처 기울기, 색상 등을 활용한다. 로스 필터는 $1{\times}5$ 벡터로부터 콘볼루션을 이용하여, 20여개의 $5{\times}5$ 콘볼루션 필터가 구해지는데, 영상에 필터를 적용하여 로스 에너지를 계산한다. 구해진 에너지를 깊이 맵으로 변환하고, 깊이 맵에서 특징 점을 구하고, 특징 점들로부터 델러노이 삼각화를 이용하여 삼각형 깊이 메쉬를 얻는다. 구해진 깊이 맵의 성능을 측정하기 위해 카메라 시점을 변경하면서 영상의 3D 구조를 분석하였으며, 입체영상을 생성하여 3D 입체 시청 결과를 분석하였다. 실험에서는 로스 텍스처 필터를 이용하는 깊이 생성 방법이 좋은 효과를 얻는 것을 확인하였다.

• Journal of the Institute of Electronics Engineers of Korea CI
• /
• v.47 no.3
• /
• pp.29-35
• /
• 2010

This paper discusses a method that can enhance the exactness of depth estimation of an image by PCA(Principle Component Analysis) based on feature reduction through learning algorithm. In estimation of the depth of an image, hyphen such as energy of pixels and gradient of them are found, those selves and their relationship are used for depth estimation. In such a case, many features are obtained by various filter operations. If all of the obtained features are equally used without considering their contribution for depth estimation, The efficiency of depth estimation goes down. This paper proposes a method that can enhance the exactness of depth estimation of an image and its processing speed is considered as the contribution factor through PCA. The experiment shows that the proposed method(30% of an feature vector) is more exact(average 0.4%, maximum 2.5%) than using all of an image data in depth estimation.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.348-350
• /
• 2013

본 논문에서는 깊이영상의 특징을 이용하여 깊이영상에 보다 적합한 움직임 예측방법에 대한 방식을 제안한다. 기존 컬러영상 기반으로 제안되었던 대부분의 움직임 예측 방법들이 깊이영상에 적용할 경우 local minimum 에 빠지게 되어 이에 따른 압축 성능 저하가 있음을 확인하였다. 본 논문에서는 이러한 문제점들이 깊이영상의 오브젝트 경계 영역에서 나타나게 됨을 분석하며, 이러한 문제점을 해결하기 위해 깊이영상의 경계 영역에 대해 feature matching 방식을 이용한 full search 방식을 제안한다. 실험적인 결과는 제안방식이 기존 full search 방식과 비교하여 성능은 비슷하게 유지한 채 복잡도를 크게 개선할 수 있음을 보여준다.

• Information and Communications Magazine
• /
• v.31 no.3
• /
• pp.46-53
• /
• 2014

사용자-객체 상호작용을 위해서는 영상 내 객체의 종류와 위치를 정확하게 파악하여 사용자가 객체에 관련된 행동을 취할 경우, 그에 맞는 상호작용을 수행해야 한다. 이러한 객체인식에 널리 사용되는 지역 불변 특징량 기반의 방법론은 복잡한 배경이나 균일 물체에 대하여 잘못된 매칭으로 인식률이 저하된다. 본고에서는 이를 해결하기 위해, 컬러와 깊이 근접도 기반 깊이 계층을 나누고, 복잡 배경으로부터 생기는 잘못된 특징점 대응을 최소화 하기 위해 각 깊이 계층과 인식 물체 영상간의 특징점 대응을 수행한다. 또한, 각 깊이 계층영역에서 색상 히스토그램 재투영으로 객체의 위치를 추정하고 추정 영역과 인식 물체 영상간의 생상 및 깊이 유사도를 판단한다. 최종적으로, 복잡 배경 효과를 최소화한 특징점 대응의 수, 색상 및 컬러 유사도를 고려하여 신뢰도를 측정하여 객체를 인식하게 되며, 이를 통해 복잡한 배경에서도 사용자와 객체간의 유연한 상호작용이 가능해진다.