• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.150-152
• /
• 2019

본 논문에서는 기존의 연구를 극복하여 단일 영상이 아닌 단안 비디오로부터 5D 라이트필드 영상을 합성하는 딥러닝 프레임워크를 제안한다. 현재 일반적으로 사용 가능한 Lytro Illum 카메라 등은 초당 3프레임의 비디오만을 취득할 수 있기 때문에 학습용 데이터로 사용하기에 어려움이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 가상 환경 데이터를 구성하며 이를 위해 UnrealCV를 활용하여 사실적 그래픽 렌더링에 의한 데이터를 취득하고 이를 학습에 사용한다. 제안하는 딥러닝 프레임워크는 두 개의 입력 단안 비디오에서 $5{\times}5$의 각 SAI(sub-aperture image)를 갖는 라이트필드 비디오를 합성한다. 제안하는 네트워크는 luminance 영상으로 변환된 입력 영상으로부터 appearance flow를 추측하는 플로우 추측 네트워크(flow estimation network), appearance flow로부터 얻어진 두 개의 라이트필드 비디오 프레임 간의 optical flow를 추측하는 광학 플로우 추측 네트워크(optical flow estimation network)로 구성되어있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.344-345
• /
• 2011

본 논문에서는 모니터 상단의 일반 웹 카메라를 이용하여 사용자의 올바른 자세와 올바르지 않은 자세를 추정하고 사용자가 스스로 교정을 유도할 수 있는 새로운 개념의 어플리케이션을 소개한다. 교정의자나 허리 보호대 등의 도구가 없이 카메라 하나로 사용자가 자기 자세에 대한 인식을 할 수 있도록 제안하는 시스템이다. 정면 시점에서 바라보는 사용자의 자세는 얼굴과 어깨의 특징으로 판단하고, 초기화한 올바른 자세와 비교하여 사용자에게 경고 알림을 해주는 과정으로 진행된다. 주기적으로 자세를 확인하는 시스템을 통하여 사용자가 컴퓨터를 하는 자세에 대해 자각시킴으로써 올바른 자세를 가지도록 유도할 수 있음을 확인하였다.

• Proceedings of the KIEE Conference
• /
• 2008.10b
• /
• pp.379-381
• /
• 2008

본 논문에서는 가정용 비디오 게임에 사용 가능한 고속의 저가형 모션캡쳐, 시스템에 사용되는 전 방향 특성을 갖는 IR 능동 마커의 개발을 목표로 하고 있다. 현재 영화나 게임에서 모션캡쳐를 응용한 시스템 및 컨텐츠들이 많이 선보기고 있으며, 인기를 모으고 있는 추세이다. 이러한 흐름에 맞추어 우리는 이미 저가이면서 속도가 빠른 PSD(Position Sensitive Detector) 센서를 이용만 스테레오 비젼 기반의 PSD 모션캡쳐 시스템(Stereo vision based PSD motion capture system)과 광량 보정 기반의 단일 PSD 모션캡쳐 시스템(Intensity Calibration based single PSD motion capture system) 그리고 일정간격의 두 능동마커 기반의 단안 PSD 모션캡쳐 시스템(Two active markers at fixed distance based single PSD motion capture system)등을 소개한 바 있다. 본 논문에서 제안하는 전방향 특성을 갖는 IR 능동 마커는 일정간격의 두 능동마커 기반의 단안 PSD 모션캡쳐 시스템에 적용하여 보다 정밀한 3차원 좌표 측정을 할 수 있도록 한다. 이를 위해 본 논문에서는 동일 특성을 갖는 마커를 제작하고 평가하여 일정간격의 두 능동마커 기반의 단안 PSD 모션캡쳐 시스템에 적합한 마커의 제작 방법을 제안하였다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.40 no.1
• /
• pp.52-54
• /
• 2015

In this paper we propose a new background motion compensation method which can be applicable to moving object detection with a moving monocular camera. To estimate the background motion, a series of image warpings are carried out for each pair of the corresponding patches, defined by the fixed-size lattice, based on the motion information extracted from the feature points surrounded by the patches and the estimated camera motion. Experiment results proved that the proposed has approximately 50% faster in execution time and 8dB higher in PSNR comparing to a conventional method.

• Journal of the Institute of Convergence Signal Processing
• /
• v.5 no.2
• /
• pp.96-105
• /
• 2004

The recovering 3D image from 2D requires the depth information for each picture element. The manual creation of those 3D models is time consuming and expensive. The goal in this paper is to estimate the relative depth information of every region from single view image with camera translation. The paper is based on the fact that the motion of every point within image which taken from camera translation depends on the depth. Motion vector using full-search motion estimation is compensated for camera rotation and zooming. We have developed a framework that estimates the average frame depth by analyzing motion vector and then calculates relative depth of region to average frame depth. Simulation results show that the depth of region belongs to a near or far object is consistent accord with relative depth that man recognizes.

• Journal of Digital Convergence
• /
• v.11 no.12
• /
• pp.345-352
• /
• 2013

In this paper, a depth estimate method is proposed using GPU(Graphics Processing Unit) in monocular image. a monocular image is a 2D image with missing 3D depth information due to the camera projection and we used a monocular cue to recover the lost depth information by the projection present. The proposed algorithm uses an energy function which takes a variety of cues to create a more generalized and reliable depth map. But, a processing time is late because energy function is defined from the various monocular cues. Therefore, we propose a depth estimate method using GPGPU(General Purpose Graphics Processing Unit). The objective effectiveness of the algorithm is shown using PSNR(Peak Signal to Noise Ratio), a processing time is decrease by 61.22%.

• Journal of the Korea Academia-Industrial cooperation Society
• /
• v.19 no.4
• /
• pp.34-40
• /
• 2018

This paper presents a new method to estimate the pose of a moving object accurately using a monocular camera and a low-end GPS+IMU sensor system. For this goal, we adopted a deep neural network for the semantic segmentation of input images and compared the results with a semantic map of a neighborhood. In this map matching, we use weight tables to deal with label inconsistency effectively. Signals from a low-end GPS+IMU sensor system are used to limit search spaces and minimize the proposed function. For the evaluation, we added noise to the signals from a high-end GPS-IMU system. The results show that the pose can be recovered from the noisy signals. We also show that the proposed method is effective in handling non-open-sky situations.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.212-213
• /
• 2022

내시경 검사는 내장기관의 이상 유무를 점검할 수 있는 효과적인 의료 기술이다. 해당 논문에서는 자가지도 방식의 직접 감쇠 모델(DAM, Direct Attenuation Model)[3]을 사용한 내시경 비디오 기반 깊이 예측을 제안한다. 단안 카메라의 비디오 영상에서 DAM 을 이용한 빛의 밝기에 따른 깊이 변화 정보와 Normal 정보를 사용하여 깊이와 자세 예측 네트워크 모델 학습을 효과적으로 수행한다. 실험을 통해 제안하는 방법은 기존의 깊이 추정 네트워크 대비 다양한 내시경 비디오 영상에서 더 정확하게 깊이를 추정함을 확인하였다.

• Proceedings of the Korean Institute of Information and Commucation Sciences Conference
• /
• 2013.10a
• /
• pp.919-921
• /
• 2013

영상시장의 개척과 디지털 기술의 발전과 더불어 차세대 3D 입체영상기술에 대한 관심과 수요가 증가하고 있다. 입체 정보는 크게 '단안 입체 정보(monoscopic depth cue)'와 '양안 입체 정보(stereoscopic depth cue)'로 분류 할 수 있다. 단안 입체 정보는 은폐, 상대적 크기, 상대적 밀도, 시야 안의 높이, 공기투시, 운동투시, 초점조절인 7가지로 경험에 의한 입체감을 지각하는 것을 말하며 양안 입체 정보는 두 눈으로 볼 때 처음으로 깊이를 지각 할 수 있는 것으로 크게 '동시시(simultaneous perception)', '융합(sensory fusion)', '입체시(stereoscopic vision)'의 세종류의 기능으로 분류한다. 3D 촬영은 이 양안시의 원리를 이용하여 두 대의 카메라의 좌우 영상을 합성하여 깊이감 있는 영상을 만들어 내게 된다. 본 논문에서는 3D 촬영방법은 촬영방식에 따라 크게 평행방식, 직교방식, 교차방식이 있는데 이중 중 원거리 촬영에 유리한 교차방식을 활용하여 사이드 바이 사이드 리그(Rig; 카메라를 수평으로 설치할 수 있도록 만들어진 장치)를 원거리 촬영에 맞게 축간거리를 기존의 리그 사이즈보다 2배 이상 긴 리그를 제작하여 보다 먼 거리에서의 상이한 좌우 영상획득이 가능하도록 설계하였다. 또한, 일정한 간격에 따라 피사체를 촬영하면서 거리에 따른 양 카메라의 가장 이상적인 IOD(Interocular Distance)와 CONV(Convergence)를 찾고, 교차방식촬영에 따른 특징적인 아티팩트인 키스톤 왜곡(Keystone distance)의 보정을 통한 원거리 입체영상을 효과적으로 획득하는데 본 연구방법을 제안하고자 한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.07a
• /
• pp.234-236
• /
• 2010

본 논문에서는 한 장의 영상을 가상 카메라와 깊이맵을 이용하여 영상 내부를 네비게이션하는 입체 자유시점 비디오를 제안한다. 이 분야는 한장 또는 여러장의 사진 내부를 탐험하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전처리과정으로 전경 마스크, 배경영상, 및 깊이맵을 자동 및 수동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 투영 영상들을 획득한다. 배경영상과 전객객체의 3D 모델링 데이터를 기반으로 가상 카메라의 3차원 공간 이동, yaw, pitch, rolling의 회전, look-around effect, 줌인 등의 다양한 카메라 기능을 활용하여 자유시점 비디오를 구현한다. 소프트웨어는 OpenGL 및 MFC Visual C++ 기반으로 구축되었으며, 실험영상으로 조선시대의 작품인 김홍도의 무이귀도를 사용하였고, 입체영상으로 제작되어 보다 실감있는 자유시점 콘텐츠를 제공한다.