• IEIE Transactions on Smart Processing and Computing
• /
• 제6권3호
• /
• pp.175-182
• /
• 2017

In this paper, we present a multi-depth generation method using a time-of-flight (ToF) fusion camera system. Multi-view color cameras in the parallel type and ToF depth sensors are used for 3D scene capturing. Although each ToF depth sensor can measure the depth information of the scene in real-time, it has several problems to overcome. Therefore, after we capture low-resolution depth images by ToF depth sensors, we perform a post-processing to solve the problems. Then, the depth information of the depth sensor is warped to color image positions and used as initial disparity values. In addition, the warped depth data is used to generate a depth-discontinuity map for efficient stereo matching. By applying the stereo matching using belief propagation with the depth-discontinuity map and the initial disparity information, we have obtained more accurate and stable multi-view disparity maps in reduced time.

• 전자공학회논문지CI
• /
• 제41권2호
• /
• pp.137-148
• /
• 2004

본 논문에서는 영상기반 파노라믹 3D 가상 환경 (Virtual Environment: VE) 생성을 위해 회전하는 다수의 멀티뷰 카메라를 위한 캘리브레이션 방법을 제안한다. 일반적으로, 카메라 캘리브레이션 알고리즘은 카메라와 캘리브레이션 패턴 사이의 이 멀어질수록 획득되는 카메라 파라미터의 정확도가 상당히 저하되어 파노라마 영상 제작에는 부적합하다. 이러한 문제점을 극복하기 위해 멀티뷰 카메라의 렌즈간 그리고 회전하는 다수의 멀티뷰 카메라간의 기하학적인 상관 위치 관계를 이용하여 정확도를 높인다. 우선, Tsai의 캘리브레이션 알고리즘을 적용하여 획득된 카메라 파라미터를 카메라 렌즈간의 사전 기하 정보와 비교하여 그 오차에 기반한 인트라 카메라 캘리브레이션 (Intra-camera Calibration)을 수행한다. 그리고 가상 공간에 역투영된 3D point cloud에 ICP 알고리즘을 적용하여 인터 카메라 캘리브레이션 (Inter-camera Calibration)을 수행한다. 이를 확장하여, 다수의 카메라를 회전시켜 획득된 3D point cloud에 대해 기준 카메라의 위치를 중심으로 인터 카메라 캘리브레이션을 연속적으로 수행함으로써 회전하는 다수의 멀티뷰 카메라에 대한 캘리브레이션을 수행한다. 이와 같은 캘리브레이션 방법을 통해 중에서도 비교적 개선된 카메라 파라미터를 획득할 수 있기 때문에 파노라믹 3D 가상 환경을 생성하기 위한 정합과정에 사용할 수 있다. 또한, 실시간 3D 객체 추적 및 AR 응용 시스템 등의 다양한 AR 응용분야에 활용될 수 있다.

• 한국측량학회:학술대회논문집
• /
• 한국측량학회 2010년 춘계학술발표회 논문집
• /
• pp.53-56
• /
• 2010

항공용 Multi-looking 카메라는 1대의 사진기 몸체에 5대의 카메라를 설치하여 동시에 1장의 연직사진과 4개의 경사사진을 획득하므로, 연직방향으로 촬영된 일반 항공사진에 비해 현장에 대한 다양한 정보를 제공한다. 그러나 3차원 공간정보 구축시 다각사진촬영시스템은 대형CCD를 사용하는것이 아니라 중형CCD를 사용하므로, 주요대상물의 전후좌우 영상을 취득하려면, 촬영시 중복도 설정을 고려하여야 하며, 특히 Sideward-looking 카메라의 경우 횡중복도 설정에 의해 특정대상물 촬영 여부를 확인할 수 있다. 이에 본 연구에서는 촬영시 횡중복도 변화에 의한 다각사진의 Sideward Footprint 및 촬영의 효율성에 대하여 분석하였다.

• IEIE Transactions on Smart Processing and Computing
• /
• 제2권1호
• /
• pp.27-35
• /
• 2013

This paper proposes a face tracking algorithm for a viewpoint adaptive multi-view synthesis system. The original scene captured by a depth camera contains a texture image and 8 bit gray-scale depth map. From this original image, multi-view images that correspond to the viewer's position can be synthesized using geometrical transformations, such as rotation and translation. The proposed face tracking technique gives a motion parallax cue by different viewpoints and view angles. In the proposed algorithm, the viewer's dominant face, which is established initially from a camera, can be tracked using the statistical characteristics of face colors and deformable templates. As a result, a motion parallax cue can be provided by detecting the viewer's dominant face area and tracking it, even under a heterogeneous background, and synthesized sequences can be displayed successfully.

• 방송공학회논문지
• /
• 제26권3호
• /
• pp.247-257
• /
• 2021

본 논문에서는 3D(dimensional) 스켈레톤을 이용하여 다시점 RGB-D 카메라를 캘리브레이션 하는 새로운 기법을 제안하고자 한다. 다시점 카메라를 캘리브레이션 하기 위해서는 일관성 있는 특징점이 필요하다. 또한 높은 정확도의 캘리브레이션 결과를 얻기 위해서는 정확한 특징점의 획득이 필요하다. 우리는 다시점 카메라를 캘리브레이션 하기 위한 특징점으로 사람의 스켈레톤을 사용한다. 사람의 스켈레톤은 최신의 자세 추정(pose estimation) 알고리즘들을 이용하여 쉽게 구할 수 있게 되었다. 우리는 자세 추정 알고리즘을 통해서 획득된 3D 스켈레톤의 관절 좌표를 특징점으로 사용하는 RGB-D 기반의 캘리브레이션 알고리즘을 제안한다. 다시점 카메라에 촬영된 인체 정보는 불완전할 수 있기 때문에, 이를 통해 획득된 영상 정보를 바탕으로 예측된 스켈레톤은 불완전할 수 있다. 불완전한 다수의 스켈레톤을 효율적으로 하나의 스켈레톤으로 통합한 후에, 통합된 스켈레톤을 이용하여 카메라 변환 행렬을 구함으로써 다시점 카메라들을 캘리브레이션 할 수 있다. 캘리브레이션의 정확도를 높이기 위해서 시간적인 반복을 통해서 다수의 스켈레톤을 최적화에 이용한다. 우리는 실험을 통해서 불완전한 다수의 스켈레톤을 이용하여 다시점 카메라를 캘리브레이션 할 수 있음을 증명한다.

• 한국시뮬레이션학회논문지
• /
• 제18권3호
• /
• pp.73-82
• /
• 2009

CMOS 카메라는 저가격, 저전력, 소형화의 장점을 이용해 휴대폰카메라, 자동차 산업, 의학 및 센서 네트워크, 로봇제어, 보안 분야의 연구에서 이용되고 있다. 특히 다중카메라(Multi-Camera)기반의 $360^{\circ}$ 전방향 카메라(Omni-directional Camera)의 소프트웨어, 통신간섭 및 지연과 복잡한 영상제어 문제가 있으며, 하드웨어 분야에서는 다중카메라의 효율적인 관리 및 소형화의 문제를 지닌다. 기존 시스템은 다수 카메라를 제어하고 카메라 영상을 송수신하기 위해 카메라별 고성능 MCU로 구성된 임베디드 시스템(embedded system)과 별도의 제어 시스템(control system) 같이 다계층 시스템(Multi-layer system)으로 구성된다. 하지만 본 시스템은 단일구조로 저성능 MCU 기반에 고속 동기화기법으로 카메라 제어 및 영상 수집이 가능하도록 SLAVS(Small size/Low power Around View System)을 제안하였다. 화각 $110^{\circ}$ CMOS 카메라 여러 대를 이용하여 $360^{\circ}$전방향을 촬영하는 저성능 MCU로 카메라의 제어 및 영상 수집이 가능한 전방향 카메라 초기모형이다. 결과적으로 저전력 CMOS 카메라 4대를 하나의 MCU에 연결하여 개별 카메라에 대한 동기 유지, 제어 및 송수신을 구현하고 이를 기존의 시스템과 비교하였다. MCU를 통한 개별 인터럽트 처리로 카메라별 동기를 제어, 기억하여 Target과 CMOS 카메라와 MCU간의 재동기를 최소화하여 데이터 전송의 효율성을 높였다. 또한, 사용자 선택에 따라 4개의 영역으로 구분된 영상을 각기 또는 하나로 Target에 제공할 수 있도록 하였다. 마지막으로 개발된 카메라 시스템의 동기 및 데이터 전송 시간, 이미지 데이터 유실 등의 성능 비교, 분석을 하였다.

• 방송공학회논문지
• /
• 제12권4호
• /
• pp.342-349
• /
• 2007

In general multi-view system, all the view sequences acquired at the server are transmitted to the client. However, this kind of system requires high processing power of the server as well as the client, thus it is posing a difficulty in practical applications. To overcome this problem, a relatively simple method is to transmit only two view-sequences requested by the client in order to deliver a stereoscopic video. In this system, effective communication between the server and the client is one of important aspects. Therefore, we propose an efficient multi-view system that transmits two view-sequences according to user's request. The view selection process is integrated into MPEG-21 DIA (Digital Item Adaptation) so that our system is compatible to MPEG-21 multimedia framework. Furthermore, multi-view descriptors related to multi-view camera and systems are newly introduced. The syntax of the descriptions and their elements is represented in XML (extensible Markup Language) schema. Intermediate view reconstruction (IVR) is used to reduce such discomfort with excessive disparity. Furthermore, IVR is useful for smooth transition between two stereoscopic view sequences. Finally, through the implementation of testbed, we can show the valuables and possibilities of our system.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제4권6호
• /
• pp.1222-1236
• /
• 2010

In this paper, we propose an improved distributed multi-view video coding method that is robust to illumination changes among different views. The use of view dependency is not effective for multi-view video because each view has different intrinsic and extrinsic camera parameters. In this paper, a modified distributed multi-view coding method is presented that applies illumination compensation when generating side information. The proposed encoder codes DC values of discrete cosine transform (DCT) coefficients separately by entropy coding. The proposed decoder can generate more accurate side information by using the transmitted DC coefficients to compensate for illumination changes. Furthermore, AC coefficients are coded with conventional entropy or channel coders depending on the frequency band. We found that the proposed algorithm is about 0.1~0.5 dB better than conventional algorithms.

• 디지털융복합연구
• /
• 제15권12호
• /
• pp.531-541
• /
• 2017

다면영상을 이용한 실감영상은 스크린이나 다면으로 구성된 디스플레이에서 펼쳐지는 내용이 사실적으로 보여지게 제작되어지고 있다. 이러한 다면영상은 전시를 위한 기획영상에서 주로 사용되었으나 Screen X와 같은 시스템을 통해 영화와 같은 스토리를 전달할 수 있는 포맷으로 재조명 되고 있다. 이번 연구는 3대의 줌렌즈가 장착된 HD급 방송용 디지털 비디오를 이용해 Screen X와 같은 방법으로 인물을 중심으로 한 전경 장면부터 클로즈업 장면까지 촬영한 후 다면 영상 정합보정을 통해 발생되는 문제점을 분석 파악하였다. 촬영 방법과 장비를 보완하면 다면영상이란 포맷이 스토리와 정보 전달이 가능한 매체임을 제시하였고 향후 방송용 줌렌즈를 이용한 촬영보다 표준렌즈 기반의 시네마급 카메라를 이용한 양질의 다면영상 콘텐츠를 제작할 수 있도록 기술적 연구와 보완이 필요하다.

• 한국콘텐츠학회논문지
• /
• 제14권2호
• /
• pp.39-47
• /
• 2014

개인용 스마트 디바이스의 빠른 발전과 역동적 보급은 개인 사용자들을 영상시청 중심의 소비자에서 영상의 촬영에서 공유로 확장된 프로슈머로 변화 시키고 있다. 이러한 변화 속에서 방송영상에 비견되는 소비가 발생되고 지속적으로 생산 및 공유되는 사용자 제작 영상(User Created Video,UCV)이 다양한 콘텐츠 서비스가 가능한 플랫폼으로 주목을 받고 있다. 특히 경험의 공유 목적으로 제작되는 UCV는 복수의 사용자들이 한정된 시간, 공간의 동일한 이벤트로부터 촬영된 것으로, 방송영상과 유사하게 동일한 이벤트를 다양한 앵글의 카메라로 촬영된다. 본 논문에서는 UCV의 다시점적 특성을 제시하고, 이러한 특징을 기반하여 동일한 이벤트에서 촬영된 UCV를 앵글 전환하며 시청할 수 있는 다시점 UCV 서비스를 제안하였다. 또한 사용자 만족도 설문을 통해 중복영역이 포함된 UCV의 시청방식으로 다시점 UCV 서비스를 기존의 선형적 시청방식보다 더 선호함을 알 수 있었다.