• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.457-459
• /
• 2015

본 논문에서는 원의 호 곡선에 따라 배치된 다중 RGB 카메라 영상으로 생성한 깊이 지도를 정렬하는 방법을 제안한다. 원의 호 곡선에 따라 배치된 카메라는 각 카메라의 광축이 한 점으로 만나서 수렴하는 형태가 이상적이다. 그러나 카메라 파라미터를 살펴보면 광축이 서로 수렴하지 않는다. 또한 카메라 파라미터는 오차가 존재하고 내부 파라미터도 서로 다르기 때문에 각 카메라 영상들은 수평과 수직 오차가 발생한다. 이와 같은 문제점을 해결하기 위해 첫 번째로 광축이 한 점으로 수렴하기 위해서 카메라 외부 파라미터를 보정하여 깊이 영상 정렬을 하였다. 두 번째로 내부 파라미터를 수정하여 각 깊이 영상들의 수평과 수직 오차를 감소시켰다. 일반적으로 정렬된 깊이 지도를 얻기 위해서는 초기 RGB 카메라 영상으로 정렬을 수행하고 그 결과 영상으로 깊이 영상을 생성한다. 하지만 RGB 영상으로 카메라의 회전과 위치를 보정하여 정렬하면 카메라 위치 변화에 따른 깊이 지도 변화값 적용이 복잡해 진다. 즉 정렬 계산 과정에서 소수점 단위 값이 사라지기에 최종 깊이 지도의 값에 영향을 미친다. 그래서 RGB 영상으로 깊이 지도를 생성하고 그것을 처음 RGB 카메라 파라미터로 워핑(warping)하였다. 그리고 워핑된 깊이 지도 값을 가지고 정렬을 수행하였다.

• Journal of the Korea institute for structural maintenance and inspection
• /
• v.26 no.6
• /
• pp.157-166
• /
• 2022

Structural supervision on the construction site has been performed based on visual inspection, which is highly labor-intensive and subjective. In this study, the remote technique was developed to improve the efficiency of the measurements on rebar spacing using a 360° camera and reconstructed 3D models. The proposed method was verified by measuring the spacings in reinforced concrete structure, where the twelve locations in the construction site (265 m²) were scanned within 20 seconds per location and a total of 15 minutes was taken. SLAM, consisting of SIFT, RANSAC, and General framework graph optimization algorithms, produces RGB-based 3D and 3D point cloud models, respectively. The minimum resolution of the 3D point cloud was 0.1mm while that of the RGB-based 3D model was 10 mm. Based on the results from both 3D models, the measurement error was from 10.8% to 0.3% in the 3D point cloud and from 28.4% to 3.1% in the RGB-based 3D model. The results demonstrate that the proposed method has great potential for remote structural supervision with respect to its accuracy and objectivity.

• International Journal of Computer Science & Network Security
• /
• v.22 no.6
• /
• pp.97-108
• /
• 2022

The video-assisted human action recognition [1] field is one of the most active ones in computer vision research. Since the depth data [2] obtained by Kinect cameras has more benefits than traditional RGB data, research on human action detection has recently increased because of the Kinect camera. We conducted a systematic study of strategies for recognizing human activity based on deep data in this article. All methods are grouped into deep map tactics and skeleton tactics. A comparison of some of the more traditional strategies is also covered. We then examined the specifics of different depth behavior databases and provided a straightforward distinction between them. We address the advantages and disadvantages of depth and skeleton-based techniques in this discussion.

• Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography
• /
• v.37 no.2
• /
• pp.45-53
• /
• 2019

RGB-D SLAM (Simultaneous Localization and Mapping) refers to the technology of using deep camera as a visual sensor for SLAM. In view of the disadvantages of high cost and indefinite scale in the construction of maps for laser sensors and traditional single and binocular cameras, a method for creating three-dimensional map of indoor environment with deep environment data combined with RGB-D SLAM scheme is studied. The method uses a mobile robot system equipped with a consumer-grade RGB-D sensor (Kinect) to acquire depth data, and then creates indoor three-dimensional point cloud maps in real time through key technologies such as positioning point generation, closed-loop detection, and map construction. The actual field experiment results show that the average error of the point cloud map created by the algorithm is 0.0045m, which ensures the stability of the construction using deep data and can accurately create real-time three-dimensional maps of indoor unknown environment.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.240-241
• /
• 2011

자연스러운 3D 실감영상을 감상하기 위해서는 많은 시점의 영상이 필요하며 과거 스테레오 디스플레이 장치로부터 최근 그 시점 수가 크게 늘어난 디스플레이 장치로 기술 발전이 이뤄지고 있으며 이에 따라 다시점 콘텐츠를 생성하기 위한 다양한 기술이 개발되어 있다. 다시점 콘텐츠를 생성하기 위하여 ToF 카메라 및 적외선 패턴을 이용한 방법이 주로 이용되고 있으며 이를 활용한 다시점 콘텐츠 생성을 하는 시도가 이뤄지고 있다. ToF 카메라는 PMD사의 제품 및 SwissRanger 사의 제품이 대표적이며 적외선 패턴을 이용한 방식은 MS사의 Kinect가 대표적이며 본 제품들을 활용한 기술 비교를 통하여 다시점 콘텐츠 생성의 결과 및 이를 비교한 장단점을 구분하였다. PMD사의 ToF 카메라는 두 개 이상의 광원을 사용하여 Depth 추출시에 Hole 영역의 크기가 작으나 ToF 영상의 해상도가 매우 작아 고화질의 콘텐츠를 생성하기 위하여 별도의 영상처리 알고리즘이 요구되었다. 반면 MS사의 Kinect는 Depth 영상의 해상도가 상대적으로 커서 영상처리 알고리즘의 복잡도가 작아지나 Depth 추출을 위한 카메라와 RGB 카메라의 위치가 공간적으로 떨어져 있어 이를 보정하기 위한 알고리즘이 요구되며 다시점 변환시 화질에 있어 상대적으로 떨어지는 것으로 나타났다.

• Journal of Korea Game Society
• /
• v.13 no.6
• /
• pp.75-84
• /
• 2013

The recording and matching method of pose and gesture based on PC-window platform is introduced in this paper. The method uses the gesture detection camera, Xtion which is for the Windows PC. To develop the method, the API is first developed which processes and compares the depth data, RGB image data, and skeleton data obtained using the camera. The pose matching method which selectively compares only valid joints is developed. For the gesture matching, the recognition method which can differentiate the wrong pose between poses is developed. The tool which records and tests the sample data to extract the specified pose and gesture is developed. 6 different pose and gesture were captured and tested. Pose was recognized 100% and gesture was recognized 99%, so the proposed method was validated.

• Journal of Korea Multimedia Society
• /
• v.10 no.6
• /
• pp.716-725
• /
• 2007

In this paper we describe a motion tracking algorithm for 3D human animation using stereo vision system. This allows us to extract the motion data of the end effectors of human body by following the movement through segmentation process in HIS or RGB color model, and then blob analysis is used to detect robust shape. When two hands or two foots are crossed at any position and become disjointed, an adaptive algorithm is presented to recognize whether it is left or right one. And the real motion is the 3-D coordinate motion. A mono image data is a data of 2D coordinate. This data doesn't acquire distance from a camera. By stereo vision like human vision, we can acquire a data of 3D motion such as left, right motion from bottom and distance of objects from camera. This requests a depth value including x axis and y axis coordinate in mono image for transforming 3D coordinate. This depth value(z axis) is calculated by disparity of stereo vision by using only end-effectors of images. The position of the inner joints is calculated and 3D character can be visualized using inverse kinematics.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.268-269
• /
• 2021

본 논문에서는 RGB이미지와 Depth 이미지를 촬영할 수 있는 촬영 장비인 Azure Kinect를 사용해 다시점 촬영 시스템 구성을 위한 카메라 동기화 시스템을 제안한다. 제안한 시스템에는 8대의 Azure Kinect 카메라를 사용하고 있으며 각 카메라는 3.5-mm 오디오 케이블로 연결되어 외부동기화 신호를 전달한다. 그리고 이미지를 저장할 때 발생하는 메모리에서의 병목현상을 최소화하기 위해 촬영 시스템의 동작을 16개의 버퍼로 나누어 병렬 컴퓨팅으로 진행한다. 이후 동기화 여부에 따른 차리를 디바이스 타임스탬프를 기준으로 하여 비교한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.154-155
• /
• 2022

본 논문에서는 RGB-D 카메라 캘리브레이션의 결과를 개선하는 새로운 기법을 제안한다. 멀티 뷰 카메라 캘리브레이션은 카메라를 통해 획득한 이미지에서 특징점을 찾아 다른 카메라에서 촬영된 동일한 특징점을 기준으로 캘리브레이션을 진행하는 것이 일반적이다. 그러나 카메라를 통해 획득된 RGB-D 영상은 필연적으로 렌즈와 Depth senor에 의한 오차가 포함되기 때문에 정확한 캘리브레이션 결과를 획득하는 것은 어려운 과정이다. 본 논문에서는 이를 개선하기 위해 획득한 특징점을 기반으로 캘리브레이션을 진행한 후, 최소제곱법을 통해 각 특징점간의 거리가 최소가 되는 카메라 파라미터를 획득하여 결과를 개선하는 기법을 제안한다.

• The Journal of the Korea Contents Association
• /
• v.16 no.3
• /
• pp.43-51
• /
• 2016

This paper presents the concept of "interactive teleprompter", which provides the user with interaction with oneself or other users for live television broadcasts or smart mirrors. In such interactive applications, eye contacts between the user and the regenerated image or between the user and other persons are important in handling psychological processes or non-verbal communications. Unfortunately, it is not straightforward to address the eye contact issues with conventional combination of normal display and video camera. To address this problem, we propose an "interactive" teleprompter enhanced from conventional teleprompter devices. Our interactive teleprompter can recognize the user's gestures by applying infra-red (IR) depth sensor. This paper also presents test results for a beam splitter which plays a critical role for teleprompter and is designed to handle both visual light for RGB camera and IR for Depth sensor effectively.