• Journal of the Korea Computer Graphics Society
• /
• v.24 no.3
• /
• pp.61-71
• /
• 2018

When triangular meshes are generated from the point clouds in global space reconstructed through camera pose estimation against captured RGB-D streams, the quality of the resulting meshes improves as more triangles are hired. However, for 3D reconstructed models beyond some size threshold, they become to suffer from the ugly-looking artefacts due to the insufficient precision of RGB-D sensors as well as significant burdens in memory requirement and rendering cost. In this paper, for the generation of 3D models appropriate for real-time applications, we propose an effective technique that extracts high-quality textures for moderate-sized meshes from the captured colors associated with the reconstructed point sets. In particular, we show that via a simple method based on the mapping between the 3D global space resulting from the camera pose estimation and the 2D texture space, textures can be generated effectively for the 3D models reconstructed from captured RGB-D image streams.

• Journal of the Korean Association of Geographic Information Studies
• /
• v.25 no.4
• /
• pp.136-150
• /
• 2022

In this study, a comparative review was conducted on how to use RGB images to obtain river topographic information, which is one of the most essential data for eco-friendly river management and flood level analysis. In terms of the topographic information of river zone, to obtain the topographic information of flow section is one of the difficult topic, therefore, this study focused on estimating the river topographic information of flow section through RGB images. For this study, the river topography surveying was directly conducted using ADCP and RTK-GPS, and at the same time, and orthomosiac image were created using high-resolution images obtained by drone photography. And then, the existing developed regression equations were applied to the result of channel topography surveying by ADCP and the band values of the RGB images, and the channel bathymetry in the study area was estimated using the regression equation that showed the best predictability. In addition, CCHE2D flow modeling was simulated to perform comparative verification of the topographical informations. The modeling result with the image-based topographical information provided better water depth and current velocity simulation results, when it compared to the directly measured topographical information for which measurement of the sub-section was not performed. It is concluded that river topographic information could be obtained from RGB images, and if additional research was conducted, it could be used as a method of obtaining efficient river topographic information for river management.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• fall
• /
• pp.124-125
• /
• 2021

최근 증강현실(AR), 가상현실(VR), 혼합현실(XR) 분야가 각광받고 있으며, 3차원 공간과 사물을 인식하여 다양한 콘텐츠 서비스를 제공하는 기술이 개발되고 있다[1]. 3차원 공간과 사물을 인식하기 위해 가장 널리 사용되는 방법은 RGB 카메라를 이용하는 것이다[2]. RGB 카메라를 이용하여 촬영한 영상을 분석한 후 분석된 결과를 이용하여 카메라와 환경의 관계를 추정한다. 시차는 사용자가 촬영한 복수의 이미지에서 특징점의 차이를 이용하여 계산된다. 실험적으로 구한 깊이에 대해 계산된 디스패리티에 시차 정보와 스케일링 정보를 더하여 3차원 특징점을 생성한다. 제안하는 알고리즘은 단일 모바일 디바이스에서 획득한 영상을 사용한다. 특징점 매칭을 기반으로한 디스패리티 추정과 시차조정 3D 특징점 생성이다. 실제 깊이 값과 비교했을 때, 생성된 3차원 특징점은 실측값의 10% 이내의 오차가 있음을 실험적으로 증명하였다. 따라서 제안하는 방법을 이용하여 유효한 3차원 특징점을 생성할 수 있다.

• Journal of the Korea Computer Graphics Society
• /
• v.29 no.3
• /
• pp.93-103
• /
• 2023

The problem of reconstructing three-dimensional models of people and objects from color and depth images captured by low-cost RGB-D cameras has long been an active research area in computer graphics. Color and depth images captured by low-cost RGB-D cameras are represented as point clouds in three-dimensional space, which correspond to discrete values in a continuous three-dimensional space and require additional surface reconstruction compared to rendering using polygonal models. In this paper, we propose an effective ray-tracing based technique for visualizing point clouds rather than polygonal models. In particular, our method shows the possibility of an effective rendering method even in mobile environment which has limited performance due to processor heat and lack of battery.

• Journal of the Korean Institute of Telematics and Electronics S
• /
• v.35S no.8
• /
• pp.1-11
• /
• 1998

One of the desired features for the realizations of high quality Information and Telecommunication services in future is "the Sensation of Reality". This will be achieved only with the visual communication based on the 3- dimensional (3-D) moving images. The main difficulties in realizing 3-D moving image communication are that there is no developed data transmission technology for the hugh amount of data involved in 3-D images and no established technologies for 3-D image recording and displaying in real time. The currently known stereoscopic imaging technologies can only present depth, no moving parallax, so they are not effective in creating the sensation of the reality without taking eye glasses. The more effective 3-D imaging technologies for achieving the sensation of reality are those based on the multiview 3-D images which provides the object image changes as the eyes move to different directions. In this paper, a multiview 3-D imaging system composed of 8 CCD cameras in a case, a RGB(Red, Green, Blue) beam projector, and a holographic screen is introduced. In this system, the 8 view images are recorded by the 8 CCD cameras and the images are transmitted to the beam projector in sequence by a signal converter. This signal converter converts each camera signal into 3 different color signals, i.e., RGB signals, combines each color signal from the 8 cameras into a serial signal train by multiplexing and drives the corresponding color channel of the beam projector to 480Hz frame rate. The beam projector projects images to the holographic screen through a LCD shutter. The LCD shutter consists of 8 LCD strips. The image of each LCD strip, created by the holographic screen, forms as sub-viewing zone. Since the ON period and sequence of the LCD strips are synchronized with those of the camera image sampling adn the beam projector image projection, the multiview 3-D moving images are viewed at the viewing zone.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2018.10a
• /
• pp.686-689
• /
• 2018

3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.06a
• /
• pp.154-155
• /
• 2022

본 논문에서는 RGB-D 카메라 캘리브레이션의 결과를 개선하는 새로운 기법을 제안한다. 멀티 뷰 카메라 캘리브레이션은 카메라를 통해 획득한 이미지에서 특징점을 찾아 다른 카메라에서 촬영된 동일한 특징점을 기준으로 캘리브레이션을 진행하는 것이 일반적이다. 그러나 카메라를 통해 획득된 RGB-D 영상은 필연적으로 렌즈와 Depth senor에 의한 오차가 포함되기 때문에 정확한 캘리브레이션 결과를 획득하는 것은 어려운 과정이다. 본 논문에서는 이를 개선하기 위해 획득한 특징점을 기반으로 캘리브레이션을 진행한 후, 최소제곱법을 통해 각 특징점간의 거리가 최소가 되는 카메라 파라미터를 획득하여 결과를 개선하는 기법을 제안한다.

• The Journal of the Korea Contents Association
• /
• v.21 no.2
• /
• pp.130-139
• /
• 2021

In this study, size of the fruit of Japanese apricot (plum) was estimated through a plum recognition and size estimation program using 3D images in order to control the Eurytoma maslovskii that causes the most damage to plum in a timely manner. In 2018, night shooting was carried out using a Kinect 2.0 Camera. For night shooting in 2019, a RealSense Depth Camera D415 was used. Based on the acquired images, a plum recognition and estimation program consisting of four stages of image preprocessing, sizeable plum extraction, RGB and depth image matching and plum size estimation was implemented using MATLAB R2018a. The results obtained by running the program on 10 images produced an average plum recognition error rate of 61.9%, an average plum recognition error rate of 0.5% and an average size measurement error rate of 3.6%. The continued development of these plum recognition and size estimation programs is expected to enable accurate fruit size monitoring in the future and the development of timely control systems for Eurytoma maslovskii.

• Proceedings of the KSRS Conference
• /
• 2006.03a
• /
• pp.15-18
• /
• 2006

도로의 정보를 취득하기 위하여 제작된 도로 안정성 조사 분석 차량(RoSSAV)은 도로의 3차원 정보를 취득하는 한 방법으로 레이저 스캐너를 사용한다. 레이저 스캐너로부터 취득된 도로의 3차원 정보는 많은 목적으로 활용할 수 있는 매우 유용한 정보이나, 도로의 3차원 정보를 사용자가 육안으로 확인할 수 있도록 영상으로 편집을 하게 되면, 현실감 있는 영상이 생성되기는 어렵다. 이를 보완하기 위하여 본 연구에서는 레이저 스캐너로부터 얻은 정보와는 별도로 CCD 카메라로 도로 전방 영상을 촬영하였고, 이 두 가지 데이터를 합성하여 현실감 있는 3차원 도로영상을 생성하는 기법을 연구 개발하였다. 레이더 영상과 CCD 영상의 합성은 레이저 데이터가 가지고 있는 3차원의 위치에 해당하는 CCD영상에서의 영상점을 찾아 이 점에서의 RGB 밴드의 밝기값을 찾아내어 이를 레이저 데이터에 기록, 적용시키는 것을 의미한다. 이 방법을 사용하기 위해서는 영상간의 관계모델을 수립할 필요가 있으며, 본 연구에서는 직접선형변환(DLT) 모델을 사용하였다. 이 모델을 이용하기 위해 레이저 데이터를 영상으로 편집하였고 이 영상과 CCD영상과 일치하는 지점을 육안으로 찾아 각 영상별로 DLT센서모델에 필요한 개수의 기준점을 제작하여 실행하였다. 실험 결과 영상은 기준점의 정확도에 따라 약간의 차이는 있으나 합성 전의 레이저 데이터 영상에 비해 실세계에 가까운 색깔을 나타냄이 확인되었다.

• Journal of Broadcast Engineering
• /
• v.26 no.3
• /
• pp.247-257
• /
• 2021

This paper proposes a new technique for calibrating a multi-view RGB-D camera using a 3D (dimensional) skeleton. In order to calibrate a multi-view camera, consistent feature points are required. In addition, it is necessary to acquire accurate feature points in order to obtain a high-accuracy calibration result. We use the human skeleton as a feature point to calibrate a multi-view camera. The human skeleton can be easily obtained using state-of-the-art pose estimation algorithms. We propose an RGB-D-based calibration algorithm that uses the joint coordinates of the 3D skeleton obtained through the posture estimation algorithm as a feature point. Since the human body information captured by the multi-view camera may be incomplete, the skeleton predicted based on the image information acquired through it may be incomplete. After efficiently integrating a large number of incomplete skeletons into one skeleton, multi-view cameras can be calibrated by using the integrated skeleton to obtain a camera transformation matrix. In order to increase the accuracy of the calibration, multiple skeletons are used for optimization through temporal iterations. We demonstrate through experiments that a multi-view camera can be calibrated using a large number of incomplete skeletons.