• 한국컴퓨터그래픽스학회논문지
• /
• 제24권3호
• /
• pp.61-71
• /
• 2018

RGB-D 카메라 촬영 영상에 대한 카메라 포즈 추정을 통하여 복원한 3차원 전역 공간의 점 집합으로부터 삼각형 메쉬를 생성할 때, 일반적으로 메쉬의 크기가 커질수록 3차원 모델의 품질 또한 향상된다. 하지만 어떤 한계를 넘어서 삼각형 메쉬의 해상도를 높일 경우, 메모리 요구량의 과도한 증가나 실시간 렌더링 성능저하 문제뿐만 아니라 RGB-D 센서의 정밀도 한계로 인한 접 집합 데이터의 노이즈에 민감해지는 문제가 발생한다. 본 논문에서는 실시간 응용에 적합한 3차원 모델 생성을 위하여 비교적 적은 크기의 삼각형 메쉬에 대하여 3차원 점 집합의 촬영 색상으로부터 고화질의 텍스쳐를 생성하는 기법을 제안한다. 특히 카메라 포즈 추정을 통하여 생성한 3차원 점 집합 공간과 2차원 텍스쳐 공간 간의 매핑 관계를 활용한 간단한 방법을 통하여 RGB-D 카메라 촬영 영상으로부터 복원한 3차원 모델에 대하여 효과적으로 텍스쳐를 생성할 수 있음을 보인다.

• 한국지리정보학회지
• /
• 제25권4호
• /
• pp.136-150
• /
• 2022

본 연구는 하천 관리 및 홍수위 분석에 있어 필수적인 자료 중 하나인 하천 지형정보를 얻기 위해 RGB 영상을 활용하는 방법에 대한 비교 검토가 이루어졌다. 하천 구역의 지형정보를 얻는 데 있어 흐름 구간 즉 하도 지형정보를 얻는 것이 가장 어려운 분야 중 하나이기에 본 연구에서는 RGB 영상 기반으로 하도 지형정보를 추정하는 것에 집중하였다. 이를 위해 Acoustic Doppler Current Profiler(ADCP)와 RTK-GPS(Real Time Kinematic-GPS)를 이용하여 하도 지형을 직접 계측하였으며, 동시에 드론 촬영을 통해 획득한 고해상도 이미지를 이용하여 정사 영상을 생성하였다. 이후 수심 계측 결과와 RGB 정사 영상의 밴드 값들을 이용하여 수심 예측을 위한 기존에 개발된 회귀식들을 적용하였으며, 가장 뛰어난 예측력을 보여준 회귀식을 이용하여 연구 대상 지역의 하도 지형을 추정하였다. 흐름 구간 이외 지역의 경우 항공 라이다로부터 생성된 DEM을 이용하여 하천 구간 전체에 대한 지형정보를 구축하였다. 추가로 드론 촬영이 이루어진 동일한 시간 동안 직접 계측한 자료를 이용하여 생성된 지형정보와 드론 정사 영상 기반으로 생성된 하도 지형정보의 비교 검증을 수행하기 위해 CCHE2D 모형을 활용하여 흐름 모델링을 모의하였으며, 일부 구간에 대한 계측이 이루어지지 못한 직접 계측한 지형정보와 비교하여 영상 기반의 지형정보는 보다 나은 수심, 유속 모의 결과를 보여주었다. 본 연구 결과를 통해 RGB 영상으로부터 하도 지형정보를 획득할 수 있는 것을 확인하였으며, 추가적인 연구가 수행된다면 하천 관리를 위한 효율적인 하천 지형정보를 얻는 방법으로 활용할 가능성을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 추계학술대회
• /
• pp.124-125
• /
• 2021

최근 증강현실(AR), 가상현실(VR), 혼합현실(XR) 분야가 각광받고 있으며, 3차원 공간과 사물을 인식하여 다양한 콘텐츠 서비스를 제공하는 기술이 개발되고 있다[1]. 3차원 공간과 사물을 인식하기 위해 가장 널리 사용되는 방법은 RGB 카메라를 이용하는 것이다[2]. RGB 카메라를 이용하여 촬영한 영상을 분석한 후 분석된 결과를 이용하여 카메라와 환경의 관계를 추정한다. 시차는 사용자가 촬영한 복수의 이미지에서 특징점의 차이를 이용하여 계산된다. 실험적으로 구한 깊이에 대해 계산된 디스패리티에 시차 정보와 스케일링 정보를 더하여 3차원 특징점을 생성한다. 제안하는 알고리즘은 단일 모바일 디바이스에서 획득한 영상을 사용한다. 특징점 매칭을 기반으로한 디스패리티 추정과 시차조정 3D 특징점 생성이다. 실제 깊이 값과 비교했을 때, 생성된 3차원 특징점은 실측값의 10% 이내의 오차가 있음을 실험적으로 증명하였다. 따라서 제안하는 방법을 이용하여 유효한 3차원 특징점을 생성할 수 있다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제29권3호
• /
• pp.93-103
• /
• 2023

컴퓨터 그래픽스 분야에서 저가의 RGB-D 카메라로 촬영된 색상 및 깊이 영상을 이용한 사람 및 사물을 3차원 모델로 복원하는 문제는 오랫동안 이를 해결하기 위하여 다양한 연구들이 진행되어왔다. 저가의 RGB-D 카메라로 촬영된 색상 및 깊이 영상은 3차원 공간에서 점 구름 형태로 다루어지며, 이는 연속적인 3차원 공간상에 이산적인 값을 대응시키기 때문에 다면체 모델을 이용한 렌더링에 비해 추가적인 표면 재구성 과정이 필요하다. 본 논문에서는 다면체 모델이 아닌 점 구름을 시각화하기 위한 효과적인 광선 추적 기반 렌더링 기법을 제안한다. 특히 프로세서의 발열과 배터리 문제로 인한 모바일 환경에서의 제한적인 성능에서도 효과적인 렌더링 기법으로서의 가능성을 보인다.

• 전자공학회논문지S
• /
• 제35S권8호
• /
• pp.1-11
• /
• 1998

차세대 정보 통신 서비스의 고도화를 위해 추구되는 핵심 기술 중의 하나가 가시화를 통한 실감(Sensation of Reality) 서비스의 구현이다. 정보 통신 서비스의 가시화를 통한 실감화는 3차원 동영상 통신 기술의 개발없이는 구현이 불가능하다. 3차원 동영상 통신의 구현에 있어 가장 큰 문제점은 3차원 동영상에 포함된 많은 정보량을 전송할 수 있는 전송 기술과 3차원 영상을 촬영하고 실시간으로 표시할 수 있는 기술이 아직 확립되어 있지 않다는 것이다. 현재 확립되어 있는 3차원 동영상 기술은 주로 입체 방식(Stereoscopic Type)으로 실감을 얻기가 어렵다. 입체영상 보다 실감을 더해 주는 영상은 눈의 움직임과 함께 입체 영상이 연속적으로 변하게 하는 다시점(Multiview) 3차원 영상이다. 다시점 3차원 영상시스템을 8대의 카메라와 빔 프로젝터 그리고 홀로그래픽 스크린을 이용하는 시분할(Time Multiplexing) 방식에 의해 구현했다. 이 시스템에서 다시점 영상은 8대의 카메라에 의해 촬영되며, 이 촬영된 영상은 신호변환기에 의해 색상별로 한 개의 채널로 합성되어 초당 480 프레임 주파수로 빔 프로젝터에 의해 홀로그래픽 스크린에 투사된다. 빔 프로젝터의 영상은 띠형(Strip Type) 액정 셔터를 통해 홀로그래픽 스크린에 투사되게 되며, 이 띠형 액정 셔터는 홀로그래픽 스크린상에 투사된 영상을 볼 수 있게 시역을 형성한다. 각 카메라는 대응하는 띠형 액정 셔터들과 동기되어 움직이므로, 각 카메라의 영상은 대응하는 액정 셔터를 통해 투사하게 되어 시역에서는 다시점 3차원 영상의 시청이 가능해진다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2018년도 추계학술발표대회
• /
• pp.686-689
• /
• 2018

3D 손 포즈 추정(Hand Pose Estimation, HPE)은 스마트 인간 컴퓨터 인터페이스를 위해서 중요한 기술이다. 이 연구에서는 딥러닝 방법을 기반으로 하여 단일 RGB-Depth 카메라로 촬영한 양손의 3D 손 자세를 실시간으로 인식하는 손 포즈 추정 시스템을 제시한다. 손 포즈 추정 시스템은 4단계로 구성된다. 첫째, Skin Detection 및 Depth cutting 알고리즘을 사용하여 양손을 RGB와 깊이 영상에서 감지하고 추출한다. 둘째, Convolutional Neural Network(CNN) Classifier는 오른손과 왼손을 구별하는데 사용된다. CNN Classifier 는 3개의 convolution layer와 2개의 Fully-Connected Layer로 구성되어 있으며, 추출된 깊이 영상을 입력으로 사용한다. 셋째, 학습된 CNN regressor는 추출된 왼쪽 및 오른쪽 손의 깊이 영상에서 손 관절을 추정하기 위해 다수의 Convolutional Layers, Pooling Layers, Fully Connected Layers로 구성된다. CNN classifier와 regressor는 22,000개 깊이 영상 데이터셋으로 학습된다. 마지막으로, 각 손의 3D 손 자세는 추정된 손 관절 정보로부터 재구성된다. 테스트 결과, CNN classifier는 오른쪽 손과 왼쪽 손을 96.9%의 정확도로 구별할 수 있으며, CNN regressor는 형균 8.48mm의 오차 범위로 3D 손 관절 정보를 추정할 수 있다. 본 연구에서 제안하는 손 포즈 추정 시스템은 가상 현실(virtual reality, VR), 증강 현실(Augmented Reality, AR) 및 융합 현실 (Mixed Reality, MR) 응용 프로그램을 포함한 다양한 응용 분야에서 사용할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.154-155
• /
• 2022

본 논문에서는 RGB-D 카메라 캘리브레이션의 결과를 개선하는 새로운 기법을 제안한다. 멀티 뷰 카메라 캘리브레이션은 카메라를 통해 획득한 이미지에서 특징점을 찾아 다른 카메라에서 촬영된 동일한 특징점을 기준으로 캘리브레이션을 진행하는 것이 일반적이다. 그러나 카메라를 통해 획득된 RGB-D 영상은 필연적으로 렌즈와 Depth senor에 의한 오차가 포함되기 때문에 정확한 캘리브레이션 결과를 획득하는 것은 어려운 과정이다. 본 논문에서는 이를 개선하기 위해 획득한 특징점을 기반으로 캘리브레이션을 진행한 후, 최소제곱법을 통해 각 특징점간의 거리가 최소가 되는 카메라 파라미터를 획득하여 결과를 개선하는 기법을 제안한다.

• 한국콘텐츠학회논문지
• /
• 제21권2호
• /
• pp.130-139
• /
• 2021

본 연구에서는 매실에 가장 큰 피해를 주는 복숭아 씨살이좀벌의 방제 적기 안내를 위해 3D 영상을 활용한 매실 인식 및 크기 추정 프로그램을 통해 매실 크기를 예측하였다. 3차원 영상 측정이 가능한 Kinect 2.0 Camera 및 RealSense Depth Camera D415를 사용하여 야간 영상 촬영을 진행하였다. 획득한 영상을 토대로 MATLAB R2018a를 이용하여 영상 전처리, 크기 추정이 가능한 매실 추출, RGB 및 Depth 영상 정합 및 매실 크기 추정의 4단계로 구성된 매실 인식 및 추정 프로그램을 구현해 매실 성장 단계를 고려하여 2018년의 5개 영상 및 2019년의 5개의 영상을 분석하였다. 10개 영상에 대해 프로그램을 구동하여 얻은 결과를 통해 매실 인식률의 평균 61.9%, 매실 인식 오류율 평균 0.5% 및 크기 측정 오차율 평균 3.6%를 도출하였다. 이러한 매실 인식 및 크기 추정 프로그램의 지속적인 개발은 향후 정확한 열매 크기 모니터링 및 복숭아 씨살이좀벌의 적기 방제 시스템 개발을 가능하게 할 것으로 예상한다.

• 대한원격탐사학회:학술대회논문집
• /
• 대한원격탐사학회 2006년도 춘계학술대회 논문집
• /
• pp.15-18
• /
• 2006

도로의 정보를 취득하기 위하여 제작된 도로 안정성 조사 분석 차량(RoSSAV)은 도로의 3차원 정보를 취득하는 한 방법으로 레이저 스캐너를 사용한다. 레이저 스캐너로부터 취득된 도로의 3차원 정보는 많은 목적으로 활용할 수 있는 매우 유용한 정보이나, 도로의 3차원 정보를 사용자가 육안으로 확인할 수 있도록 영상으로 편집을 하게 되면, 현실감 있는 영상이 생성되기는 어렵다. 이를 보완하기 위하여 본 연구에서는 레이저 스캐너로부터 얻은 정보와는 별도로 CCD 카메라로 도로 전방 영상을 촬영하였고, 이 두 가지 데이터를 합성하여 현실감 있는 3차원 도로영상을 생성하는 기법을 연구 개발하였다. 레이더 영상과 CCD 영상의 합성은 레이저 데이터가 가지고 있는 3차원의 위치에 해당하는 CCD영상에서의 영상점을 찾아 이 점에서의 RGB 밴드의 밝기값을 찾아내어 이를 레이저 데이터에 기록, 적용시키는 것을 의미한다. 이 방법을 사용하기 위해서는 영상간의 관계모델을 수립할 필요가 있으며, 본 연구에서는 직접선형변환(DLT) 모델을 사용하였다. 이 모델을 이용하기 위해 레이저 데이터를 영상으로 편집하였고 이 영상과 CCD영상과 일치하는 지점을 육안으로 찾아 각 영상별로 DLT센서모델에 필요한 개수의 기준점을 제작하여 실행하였다. 실험 결과 영상은 기준점의 정확도에 따라 약간의 차이는 있으나 합성 전의 레이저 데이터 영상에 비해 실세계에 가까운 색깔을 나타냄이 확인되었다.

• 방송공학회논문지
• /
• 제26권3호
• /
• pp.247-257
• /
• 2021

본 논문에서는 3D(dimensional) 스켈레톤을 이용하여 다시점 RGB-D 카메라를 캘리브레이션 하는 새로운 기법을 제안하고자 한다. 다시점 카메라를 캘리브레이션 하기 위해서는 일관성 있는 특징점이 필요하다. 또한 높은 정확도의 캘리브레이션 결과를 얻기 위해서는 정확한 특징점의 획득이 필요하다. 우리는 다시점 카메라를 캘리브레이션 하기 위한 특징점으로 사람의 스켈레톤을 사용한다. 사람의 스켈레톤은 최신의 자세 추정(pose estimation) 알고리즘들을 이용하여 쉽게 구할 수 있게 되었다. 우리는 자세 추정 알고리즘을 통해서 획득된 3D 스켈레톤의 관절 좌표를 특징점으로 사용하는 RGB-D 기반의 캘리브레이션 알고리즘을 제안한다. 다시점 카메라에 촬영된 인체 정보는 불완전할 수 있기 때문에, 이를 통해 획득된 영상 정보를 바탕으로 예측된 스켈레톤은 불완전할 수 있다. 불완전한 다수의 스켈레톤을 효율적으로 하나의 스켈레톤으로 통합한 후에, 통합된 스켈레톤을 이용하여 카메라 변환 행렬을 구함으로써 다시점 카메라들을 캘리브레이션 할 수 있다. 캘리브레이션의 정확도를 높이기 위해서 시간적인 반복을 통해서 다수의 스켈레톤을 최적화에 이용한다. 우리는 실험을 통해서 불완전한 다수의 스켈레톤을 이용하여 다시점 카메라를 캘리브레이션 할 수 있음을 증명한다.