• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제14권9호
• /
• pp.3782-3796
• /
• 2020

A three-dimensional (3D) reconstruction is an important research area in computer vision. The ability to detect and match features across multiple views of a scene is a critical initial step. The tracking matrix W obtained from a 3D reconstruction can be applied to structure from motion (SFM) algorithms for 3D modeling. We often fail to generate an acceptable number of features when processing face or medical images because such images typically contain large homogeneous regions with minimal variation in intensity. In this study, we seek to locate sufficient matching points not only in general images but also in face and medical images, where it is difficult to determine the feature points. The algorithm is implemented on an adaptive threshold value, a scale invariant feature transform (SIFT), affine SIFT, speeded up robust features (SURF), and affine SURF. By applying the algorithm to face and general images and studying the geometric errors, we can achieve quasi-dense matching points that satisfy well-functioning geometric constraints. We also demonstrate a 3D reconstruction with a respectable performance by applying a column space fitting algorithm, which is an SFM algorithm.

• Journal of Ubiquitous Convergence Technology
• /
• 제1권1호
• /
• pp.9-17
• /
• 2007

Feature based stereo matching is an effective way to perform 3D building reconstruction. However, in urban scene, the cluttered background and various building structures may interfere with the performance of building reconstruction. In this paper, we propose a novel method to robustly reconstruct buildings on the basis of rectangle regions. Firstly, we propose a multi-scale linear feature detector to obtain the salient line segments on the object contours. Secondly, candidate rectangle regions are extracted from the salient line segments based on their local information. Thirdly, stereo matching is performed with the list of matching line segments, which are boundary edges of the corresponding rectangles from the left and right image. Experimental results demonstrate that the proposed method can achieve better accuracy on the reconstructed result than pixel-level stereo matching.

• 제어로봇시스템학회:학술대회논문집
• /
• 제어로봇시스템학회 2004년도 ICCAS
• /
• pp.1458-1463
• /
• 2004

Tracking is one of the most important pre-required task for many application such as human-computer interaction through gesture and face recognition, motion analysis, visual servoing, augment reality, industrial assembly and robot obstacle avoidance. Recently, 3D information of object is required in realtime for many aforementioned applications. 3D tracking is difficult problem to solve because during the image formation process of the camera, explicit 3D information about objects in the scene is lost. Recently, many vision system use stereo camera especially for 3D tracking. The 3D feature based tracking(3DFBT) which is on of the 3D tracking system using stereo vision have many advantage compare to other tracking methods. If we assumed the correspondence problem which is one of the subproblem of 3DFBT is solved, the accuracy of tracking depends on the accuracy of camera calibration. However, The existing calibration method based on accurate camera model so that modelling error and weakness to lens distortion are embedded. Therefore, this thesis proposes 3D feature based tracking method using SVM which is used to solve reconstruction problem.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.193-195
• /
• 2022

본 논문에서는 3차원 스캔 없이 이미지 입력만을 사용한 개인 체형을 고려한 모바일 가상 착용 시스템의 전체 과정을 설계하고 개발하였다. 이를 위하여 이미지상 인물의 자세와 체형의 추정을 통하여 3차원 인체모델(SMPL)을 추정하는 최근의 방식을 이용하였고, 앞 뒷면 의상 이미지를 2차원 texture 매핑과 평면 triangle mesh로 복원하고 의상 봉제 (sewing) 시뮬레이션을 사용하여 3차원 의상 모델을 생성하는 방법을 새롭게 개발하였다. 또한 이를 활용한 3차원 개인화된 가상 착용 모바일 앱과 서비스를 Flask와 iOS 환경에서 SceneKit을 활용하여 개발하였다. 이를 통하여 단순히 의상의 매칭과 스타일 뿐 아니라 사이즈에 따른 착용 Fit을 구매 전에 확인할 수 있는 전체 서비스를 실현 및 검증하였다.

• Advances in robotics research
• /
• 제1권2호
• /
• pp.127-140
• /
• 2014

This work presents an IR-based system for parking assistance and obstacle detection in the automotive field that employs the Microsoft Kinect camera for fast 3D point cloud reconstruction. In contrast to previous research that attempts to explicitly identify obstacles, the proposed system aims to detect "reachable regions" of the environment, i.e., those regions where the vehicle can drive to from its current position. A user-friendly 2D traversability grid of cells is generated and used as a visual aid for parking assistance. Given a raw 3D point cloud, first each point is mapped into individual cells, then, the elevation information is used within a graph-based algorithm to label a given cell as traversable or non-traversable. Following this rationale, positive and negative obstacles, as well as unknown regions can be implicitly detected. Additionally, no flat-world assumption is required. Experimental results, obtained from the system in typical parking scenarios, are presented showing its effectiveness for scene interpretation and detection of several types of obstacle.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.4-7
• /
• 2022

최근 다 시점 영상 콘텐츠 기반 3차원 공간(장면) 복원을 위한 다 시점 깊이 추정 딥러닝 네트워크 방법론이 널리 연구되고 있다. 다 시점 영상 콘텐츠는 촬영 구도, 촬영 환경 및 세팅에 따라 다양한 특성을 가지며, 고품질의 3차원 복원을 위해서는 이러한 특성을 이해하고, 적절한 깊이 추정 네트워크 기법들을 적용하는 것이 중요하다. 다 시점 영상 촬영 구도로는 수렴형, 발산형이 존재하며, 촬영 세팅에는 카메라 시점 간 물리적 거리인 baseline이 있다. 본 연구는 이와 같은 다 시점 영상 콘텐츠의 종류와 각 특징에 기반하여 콘텐츠(데이터 셋)의 특성에 따른 적절한 깊이 추정 네트워크 방법론을 다룬다. 실험 결과로부터, 기존의 다 시점 깊이 추정 네트워크를 발산형 또는 large baseline 특성을 가지는 데이터 셋에 곧바로 적용하는데 한계점이 존재함을 확인하였다. 따라서, 각 영상 환경에 적합한 '참조 시점 개수' 및 적절한 '참조 시점 선택 알고리즘'의 필요성을 검증하였다. 결론적으로, 3차원 공간(장면) 복원을 위한 딥러닝 기반 깊이 추정 네트워크 구현 시, 본 연구 결과가 다 시점 영상 콘텐츠 기반 깊이 추정 기법 선택에 있어 가이드라인으로 활용될 수 있음을 확인하였다.

• 방송공학회논문지
• /
• 제27권4호
• /
• pp.487-498
• /
• 2022

깊이 영상은 3차원 공간상의 거리 정보를 2차원 평면에 나타낸 영상이며 다양한 3D 비전 연구에서 유용하게 사용된다. 기존의 많은 깊이 추정 연구는 주로 좁은 FoV (Field of View) 영상을 사용하여 전체 장면 중 상당 부분이 소실된 영상에 대한 깊이 정보를 추정한다. 본 논문에서는 소수의 좁은 FoV 영상으로부터 360° 전 방향 RGBD 영상을 동시에 생성하는 기법을 제안한다. 오버랩 되지 않는 4장의 소수 영상으로부터 전체 파노라마 영상에 대해서 상대적인 FoV를 추정하고 360° 컬러 영상과 깊이 영상을 동시에 생성하는 적대적 생성 신경망 기반의 영상 생성 모델을 제안하였으며, 두 모달리티의 특징을 공유하여 상호 보완된 결과를 확인한다. 또한 360° 영상의 구면 특성을 반영한 네트워크를 구성하여 개선된 성능을 보인다.

• 정보처리학회논문지B
• /
• 제10B권5호
• /
• pp.515-520
• /
• 2003

본 논문에서는 2장의 영상으로부터 카메라 내부 파라미터를 추출하는 교정 방법을 제시한다. 카메라 교정은 2차원 영상으로부터 3차원 정보를 얻기 위해서는 필수 불가결한 기술이다. 기존의 많은 연구들이 수행되어 왔는데, 영상내에 체크 패턴을 포함한 3장의 영상을 이용하는 방법과 연속된 3장의 영상으로부터 Kruppa 방정식을 풀어 카메라 교정하는 방법이 대표적인 예가 되겠다. 본 논문에서는 인간이 만든 조형물에서 쉽게 발견할 수 있는 기하학적인 정보를 이용하여 보다 쉽고 빠르게 내부 파라미터를 추출한다. 이러한 내부 파라미터는 소실점들로부터 추정되며 대응되는 2장의 영상에서 대응점들로부터 외부 파라미터를 추출할 수 있다. 이렇게 교정된 내부, 외부 파라미터를 이용하여 사영 행렬을 유도하고, 유도된 사영행렬로 3차원 정보를 얻게 되고 3차원 재구성을 구현하게 된다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제7권2호
• /
• pp.132-140
• /
• 2001

본 논문은 동일 장면을 나타내는 한 쌍의 이미지를 이용한 효율적인 3차원 애니메이션 기법을 제안한다. 간단하고 빠른 애니메이션을 위해 그림 속으로의 영향은 한 장의 이미지에서 시점의 깊이 이동을 가능하게 하지만 전경물체의 표현이 시점의 좌우 변환의 사실감을 고려하지 않으며, 뷰모핑은 두 장의 이미지 사이의 2차원 변환만을 이용하지만 시점의 이동이 두 카메라의 중심을 잇는 선상으로 제한된다는 단점이 있다. 본 논문은 두 기법의 단점을 서로 보완하여 시점의 깊이 이동뿐 아니라 좌우이동에서도 자연스러운 영상을 생성하는 새로운 애니메이션 기법을 제안한다. 본 논문에서는 배경 장면을 spidery 매쉬로부터 복원된 간단한 직육면체에 매핑하고, 관찰자가 주의 깊게 인식하고 전경물체에 대해서는 두 입력 이미지의 투영중심을 잇는 직선상에 평행한 시점의 이동에만 제한적으로 뷰모핑을 적용하여 장면전체의 이미지 픽셀들에 대한 3차원 정보의 복원 비용을 줄이면서도 시점이동의 사실감을 높인다. 두 전경물체 사이의 선형보간 파라미터는 두 spidery 메쉬 간의 차이와 이에 대응하는 배경모델에서의 3차원시점 변환과의 관계로부터 결정된다. 실험을 통해 제안방법이 간단한 인터페이스만으로도 사실감을 유지하는 자유로운 3차원 시점이동 애니메이션을 생성함을 보인다.

• 한국정보처리학회:학술대회논문집
• /
• 한국정보처리학회 2014년도 추계학술발표대회
• /
• pp.817-820
• /
• 2014

본 논문에서는 휴대용 카메라를 이용한 3차원 공간 재구성을 위해 카메라의 실시간 포즈를 정확히 추정할 수 있는 카메라 포즈 최적화 시스템을 제안한다. 본 시스템에서는 3차원 공간에서 6차원 자유도를 가지고 움직이는 카메라의 주행 거리와 추정 포즈들 사이의 관계를 3차원 포즈 그래프로 나타냈다. 그리고 이 포즈 그래프에 대표적인 포즈 SLAM 알고리즘인 g2o를 적용함으로써, 최적화된 카메라 포즈들을 계산해낸다. 본 논문에서는 TUM 대학의 벤치마크 데이터 집합을 이용해 다양한 성능 평가 실험들을 수행하였고, 이를 통해 본 논문에서 제안한 카메라 포즈 최적화 시스템의 높은 성능을 확인할 수 있었다.