• 한국전산구조공학회논문집
• /
• 제37권3호
• /
• pp.173-178
• /
• 2024

본 논문에서는 스테레오 비전 센서를 이용한 프리팹 강구조물(PSS: Prefabricated Steel Structures)의 조립부 형상 품질 평가 기법을 소개한다. 스테레오 비전 센서를 통해 모형의 조립부 영상과 포인트 클라우드 데이터를 수집하였으며, 퍼지 기반 엣지 검출, 허프 변환 기반 원형의 볼트 홀 검출 등의 영상처리 알고리즘을 적용하여 조립부 영역의 볼트홀을 검출하였다. 영상 내 추출된 볼트홀 외곽선 위 세 점의 위치 정보에 대응되는 3차원 실세계 위치 정보를 깊이 영상으로부터 획득하였으며, 이를 기반으로 각 볼트홀의 3차원 중심 위치를 계산하였다. 통계적 기법 중 하나인 주성분 분석 알고리즘(PCA: Principal component analysis) 알고리즘을 적용함으로써 3차원 위치 정보를 대표하는 최적의 좌표축을 계산하였다. 이를 통해 센서의 설치 방향 및 위치에 따라 센서와 부재 간 평행이 아니더라도 안정적으로 볼트홀 간의 거리를 계측하도록 하였다. 각 볼트홀의 2차원 위치 정보를 기반으로 볼트홀의 순서를 정렬하였으며, 정렬된 볼트홀의 위치 정보를 바탕으로 인접한 볼트홀 간의 각 축의 거리 정보를 계산하여 조립부 볼트홀 위치 중심의 형상 품질을 분석하였다. 측정된 볼트홀 간의 거리 정보는 실제 도면의 거리 정보와의 절대오차와 상대오차를 계산하여 성능 비교를 진행하였으며, 중앙값 기준 1mm 내의 절대오차와 4% 이내의 상대오차의 계측 성능을 확인하였다.

• 로봇학회논문지
• /
• 제15권3호
• /
• pp.293-300
• /
• 2020

The purpose of our sensor system is to transparentize the large hydraulic manipulators of a six-ton dual arm excavator from the operator camera view. Almost 40% of the camera view is blocked by the manipulators. In other words, the operator loses 40% of visual information which might be useful for many manipulator control scenarios such as clearing debris on a disaster site. The proposed method is based on a 3D reconstruction technology. By overlaying the camera image from front top of the cabin with the point cloud data from RGB-D (red, green, blue and depth) cameras placed at the outer side of each manipulator, the manipulator-free camera image can be obtained. Two additional algorithms are proposed to further enhance the productivity of dual arm excavators. First, a color correction algorithm is proposed to cope with the different color distribution of the RGB and RGB-D sensors used on the system. Also, the edge overlay algorithm is proposed. Although the manipulators often limit the operator's view, the visual feedback of the manipulator's configurations or states may be useful to the operator. Thus, the overlay algorithm is proposed to show the edge of the manipulators on the camera image. The experimental results show that the proposed transparentization algorithm helps the operator get information about the environment and objects around the excavator.

• 한국산학기술학회논문지
• /
• 제20권9호
• /
• pp.525-531
• /
• 2019

인간과 컴퓨터 사이의 보다 자연스러운 상호적인 인터페이스를 효과적으로 구현하기 위해서 사람의 제스처를 활용하려는 노력이 최근 들어 지속적으로 시도되고 있다. 본 논문에서는 연속적으로 입력되는 3차원의 깊이 영상을 받아들여서 손 모델을 정의하고, 정의된 손 모델을 기반으로 사람의 손 영역을 강인하게 추출하는 알고리즘을 제시한다. 본 논문에서 제시된 알고리즘에서는 먼저 21개의 관절을 사용하여 손 모델을 정의한다. 본 논문에서 정의한 손 모델은 6개의 손바닥 관절을 포함하는 손바닥 모델과 15개의 손가락 관절을 포함하는 손가락 모델로 구성된다. 그런 다음, 입력되는 3차원의 깊이 영상을 적응적으로 이진화함으로써, 배경과 같은 비관심 영역들은 제외하고, 관심 영역인 사람의 손 영역만을 정확하게 추출한다. 실험 결과에서는 제시된 알고리즘이 연속적으로 입력되는 깊이 영상으로부터 배경과 같은 영역들은 제외하고 사람의 손 영역만을 기존의 알고리즘에 비해 약 2.4% 보다 강인하게 검출한다는 것을 보여준다. 본 논문에서 제안된 손 영역 추출 알고리즘은 제스처 인식, 가상현실 구현, 3차원 운동 게임, 수화 인식 등과 같은 컴퓨터 비전 및 영상 처리와 관련된 여러 가지의 실제적인 분야에서 유용하게 활용될 것으로 기대된다.

• 로봇학회논문지
• /
• 제14권2호
• /
• pp.87-93
• /
• 2019

This paper presents a 6-DOF relocalization using a 3D laser scanner and a monocular camera. A relocalization problem in robotics is to estimate pose of sensor when a robot revisits the area. A deep convolutional neural network (CNN) is designed to regress 6-DOF sensor pose and trained using both RGB image and 3D point cloud information in end-to-end manner. We generate the new input that consists of RGB and range information. After training step, the relocalization system results in the pose of the sensor corresponding to each input when a new input is received. However, most of cases, mobile robot navigation system has successive sensor measurements. In order to improve the localization performance, the output of CNN is used for measurements of the particle filter that smooth the trajectory. We evaluate our relocalization method on real world datasets using a mobile robot platform.

• 국제학술발표논문집
• /
• The 5th International Conference on Construction Engineering and Project Management
• /
• pp.279-286
• /
• 2013

This paper introduces a new method for identification of building energy performance problems. The presented method is based on automated analysis and visualization of deviations between actual and expected energy performance of the building using EPAR (Energy Performance Augmented Reality) models. For generating EPAR models, during building inspections, energy auditors collect a large number of digital and thermal imagery using a consumer-level single thermal camera that has a built-in digital lens. Based on a pipeline of image-based 3D reconstruction algorithms built on GPU and multi-core CPU architecture, 3D geometrical and thermal point cloud models of the building under inspection are automatically generated and integrated. Then, the resulting actual 3D spatio-thermal model and the expected energy performance model simulated using computational fluid dynamics (CFD) analysis are superimposed within an augmented reality environment. Based on the resulting EPAR models which jointly visualize the actual and expected energy performance of the building under inspection, two new algorithms are introduced for quick and reliable identification of potential performance problems: 1) 3D thermal mesh modeling using k-d trees and nearest neighbor searching to automate calculation of temperature deviations; and 2) automated visualization of performance deviations using a metaphor based on traffic light colors. The proposed EPAR v2.0 modeling method is validated on several interior locations of a residential building and an instructional facility. Our empirical observations show that the automated energy performance analysis using EPAR models enables performance deviations to be rapidly and accurately identified. The visualization of performance deviations in 3D enables auditors to easily identify potential building performance problems. Rather than manually analyzing thermal imagery, auditors can focus on other important tasks such as evaluating possible remedial alternatives.

• 한국측량학회지
• /
• 제28권4호
• /
• pp.441-448
• /
• 2010

본 논문은 계절별로 획득된 항공라이다 자료로부터 수고를 추정하여 수관울폐도와 자료융합에 따른 영향을 분석하였다. 수고추정은 수목에서 반사되는 신호(First Return : FR)와 지표에서 반사되는 신호(Last Return : LR)를 추출하고, 영상분할을 통해 수목개체를 가정하여 개체목별 수고를 획득하는 방법을 적용하였다. 계절별 자료를 통해 획득한 각 수고 자료와 융합자료로부터 획득한 수고의 결과를 비교하였으며, 수고측정기를 사용하여 현지 측정을 하여 정확성을 비교하고, 항공라이다를 통해 획득한 자료들을 융합한 결과에 대한 그 활용성을 검토하였다. 실험 결과, 수목개체를 위한 영상분할 결과는 0.5미터 점군간격보다 1미터 간격이 현지조사 결과와 가까웠으며, 수목고의 경우 각 계절별 자료보다 융합자료를 활용한 결과가 현지 측정 결과에 접근하고 있음을 알 수 있었다.

• 한국측량학회지
• /
• 제38권6호
• /
• pp.583-589
• /
• 2020

최근 다양한 센서 및 정보통신 기술(ICT: Information & Communications Technology)을 융합·활용한 스마트 팜을 위한 UAS (Unmanned Aerial System)의 활용성이 기대되고 있다. 특히, 다양한 지수를 통한 실외 작물 모니터링 방안으로 효용성이 입증되며 여러 분야에서 연구되고 있다. 본 연구는 벼를 대상으로 자연재해 작물 피해를 분석하고 피해량을 계측하는 것이다. 이를 위해, BG-NIR (Blue Green_near Infrared red) 및 RGB 센서를 통해 데이터를 획득하고 영상해석 및 NDWI (Normalized Difference Water Index) 지수를 활용하여 장마에 의한 작물 피해를 검토한다. 또한, 영상해석 기반 포인트 클라우드 데이터를 생성, 인스펙션 맵을 통해 태풍 전·후 데이터를 비교하여 피해량을 계측한다. 연구결과, NDWI 지수 분석을 통해 벼의 생장 및 장마 피해를 검토하였고, 인스펙션 맵 분석으로 태풍에 의한 피해 면적을 계측하였다.

• 한국산업융합학회 논문집
• /
• 제26권1호
• /
• pp.113-119
• /
• 2023

In this paper, we propose an optimization of a pose estimation deep learning model for recognition of abnormal behavior in unmanned stores using radio frequencies. The radio frequency use millimeter wave in the 30 GHz to 300 GHz band. Due to the short wavelength and strong straightness, it is a frequency with less grayness and less interference due to radio absorption on the object. A millimeter wave radar is used to solve the problem of personal information infringement that may occur in conventional CCTV image-based pose estimation. Deep learning-based pose estimation models generally use convolution neural networks. The convolution neural network is a combination of convolution layers and pooling layers of different types, and there are many cases of convolution filter size, number, and convolution operations, and more cases of combining components. Therefore, it is difficult to find the structure and components of the optimal posture estimation model for input data. Compared with conventional millimeter wave-based posture estimation studies, it is possible to explore the structure and components of the optimal posture estimation model for input data using genetic algorithms, and the performance of optimizing the proposed posture estimation model is excellent. Data are collected for actual unmanned stores, and point cloud data and three-dimensional keypoint information of Kinect Azure are collected using millimeter wave radar for collapse and property damage occurring in unmanned stores. As a result of the experiment, it was confirmed that the error was moored compared to the conventional posture estimation model.

• 대한공간정보학회지
• /
• 제22권4호
• /
• pp.3-11
• /
• 2014

최근 도시는 신규건축, 재건축 및 부분적인 리모델링 등 다양한 형태로 변화하고 있으며, 이에 따라 수치지도 또한 최신성 및 정확도를 유지할 수 있도록 지속적인 수정 및 갱신을 통해 사용자들에게 최적의 서비스를 제공할 수 있어야 한다. 일반적으로 수치지도 수정 및 갱신 방법으로는 항공사진 혹은 준공도면을 이용하고 있으나, 항공사진은 촬영주기제한 및 경제성 측면에서 국소 지역에 대한 수시 갱신이 어렵고 준공도면의 경우 품질 확보의 어려움이 존재한다. 본 연구에서는 빠르게 변하는 도심지의 건물 개발 현황을 수치지도상의 건물 정보에 신속하게 반영하기 위해 지상라이다로부터 추출한 건물 footprint 자료를 이용하는 방법론을 제안하였다. 우선 지상라이다로부터 취득된 전체 건물의 포인트 클라우드 자료로부터 대표 옆면을 추출하고, 2차원 영상으로 투영한다. 투영된 포인트 클라우드 자료로부터 footprint를 추출하고, 추출된 footprint와 수치지도 상의 건물 footprint 간의 정합을 위해 2D Affine 모델을 사용하였다. 2D Affine 파라미터의 추정에는 두 footprint 자료로부터 취득된 무게중심을 사용하였으며, 무작위로 추출된 무게중심 간의 매칭을 위해 수정된 RANSAC (RANdom SAmple Consensus) 알고리즘을 제시하였다. 다양한 조건하에서 수행된 실험결과 제안된 알고리즘을 적용할 경우, 지상라이다로부터 추출된 건물데이터를 활용하여 효율적인 수치지형도의 갱신이 가능함을 확인할 수 있었다.

• 방송공학회논문지
• /
• 제27권1호
• /
• pp.44-55
• /
• 2022

농업 관련 방송 콘텐츠에서 과일에 대한 자동적인 정보 제공을 위해서 대상 과일의 인스턴스 영상 분할이 요구된다. 또한, 해당 과일에 대한 3차원 자세에 대한 정보 제공도 의미있게 사용될 수 있다. 본 논문에서는 영상 콘텐츠에서 토마토에 대한 정보를 제공하는 연구를 다룬다. 인스턴스 영상 분할 기법을 학습하기 위해서는 다량의 데이터가 필요하지만 충분한 토마토 학습데이터를 얻기는 힘들다. 따라서 적은 양의 실사 영상을 바탕으로 데이터 증대기법을 통해 학습 데이터를 생성하였다. 실사 영상만을 통한 학습 결과 정확도에 비해서, 전경과 배경을 분리해서 만들어진 합성 영상을 통해 학습한 결과, 기존 대비 성능이 향상되는 것을 확인하였다. 영상 전처리 기법들을 활용해서 만들어진 영상을 사용한 데이터 증대 영상의 학습 결과, 전경과 배경을 분리한 합성 영상보다 높은 성능을 얻는 것을 확인하였다. 객체 검출 후 자세 추정을 하기 위해 RGB-D 카메라를 이용하여 포인트 클라우드를 획득하였고 최소제곱법을 이용한 실린더 피팅을 진행하였고, 실린더의 축 방향을 통해 토마토 자세를 추정하였다. 우리는 다양한 실험을 통해서 대상 객체에 대한 검출, 인스턴스 영상 분할, 실린더 피팅의 결과가 의미있게 나타난다는 것을 보였다.