• 디지털산업정보학회논문지
• /
• 제12권1호
• /
• pp.27-33
• /
• 2016

In this study we propose a method for 3D landform reconstruction and object modeling method by generating contour lines on the map using a depth sensor which abstracts characteristics of geological layers from the depth map. Unlike the common visual camera, the depth-sensor is not affected by the intensity of illumination, and therefore a more robust contour and object can be extracted. The algorithm suggested in this paper first abstracts the characteristics of each geological layer from the depth map image and rearranges it into the proper order, then creates contour lines using the Bezier curve. Using the created contour lines, 3D images are reconstructed through rendering by mapping RGB images of the visual camera. Experimental results show that the proposed method using depth sensor can reconstruct contour map and 3D modeling in real-time. The generation of the contours with depth data is more efficient and economical in terms of the quality and accuracy.

• Journal of Electrical Engineering and Technology
• /
• 제9권2호
• /
• pp.739-748
• /
• 2014

In this paper, we propose pyramid appearance and global structure action descriptors on both RGB and depth motion history images and a model-free method for human action recognition. In proposed algorithm, we firstly construct motion history image for both RGB and depth channels, at the same time, depth information is employed to filter RGB information, after that, different action descriptors are extracted from depth and RGB MHIs to represent these actions, and then multimodality information collaborative representation and recognition model, in which multi-modality information are put into object function naturally, and information fusion and action recognition also be done together, is proposed to classify human actions. To demonstrate the superiority of the proposed method, we evaluate it on MSR Action3D and DHA datasets, the well-known dataset for human action recognition. Large scale experiment shows our descriptors are robust, stable and efficient, when comparing with the-state-of-the-art algorithms, the performances of our descriptors are better than that of them, further, the performance of combined descriptors is much better than just using sole descriptor. What is more, our proposed model outperforms the state-of-the-art methods on both MSR Action3D and DHA datasets.

• 반도체디스플레이기술학회지
• /
• 제22권1호
• /
• pp.72-77
• /
• 2023

In many manufacturing settings, including the semiconductor industry, products are completed by producing and assembling various components. Sorting out from randomly mixed parts and classification operations takes a lot of time and labor. Recently, many efforts have been made to select and assemble correct parts from mixed parts using robots. Automating the sorting and classification of randomly mixed components is difficult since various objects and the positions and attitudes of robots and cameras in 3D space need to be known. Previously, only objects in specific positions were grasped by robots or people sorting items directly. To enable robots to pick up random objects in 3D space, bin picking technology is required. To realize bin picking technology, it is essential to understand the coordinate system information between the robot, the grasping target object, and the camera. Calibration work to understand the coordinate system information between them is necessary to grasp the object recognized by the camera. It is difficult to restore the depth value of 2D images when 3D restoration is performed, which is necessary for bin picking technology. In this paper, we propose to use depth information of RGB-D camera for Z value in rotation and movement conversion used in calibration. Proceed with camera calibration for accurate coordinate system conversion of objects in 2D images, and proceed with calibration of robot and camera. We proved the effectiveness of the proposed method through accuracy evaluations for camera calibration and calibration between robots and cameras.

• 한국정보전자통신기술학회논문지
• /
• 제13권3호
• /
• pp.177-183
• /
• 2020

스테가노그래피는 안전하지 않은 네트워크를 통해 비밀 메시지를 전송하는데 사용하는 매개체로 디지털 이미지를 사용한다. 또한 디지털 이미지에 비밀 메시지를 포함시키는 방법 중에서 많이 사용하는 최하위 비트(LSB)가 있다. 스테가 노그래피의 목표는 통신 채널을 통해 스테고 매체를 이용하여 비밀 메시지를 안전하고, 무결하게 전송하는 것이다. 제3자에게 노출의 위험성을 감소시키기 위해 저항성을 향상시키는 방법이 필요하다. 비밀 메시지를 안전하게 숨기기 위해 교차, 암호화, 혼돈, 은닉 단계를 거치는 새로운 알고리즘을 제안한다. 한글 음절을 초성, 중성, 종성으로 분리한 후 비트화된 메시지 정보를 암호화 한다. 로지스틱 맵을 적용한 후에 혼돈 시퀀스의 위치를 가지고 비트화된 정보를 재구성한다. 비밀 메시지는 임의 선택된 RGB 채널에 삽입한다. 적용된 결과의 효율성을 확인하기 위해 PSNR과 SSIM을 이용하였다. 각각 44.392(dB), 0.9884로 확인하였다.

• 터널과지하공간
• /
• 제33권6호
• /
• pp.508-518
• /
• 2023

이 논문은 LiDAR 스캔 또는 사진측량 기술에 의해 재구성된 3D 디지털 모델을 기반으로 터널 벽면의 불연속면을 자동으로 매핑하는 새로운 접근 방식을 제안한다. 본 제안에서는 U-Net이라 불리는 딥러닝 시맨틱 영역분할 모델을 사용하며, 터널 막장면의 3D 지형 모델에서 불연속면 영역을 식별해 낸다. 제안된 딥러닝 모델은 투영된 RGB 이미지, 면의 깊이 이미지 및 국부적인 면의 표면 속성 이미지(즉, 법선 벡터 및 곡률 이미지)를 포함한 다양한 정보를 종합 학습하여 기본 3차원 이미지에서 불연속면 영역을 효과적으로 분할한다. 이후 영역분할 결과는 면의 깊이 맵과 투영 행렬을 사용하여 3D 모델로 다시 투영시키고, 3D 공간 내에서 불연속면의 위치 및 범위를 정확하게 표현한다. 영역분할 모델의 성능은 영역 분할된 결과를 해당 지면 실측 값과 비교함으로써 평가하였으며, IoU(intersection-over-union) 값이 약 0.8 정도로 나타나 영역분할 결과의 높은 정확성을 확인하였다. 여전히 학습데이터가 제한적 이었음에도 불구하고, 제안 기법은 3D 모델의 점군 데이터를 불연속면의 유사군으로 그룹화하기 위해 전 막장면의 법선 벡터와 클러스터링과 같은 비지도 학습기반 알고리즘에만 의존하던 기존 접근 방식의 한계의 극복 가능성을 보여주었다.

• 제어로봇시스템학회논문지
• /
• 제21권7호
• /
• pp.634-640
• /
• 2015

This paper proposes a novel three-dimensional mapping algorithm in Omni-Directional Vision SLAM based on a fisheye image and laser scanner data. The performance of SLAM has been improved by various estimation methods, sensors with multiple functions, or sensor fusion. Conventional 3D SLAM approaches which mainly employed RGB-D cameras to obtain depth information are not suitable for mobile robot applications because RGB-D camera system with multiple cameras have a greater size and slow processing time for the calculation of the depth information for omni-directional images. In this paper, we used a fisheye camera installed facing downwards and a two-dimensional laser scanner separate from the camera at a constant distance. We calculated fusion points from the plane coordinates of obstacles obtained by the information of the two-dimensional laser scanner and the outline of obstacles obtained by the omni-directional image sensor that can acquire surround view at the same time. The effectiveness of the proposed method is confirmed through comparison between maps obtained using the proposed algorithm and real maps.

• 방송공학회논문지
• /
• 제23권5호
• /
• pp.598-605
• /
• 2018

행동 인식은 데이터를 통해 인간의 행동을 인식하는 기술로서 비디오 감시 시스템을 통한 위험 행동과 같은 어플리케이션에 활용되어 질 수 있다. 기존의 행동 인식 알고리즘은 2차원 카메라를 통한 영상이나 다중모드 센서, 멀티 뷰와 같은 장비를 이용한 방법을 사용하거나 3D 장비를 이용하여 이루어져 왔다. 2차원 데이터를 사용한 경우 3차원 공간의 행위 인식에서는 가려짐과 같은 현상으로 낮은 인식율을 보였고 다른 방법은 복잡한 장비의 구성이나 고가의 추가적인 장비로 인한 어려움이 많았다. 본 논문은 RGB와 Depth 정보만을 이용하여 추가적인 장비 없이 CCTV 영상만으로 인간의 행동을 인식하는 방법을 제안한다. 먼저 RGB 영상에서 스켈레톤 추출 알고리즘을 적용하여 관절과 신체부위의 포인트를 추출한다. 이를 식을 적용하여 변위 벡터와 관계 벡터를 포함한 벡터로 변형한 후 RNN 모델을 통하여 연속된 벡터 데이터를 학습한다. 학습된 모델을 다양한 데이터 세트에 적용하여 행동 인식 정확도를 확인한 결과 2차원 정보만으로 3차원 정보를 이용한 기존의 알고리즘과 유사한 성능을 입증할 수 있었다.

• 한국산학기술학회논문지
• /
• 제21권6호
• /
• pp.28-34
• /
• 2020

본 논문에서는 라이다(LIDAR) 센서와 일반 카메라 (RGB 센서)가 획득한 영상들을 정합하고, 일반 카메라가 획득한 컬러 영상에 해당하는 깊이맵을 생성하는 방법을 제시한다. 본 연구에서는 Slamtec사의 RPLIDAR A3 와 일반 디지털 카메라를 활용하고, 두 종류의 센서가 획득 및 제공하는 정보의 특징 및 형태는 서로 다르다. 라이다 센서가 제공하는 정보는 라이다부터 객체 또는 주변 물체들까지의 거리이고, 디지털 카메라가 제공하는 정보는 2차원 영상의 Red, Green, Blue 값이다. 두 개의 서로 다른 종류의 센서를 활용하여 정보를 정합할 경우 객체 검출 및 추적에서 더 좋은 성능을 보일 수 있는 가능성이 있고, 자율주행 자동차, 로봇 등 시각정보처리 기술이 필요한 영역에서 활용도가 높은 것으로 기대한다. 두 종류의 센서가 제공하는 정보들을 정합하기 위해서는 각 센서가 획득한 정보를 가공하고, 정합에 적합하도록 처리하는 과정이 필요하다. 본 논문에서는 두 센서가 획득하는 정보들을 정합한 결과를 제공할 수 있는 전처리 방법을 실험 결과와 함께 제시한다.

• 대한전자공학회:학술대회논문집
• /
• 대한전자공학회 2000년도 추계종합학술대회 논문집(4)
• /
• pp.33-36
• /
• 2000

To create a more realistic soccer game derived from TV images, we are developing an image synthesis system that generates 3D image sequence from TV images. We propose the method for the team and the pose recognition of players in TV images. The representation includes camera calibration method, team recognition method and pose recognition method. To find the location of a player on the field, a field model is constructed and a player's field position is transformed by 4-feature points. To recognize the team information of players, we compute RGB mean values and standard deviations of a player in TV images. Finally, to recognize pose of a player, this system computes the velocity and the ratio of player(height/width). Experimental results are included to evaluate the performance of the team and the pose recognition.

• 한국정보통신학회논문지
• /
• 제26권4호
• /
• pp.519-525
• /
• 2022

영상 내 사람의 얼굴을 검출하는 얼굴 검출 작업은 다양한 영상 처리 어플리케이션 내 전처리 또는 핵심 과정으로 사용되고 있다. 최근 딥러닝 기술의 발달로 높은 성능을 내고 있는 신경망 모델은 2차원 영상에 의존적이며, 카메라 품질이 떨어지거나, 얼굴의 초점을 제대로 잡지 못하는 등의 영상 내 노이즈가 발생할 경우, 제대로 얼굴을 검출하지 못할 수 있다. 본 논문에서는 2차원 영상의 의존성을 낮추기 위해 깊이 정보를 함께 사용하는 얼굴 검출 방법에 대해 제안한다. 제안하는 모델은 기존 공개된 얼굴 검출 데이터 셋을 이용하여 깊이 정보를 사전에 생성 및 전처리 과정을 거친 후 학습하였으며, 그 결과, 평균 정밀도 기준 FRN 모델은 89.16%로 87.95%의 성능을 보인 RetinaNet 모델보다 약 1.2% 정도의 성능이 향상되었음을 확인하였다.