• 인터넷정보학회논문지
• /
• 제17권4호
• /
• pp.11-17
• /
• 2016

본 논문에서는 버스안전을 위한 다중 HD 카메라 기반의 IP통신망 AVB(Audio Video Bridge) 이더넷 케이블을 연동한 FPGA(Xilinx Zynq702)로 멀티뷰어 플랫폼을 제안하였다. 이러한 AVB(IEEE802.1BA) 시스템은 차량용 네트워크에서 다중 HD 비디오와 오디오 디지털 신호의 실시간 전송이 가능하다. 제안한 멀티뷰어 플랫폼은 기존 이더넷 케이블 1Gbps전송과 2-선 100Mbps 스트림 전송방식을 통해 4개의 초광각 HD 카메라로 부터 H.264 비디오 신호를 다중화하기 위한 지연속도의 개선을 위해 FPGA로 설계하였다. 아울러, 차량용 HD 동영상 전송망에서 시간지연을 최소화하기 위한 AVB 플랫폼은 Zynq 702기반의 H.264 AVC 저지연 코덱의 설계 방안을 제안하였다. 이러한 H.264 AVC 코덱의 부호화/복호화 결과확인을 위해 JM 모델을 참조한 PSNR(Peak Signal-to-noise-ratio)을 분석하였다. 설계한 Zynq 702기반의 H.264 AVC CODEC은 다중 HD 카메라의 다중뷰어 동영상 손실 압축에서 화질 손실에 대한 PSNR은 이론 값과 유사한 HW 결과 값을 확인하였다. 이로서 제안한 AVB기반의 다중 HD 카메라 연동형 멀티뷰어 플랫폼은 H.264 AVC CODEC의 저지연 특성이 차량용 특성에 만족함으로서 버스안전을 위한 주변의 오디오와 비디오 영상감시가 가능할 것이다.

• 대한전자공학회논문지SP
• /
• 제48권3호
• /
• pp.13-18
• /
• 2011

본 논문에서는 다시점 색상 카메라와 다시점 깊이 카메라를 이용하여 촬영한 영상의 후처리 방법과 3차원 장면의 깊이 정보를 생성하는 방법을 제안한다. 깊이 카메라는 장면의 깊이 정보를 실시간으로 측정할 수 있는 장점이 있지만, 잡음과 왜곡이 발생하고 색상 영상과의 상관도도 떨어진다. 따라서 다시점 깊이 영상에 후처리 작업을 수행한 후, 이를 다시점 색상 영상과 조합하여 3차원 깊이 정보를 생성한다. 깊이 카메라로부터 얻은 각 시점에서의 초기 변이 정보를 기반으로 한 스테레오 정합의 결과는 기존 방법의 결과 보다 우수한 성능을 나타내었음을 볼 수 있었다.

• 한국CDE학회논문집
• /
• 제13권2호
• /
• pp.77-88
• /
• 2008

Nowadays personal users create a variety of multi-media contents and share them with others through various devices over the Internet since the concept of user created content (UCC) has been widely accepted as a new paradigm in today's multi-media market, which has broken the boundary of contents providers and consumers. This paradigm shift has also introduced a new business model that makes it possible for them to create their own multi-media contents for commercial purpose. This paper proposes a tangible virtual studio using augmented reality to author multi-media contents easily and intuitively for personal broadcasting and personal content generation. It provides a set of tangible interfaces and devices such as visual markers, cameras, movable and rotatable arms carrying cameras, and miniaturized set. They can offer an easy-to-use interface in an immersive environment and an easy switching mechanism between tangible environment and virtual environment. This paper also discusses how to remove inconsistency between real objects and virtual objects during the AR-enabled visualization with a context-adaptable tracking method. The context-adaptable tracking method not only adjusts the locations of invisible markers by interpolating the locations of existing reference markers, but also removes a jumping effect of movable virtual objects when their references are changed from one marker to another.

• 로봇학회논문지
• /
• 제17권3호
• /
• pp.245-254
• /
• 2022

Sensor dataset for autonomous driving is one of the essential components as the deep learning approaches are widely used. However, most driving datasets are focused on typical environments such as sunny or cloudy. In addition, most datasets deal with color images and lidar. In this paper, we propose a driving dataset with multi-spectral images and lidar in adverse weather conditions such as snowy, rainy, smoky, and dusty. The proposed data acquisition system has 4 types of cameras (color, near-infrared, shortwave, thermal), 1 lidar, 2 radars, and a navigation sensor. Our dataset is the first dataset that handles multi-spectral cameras in adverse weather conditions. The Proposed dataset is annotated as 2D semantic labels, 3D semantic labels, and 2D/3D bounding boxes. Many tasks are available on our dataset, for example, object detection and driveable region detection. We also present some experimental results on the adverse weather dataset.

• 전자공학회논문지CI
• /
• 제41권2호
• /
• pp.137-148
• /
• 2004

본 논문에서는 영상기반 파노라믹 3D 가상 환경 (Virtual Environment: VE) 생성을 위해 회전하는 다수의 멀티뷰 카메라를 위한 캘리브레이션 방법을 제안한다. 일반적으로, 카메라 캘리브레이션 알고리즘은 카메라와 캘리브레이션 패턴 사이의 이 멀어질수록 획득되는 카메라 파라미터의 정확도가 상당히 저하되어 파노라마 영상 제작에는 부적합하다. 이러한 문제점을 극복하기 위해 멀티뷰 카메라의 렌즈간 그리고 회전하는 다수의 멀티뷰 카메라간의 기하학적인 상관 위치 관계를 이용하여 정확도를 높인다. 우선, Tsai의 캘리브레이션 알고리즘을 적용하여 획득된 카메라 파라미터를 카메라 렌즈간의 사전 기하 정보와 비교하여 그 오차에 기반한 인트라 카메라 캘리브레이션 (Intra-camera Calibration)을 수행한다. 그리고 가상 공간에 역투영된 3D point cloud에 ICP 알고리즘을 적용하여 인터 카메라 캘리브레이션 (Inter-camera Calibration)을 수행한다. 이를 확장하여, 다수의 카메라를 회전시켜 획득된 3D point cloud에 대해 기준 카메라의 위치를 중심으로 인터 카메라 캘리브레이션을 연속적으로 수행함으로써 회전하는 다수의 멀티뷰 카메라에 대한 캘리브레이션을 수행한다. 이와 같은 캘리브레이션 방법을 통해 중에서도 비교적 개선된 카메라 파라미터를 획득할 수 있기 때문에 파노라믹 3D 가상 환경을 생성하기 위한 정합과정에 사용할 수 있다. 또한, 실시간 3D 객체 추적 및 AR 응용 시스템 등의 다양한 AR 응용분야에 활용될 수 있다.

• 한국정보과학회논문지:컴퓨팅의 실제 및 레터
• /
• 제12권4호
• /
• pp.241-253
• /
• 2006

현대사회는 광범위한 지역에 산재된 다수의 카메라로부터 사람을 자동적으로 식별하고 추적할 수 있는 감시시스템을 요구하고 있다. 본 논문에서는 넓은 시야의 확보가 용이한 고정된 다수의 비겹침 감시카메라와 사람 추적기술을 결합하여, 한 카메라에서 추적된 사람의 정보를 서버를 통해 다른 카메라에 전달하는 방법을 제안한다. 제안된 방법은 추적대상을 자동적으로 추적하고 서버에 전달함으로써, 한번 추적된 추적대상의 움직임 경로 및 추적 상태를 끝까지 추적할 수 있다. 본 논문에서는 추적대상을 식별하고 전달하기 위해 사람모델을 이용하였다. 서버를 통해 연결된 각 카메라들의 관계와 카메라 상에서 움직이는 사람의 이동은 FOV 라인에 의해 제약되어 추적대상의 정보전달에 이용되었다. 추적대상은 추적되는 동안 6 단계의 상태정보를 가진다. 제안된 시스템은 다양한 실내 동영상에 대해 실험되었으며, 91.2% 의 평균추적율과 96% 의 평균 상태율을 획득하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 1996년도 Proceedings International Workshop on New Video Media Technology
• /
• pp.35-40
• /
• 1996

In this paper, a method for 3-D surface reconstruction with two real cameras is presented. The method, which combines the extraction of binocular disparity and its interpolation can be applied to the synthesis of images from virtual viewpoints. The synthesized virtual images are as natural as the real images even when we observe the images as stereoscopic images. The method opens up many applications, such as synthesizing input images for multi-viewpoint 3-D displays, enhancing the depth impression in 2-D images and so on. We also have developed a video-rate stereo machine able to obtain binocular disparity in 1/30 sec with two cameras. We show the performance of the machine.

• International journal of advanced smart convergence
• /
• 제4권2호
• /
• pp.6-13
• /
• 2015

With the spread of various kinds of cameras such as digital cameras and DSLR and a growing interest in high-definition and high-resolution images, a method that synthesizes multiple images is being studied among various methods. High Dynamic Range (HDR) images store light exposure with even wider range of number than normal digital images. Therefore, it can store the intensity of light inherent in specific scenes expressed by light sources in real life quite accurately. This study suggests feature points synthesis algorithm to improve the performance of HDR panorama recognition method (algorithm) at recognition and coordination level through classifying the feature points for image recognition using more than one multi frames.

• 산업공학
• /
• 제12권2호
• /
• pp.174-179
• /
• 1999

This paper describes the development of low cost, miniaturized multi-function image splitter for an unmanned guard system. The essential equipments of an image splitter system consist of a video system which displays in one screen images inputted by several cameras, a frame switcher which records each image sequentially in VTR, and TBC(Time Base Control) system which prevents image flickering during image switching. Currently, the price of similar system on the market is high, system management and repair are difficult, and bulky space is required. Futhermore, since currently available frame switcher can record only 30frame/sec, if eight cameras are installed, each camera image is recorded at the low speed of 3.75frame/sec, and consequently skip some images which may be vital for legal evidence. In this research, we have solved the problem of low speed recording by recording the video screen of splitted images at 30frame/sec and zooming each image when play back.

• 방송공학회논문지
• /
• 제8권4호
• /
• pp.452-464
• /
• 2003

FPGA를 사용하여 실시간 응용 가능한 다시점 3차원 비디오 프로세서를 설계 및 구현하였다. 본 연구에서 설계된 3차원 비디오 프로세서는 최대 16시점으로부터의 2차원 비디오 신호를 입력받아 공간분할방식의 3차원 비디오 신호로 변환해주는 역할을 한다. 3차원 카메라 시스템의 다양한 구조에 대응이 가능하며, 또한 다양한 해상도의 3차원 디스플레이 장치에 대응이 가능하도록 설계하였다. 5개의 FPGA를 사용한 검증보드를 제작하여 3차원 비디오 프로세서의 기능을 검증하였다.