• Journal of Broadcast Engineering
• /
• v.23 no.2
• /
• pp.235-245
• /
• 2018

Recently panoramic image overcomes camera limited viewing angle and offers wide viewing angle by stitching plenty of images. In this paper, we propose pre-processing and post-processing algorithm which makes speed and accuracy improvements when making panoramic images. In pre-processing, we can get camera sensor information and use three-dimensional rotation angle to find RoI(Region of Interest) image. Finding RoI images can reduce time when extracting feature point. In post-processing, we propose weighted minimal error boundary cut blending algorithm to improve accuracy. This paper explains our algorithm and shows experimental results comparing with existing algorithms.

• Journal of Broadcast Engineering
• /
• v.24 no.6
• /
• pp.1064-1071
• /
• 2019

Multiview stereo matching algorithm is used to reconstruct 3D shape from a set of 2D images. Conventional multiview stereo algorithms have been implemented on high-performance hardware due to the heavy complexity that contains a large number of calculations in each step. However, as the performance of mobile graphics processors has recently increased rapidly, complex computer vision algorithms can now be implemented on mobile devices like a smartphone and an embedded board. In this paper we parallelize an multiview stereo algorithm using OpenCL on mobile GPU and provide various optimization techniques on the embedded hardware with limited resource.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2021.06a
• /
• pp.85-88
• /
• 2021

포인트 클라우드 콘텐츠는 실제 환경 및 물체를 3 차원 위치정보를 갖는 점들과 그에 대응하는 색상 등을 획득하여 기록한 실감 콘텐츠이다. 위치와 색상 정보로만 이뤄진 3 차원 점으로 이뤄진 포인트 클라우드 콘텐츠는 확대하여 렌더링 할 경우 점과 점 사이의 간격이 벌어지면서 발생하는 구멍에 의해 콘텐츠 품질이 저하될 수 있다. 이러한 문제를 해결하기 위해 본 논문에서는 포인트 클라우드 확대 시 점들 간 간격이 벌어져 생기는 구멍에 대해 깊이정보를 활용한 역변환 기반 보간 방법을 통해 포인트 클라우드 콘텐츠 품질을 개선하는 방법을 제안한다. 벌어진 간격들 사이에서 빈 공간을 찾을 때 그 사이로 뒷면의 점들이 그려지게 되어 보간 방법을 적용하는데 방해요소로 작용한다. 이를 해결하기 위해 구멍이 발생하지 않은 시점에서 렌더링 된 영상을 사용하여 포인트 클라우드의 뒷면에 해당되는 점들을 제거한다. 다음으로 깊이 맵(depth map)을 추출한 후 추출된 깊이 값을 사용하여 뎁스 에지(depth edge)를 구하고 에지를 사용하여 깊이 불연속 부분에 대해 처리한다. 마지막으로 뎁스 값을 활용하여 이전에 찾은 구멍들의 역변환을 하여 원본의 데이터에서 픽셀을 추출한다. 제안하는 방법으로 콘텐츠를 렌더링 한 결과, 기존의 크기를 늘려 빈 영역을 채우는 방법에 비해 렌더링 품질이 평균 PSNR 측면에서 2.9 dB 향상된 결과를 보였다.

• Journal of Korea Game Society
• /
• v.10 no.1
• /
• pp.135-146
• /
• 2010

The development of image technologies in such area as broadcasting and movies has recently increased our attention to 3D stereoscopic images. In addition, the development of stereoscopic image representation technologies in 3D contents becomes more active over time due to the representational limitations of 2D images. Without limitation to the above-mentioned area, stereoscopic image technologies have been developed and studied so that they can be widely accessed in diverse areas including medical services and education. Due to the refined production, however, required to represent a three dimensional effects and the fatigue caused by the perception of a three dimensional effects, the stereoscopic image technologies are not combined into real time systems such as games where environments change unforeseeably. In this study we design a technique to adjust the depth scaling that will enable efficient management of a three dimensional effects and to relieve fatigue through automatic view point interval adjustment in accordance with situations based on the geometrical structure of the DirectX SDK graphic pipeline. Through this, we would like to suggest a new alternative idea to activate the production of games combined with stereoscopic image technologies.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.19-22
• /
• 2016

최근 다양한 실감 미디어 기술과 표출 방법이 제시되고 있다. 특히 개인 방송에서 제작자 및 사용자에게 편리성을 제공하고 시청자의 실감성 체험을 극대화할 필요가 있다. 이에 따라 본 논문에서는 멀티 제스처가 필요한 실감 미디어를 멀티 디스플레이, 시점 선택, 3차원 객체 복원으로 정의하였다. 또한 사용자 및 제작자의 편리성을 위해 필요한 제스처에 대한 종류를 분석하였으며, 사용자의 다양한 제스처를 인식하고 실감 콘텐츠를 표출하도록 시스템을 구성하였다.

• Broadcasting and Media Magazine
• /
• v.14 no.2
• /
• pp.88-98
• /
• 2009

MPEG에서는 빠르게 급변하는 시장의 요구를 충족시키기 위해, 기존의 긴 시간이 요구되는 표준화 방식과 달리, 서로 다른 기존 규격들을 특정 응용 서비스의 목적에 맞도록 조합해 하나의 표준으로 규격화하여 'MPEG-A(MPEG-Applications: ISO/IEC 23000) 멀티미디어 응용 표준'이라는 명칭으로 표준화 활동을 활발히 진행하고 있다. 본 논문에서는 2007년 10월 중국 신천에서 개최된 제 82차 MPEG회의에서 작업 표준안(Working Draft)으로 채택되어, 2008년 10월 부산에서 개최된 86차 MPEG회의에서 최종 국제표준 초안 (final draft international standard) 으로 승인된 스테레오스코픽 비디오 응용 포맷(Stereoscopic Video Application Format) 기술을 소개하고자 한다. 스테레오스코픽 비디오 응용 포맷은 현재 시장에 등장하여 점차 수요가 증가하고 있는 스테레오스코픽 카메라, 디스플레이, 모바일 단말 등의 장치를 이용한 스테레오스코픽 영상의 획득과 출력 서비스를 위한 요구사항 및 저장규격을 정의한다. 이러한 기술을 활용하여 기존의 특정 장치에서만 획득 및 출력이 가능했던 폐쇄적 서비스에서 벗어나, 스테레오스코픽 콘텐츠의 저장 및 사용자간 교환, 방송, 리치미디어 서비스에서의 활용 등과 같이 3차원 입체영상 콘텐츠의 활용도를 높일 수 있을 것으로 기대된다.

• Journal of Broadcast Engineering
• /
• v.17 no.5
• /
• pp.827-837
• /
• 2012

As broadcasting environments change rapidly to digital, user requirements for next-generation broadcasting service which surpass current HDTV service become bigger and bigger. The next-generation broadcasting service progress from 2D to 3D, from HD to UHD and from 5.1ch audio to more than 10ch audio for high quality realistic broadcasting service. In this paper, we propose 10.2ch based multichannel audio reproduction system for UHDTV. The 10.2ch-based audio reproduction system add two side loudspeakers to enhance the surround sound localization effect and add two height and one ceiling loudspeakers to enhance the elevation localization effect. To evaluate the proposed system, we used APM(Auditory Process Model) for objective localization test and conducted subjective localization test. As a result of objective/subjective localization test, the proposed system shows the statistically same performance compare with 22.2ch audio system and shows the significantly better performance compared with 5.1ch audio system.

• Journal of Broadcast Engineering
• /
• v.19 no.6
• /
• pp.866-876
• /
• 2014

Generating of digital hologram of video contents with computer graphics(CG) requires natural fusion of 3D information between real and virtual. In this paper, we propose the system which can fuse real-virtual 3D information naturally and fast generate the digital hologram of fused results using multiple-GPUs based computer-generated-hologram(CGH) computing part. The system calculates camera projection matrix of RGB-Depth camera, and estimates the 3D information of virtual object. The 3D information of virtual object from projection matrix and real space are transmitted to Z buffer, which can fuse the 3D information, naturally. The fused result in Z buffer is transmitted to multiple-GPUs based CGH computing part. In this part, the digital hologram of fused result can be calculated fast. In experiment, the 3D information of virtual object from proposed system has the mean relative error(MRE) about 0.5138% in relation to real 3D information. In other words, it has the about 99% high-accuracy. In addition, we verify that proposed system can fast generate the digital hologram of fused result by using multiple GPUs based CGH calculation.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2010.11a
• /
• pp.18-20
• /
• 2010

본 논문에서는 3차원 모니터를 시청하는 시청자의 위치를 추적한 후 시청위치에 따라 다른 시점의 영상을 제공하는 시스템을 제안한다. 본 시스템은 센서들의 신호를 제어하는 CPU, 3개의 초음파센서, 1개의 PIR(Passive infrared radiation)센서, 센서별 신호를 분기해주는 PLD(programmable logic device)로 구성되어 있다. 3개의 초음파 센서를 이용해 20개의 탐색구역 내에 있는 시청자의 정확한 위치를 추적한다. 시스템을 구현한 결과 전방 5m, 좌우 3m의 탐색범위 내에서 시청자의 위치를 정확히 추적하여 해당 시점의 영상을 디스플레이 하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.06a
• /
• pp.9-11
• /
• 2017

비디오 시퀀스에서 3D 모델을 복원하기 위해서는 기하 모델 추정이 용이한 프레임을 선택해야 한다. 본 논문에서는 안정 장치 도움을 받는 전문 비디오가 아닌 일반 비디오에서 고품질의 프레임을 손쉽게 자동 추출하는 방법을 제안한다. 제안하는 기법은 optical flow 기반 매칭 분석, 프레임 간 적당한 기준선 거리 판단, 비디오 내에서 빠른 탐색을 위한 고속 도약, 두 프레임 간의 호모그래피와 기본 행렬에 대한 GRIC 점수, 모션 블러 프레임 제거 방법 모두를 결합한다. 실내 공간에 촬영된 비디오를 이용한 실험을 통해, 우리의 방법이 모션 블러와 저하 움직임이 있는 상황에서 더 강건하게 3D point cloud 를 생성하는 것을 보여준다.