• Journal of Broadcast Engineering
• /
• v.15 no.2
• /
• pp.163-172
• /
• 2010

The free viewpoint video delivers an active contents where users can see the images rendered from the viewpoints chosen by them. Its applications are found in broad areas, especially museum tour, entertainment and so forth. As a new free-viewpoint application, this paper presents a stereoscopic free-viewpoint TIP (Tour Into Picture) where users can navigate the inside of a single image controlling a virtual camera and utilizing depth data. Unlike conventional TIP methods providing 2D image or video, our proposed method can provide users with 3D stereoscopic and free-viewpoint contents. Navigating a picture with stereoscopic viewing can deliver more realistic and immersive perception. The method uses semi-automatic processing to make foreground mask, background image, and depth map. The second step is to navigate the single picture and to obtain rendered images by perspective projection. For the free-viewpoint viewing, a virtual camera whose operations include translation, rotation, look-around, and zooming is operated. In experiments, the proposed method was tested eth 'Danopungjun' that is one of famous paintings made in Chosun Dynasty. The free-viewpoint software is developed based on MFC Visual C++ and OpenGL libraries.

• Journal of Broadcast Engineering
• /
• v.16 no.1
• /
• pp.33-43
• /
• 2011

Recently, 3D displays are supplied in the 3D markets so that the demand for 3D stereoscopic contents increases. In general, a simple method is to use a stereoscopic camera. As well, the production of 3D from 2D materials is regarded as an important technology. Such conversion works have gained much interest in the field of 3D converting. However, the stereoscopic image generation from a single 2D image is limited to simple 2D to 3D conversion so that the better realistic perception is difficult to deliver to the users. This paper presents a new stereoscopic content production method where foreground objects undergo alive action events. Further stereoscopic animation is viewed on 3D displays. Given a 2D image, the production is composed of background image generation, foreground object extraction, object/background depth maps and stereoscopic image generation The alive objects are made using the geometric transformation (e.g., translation, rotation, scaling, etc). The proposed method is performed on a Korean traditional painting, Danopungjung as well as Pixar's Up. The animated video showed that through the utilization of simple object transformations, more realistic perception can be delivered to the viewers.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2016.06a
• /
• pp.1-4
• /
• 2016

효율적으로 깊이지도를 획득하기 위해 다양한 방법의 지역 기반스테레오 매칭 방법이 사용된다. 일반적인 지역기반 스테레오 매칭에 사용되는 비용값 계산 방법을 통해 깊이지도를 생성하게 되면 객체의 경계 영역이 무너지거나, 유사한 텍스쳐 정보가 연속적으로 나타나는 영역에서 부정확한 깊이값을 얻는 문제가 발생한다. 본 논문에서는 깊이지도의 정확성을 높이기 위해 2가지 단계를 거쳐 최종 깊이지도를 생성한다. 처음으로, 일반적으로 사용하는 지역기반 스테레오 매칭 비용 함수와 입력 영상의 기울기를 고려한 초기 비용값을 가이드 필터를 이용하여 최적의 비용값을 찾아 초기 변위지도를 생성한다. 스테레오매칭을 수행할 경우, 시점의 차이로 인해 보이지 않는 영역에서 정확한 변위값을 찾지 못하는 문제가 발생한다. 이러한 문제를 해결하기 위해 좌영상과 우영상을 기반으로 획득한 변위지도를 사용하여 교차검사를 함으로써 폐색영역을 찾아낸다. 폐색 영역을 이웃한 화소의 값을 사용하여 채울 경우 실선과 같은 오류가 결과 영상에 나타나게 된다. 이러한 오류 영역을 제거하기 위해 마지막으로 가중치를 적용한 중간값 필터를 적용한다. 실험 결과 제안한 방법을 사용하여 획득한 깊이지도가 기존의 방법보다 정확한 깊이값을 얻는 것을 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2009.11a
• /
• pp.219-222
• /
• 2009

자유시점 비디오는 단순히 수동적으로 비디오를 보는 것이 아니라 원하는 시점을 자유로이 선택하여 보는 능동형 비디오이다. 일반적으로 다양한 위치 및 다양한 각도에 위치하는 다수의 카메라로부터 촬영된 영상을 이용하여 제작하는데, 이 기술은 박물관 투어, 엔터테인먼트 등의 다양한 분야에서 활용된다. 본 논문에서는 자유시점 비디오의 새로운 분야로 한 장의 영상을 가상 카메라와 깊이맵을 이용하여 영상 내부를 네비게이션하는 자유시점 입체 Tour-Into-Picture (TIP)을 제안한다. 오래전부터 TIP가 연구되어 왔는데, 이 분야는 한 장의 사진 내부를 탐험하면서 애니메이션으로 볼 수 있게 하는 기술이다. 제안 방법은 전처리과정으로 전경 마스크, 배경영상, 및 깊이맵을 자동 및 수동 방법으로 구한다. 다음에는 영상 내부를 항해하면서 투영 영상들을 획득한다. 배경영상과 전객객체의 3D 모델링 데이터를 기반으로 가상 카메라의 3차원 공간 이동, yaw, pitch, rolling의 회전, look-around effect, 줌인 등의 다양한 카메라 기능을 활용하여 자유시점 비디오를 구현한다. 또한 깊이정보의 특성 및 구조에 따라 놀라운 시청효과를 전달하는 카메라 기능의 설정 방법을 소개한다. 소프트웨어는 OpenGL 및 MFC Visual C++ 기반으로 구축되었으며, 실험영상으로 조선시대의 작품인 신윤복의 단오풍정을 사용하였고, 입체 애니메이션으로 제작되어 보다 실감있는 콘텐츠를 제공한다.

• Journal of Information Technology Services
• /
• v.22 no.5
• /
• pp.87-98
• /
• 2023

Traditionally, tooth restoration has been carried out by replicating teeth using plaster-based materials. However, recent technological advances have simplified the production process through the introduction of computer-aided design(CAD) systems. Nevertheless, dental restoration varies among individuals, and the skill level of dental technicians significantly influences the accuracy of the manufacturing process. To address this challenge, this paper proposes an approach to designing personalized tooth restorations using Generative Adversarial Network(GAN), a widely adopted technique in computer vision. The primary objective of this model is to create customized dental prosthesis for each patient by utilizing 3D data of the specific teeth to be treated and their corresponding opposite tooth. To achieve this, the 3D dental data is converted into a depth map format and used as input data for the GAN model. The proposed model leverages the network architecture of Pixel2Style2Pixel, which has demonstrated superior performance compared to existing models for image conversion and dental prosthesis generation. Furthermore, this approach holds promising potential for future advancements in dental and implant production.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2007.11a
• /
• pp.104-107
• /
• 2007

인간은 초점정보를 이용하여 단안만으로도 공간의 깊이를 지각할 수 있다. 이것은 한 번에 하나의 대상물에만 초점을 맞출 수 있고 그 외의 부분은 흐림 현상을 유도함으로써 이루어진다. 이는 초점이 맞는 대상물체로부터 멀어지면 멀어질수록 흐림 현상이 강해지는 원리를 이용한 것으로 주파수 성분의 변화량에 대한 연산과 깊은 관련이 있다. 본 논문에서는 이와 같은 인간의 시각 시스템의 요소 중 하나인 초점정보를 모방하여 초점거리가 다른 각각의 이미지들에 각각의 가중치를 부여하였다. 그리고 각 이미지들을 일정 블록으로 각각 분할하여 초점이 가장 잘 맞는 블록을 찾아내어 하나의 이미지로 통합하였다. 이때 각 영역은 자신이 속했던 이미지의 가중치를 따르게 한다. 각 이미지에서 가장 포커스 수치가 높은 영역을 찾기 위한 방법으로 주파수 영역 기반 처리와 공간 영역 기반 처리를 결합 하였다. 주파수 기반으로는 FFT(Fast Fourier Transform)에서 고주파 부분의 영역을 뽑아내어 포커스수치를 계산하였으며, 공간 영역 처리 기반으로는 이웃픽셀과의 차이가 임계값이하인 것을 제외한 영역을 뽑아내어 저주파 영역의 연산을 제거하는 방법과 단순히 Laplacian measure만을 사용하여 저주파까지도 포함한 방법의 두 가지를 적용하였다. 최종적으로 3개의 포커스 측정값을 결합시켜 포커스 수치를 계산한 후 각 블록의 가중치에 맞게 하나의 이미지로 통합하여 상대적 깊이지도를 생성하였다.

• Journal of Navigation and Port Research
• /
• v.32 no.5
• /
• pp.355-361
• /
• 2008

Stereo matching is one of the most active research areas in computer vision. In this paper, we propose a stereo matching scheme using genetic algorithm for object depth recognition. The proposed approach considers the matching environment as an optimization problem and finds the optimal solution by using an evolutionary strategy. Accordingly, genetic operators are adapted for the circumstances of stereo matching. An individual is a disparity set. Horizontal pixel line of image is considered as a chromosome. A cost function is composed of certain constraints which are commonly used in stereo matching. Since the cost function consists of intensity, similarity and disparity smoothness, the matching process is considered at the same time in each generation. The LoG(Laplacian of Gaussian) edge is extracted and used in the determination of the chromosome. We validate our approach with experimental results on stereo images.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.8A
• /
• pp.679-688
• /
• 2012

In this paper, performance improved hole-filling algorithm including boundary noise removing pre-process which can be used for an arbitrary view synthesis with given two views is proposed. Boundary noise usually occurs because of the boundary mismatch between the reference image and depth map and common-hole is defined as the occluded region. These boundary noise and common-hole created while synthesizing a virtual view result in some defects and they are usually very difficult to be completely recovered by using only given two images as references. The spiral weighted average algorithm gives a clear boundary of each object by using depth information and the gradient searching algorithm is able to preserve details. In this paper, we combine these two algorithms by using a weighting factor ${\alpha}$ to reflect the strong point of each algorithm effectively in the virtual view synthesis process. The experimental results show that the proposed algorithm performs much better than conventional algorithms.

• Journal of Broadcast Engineering
• /
• v.25 no.3
• /
• pp.439-448
• /
• 2020

In this paper, we propose a modified optimization algorithm for point cloud matching of multi-view RGB-D cameras. In general, in the computer vision field, it is very important to accurately estimate the position of the camera. The 3D model generation methods proposed in the previous research require a large number of cameras or expensive 3D cameras. Also, the methods of obtaining the external parameters of the camera through the 2D image have a large error. In this paper, we propose a matching technique for generating a 3D point cloud and mesh model that can provide omnidirectional free viewpoint using 8 low-cost RGB-D cameras. We propose a method that uses a depth map-based function optimization method with RGB images and obtains coordinate transformation parameters that can generate a high-quality 3D model without obtaining initial parameters.

• Journal of Broadcast Engineering
• /
• v.9 no.4 s.25
• /
• pp.402-410
• /
• 2004

Recently, there has been much interest in realistic broadcasting that is a new field following HDTV and 3DTV. In general. the realistic broadcasting is composed of diverse components such as aquisition, authoring, compression, transmission and display, posing many challenging tasks. It is necessary that the types of realistic contents need to be defined prior to the development of realistic broadcasting systems. Based upon them, other components need to be designed and developed. In this paper, we propose some realistic contents suitable to the realistic broadcasting as well as techniques of generating them. Our proposed contents consist of stereoscopic multiview sequences, object-based stereoscopic images, depth map-based image compositing and the composition of stereoscopic real and graphics images. Content generation techniques and their associated software modules are presented with realistic images produced from our experiments. Those contents are produced to deliver stereoscopic perception, immersion and realism to the users as shown in our experimental results.