• Journal of the HCI Society of Korea
• /
• v.2 no.2
• /
• pp.11-18
• /
• 2007

We propose a novel method to conceal fiducial markers observed in augmented scenes using patch-based texture synthesis. Despite the efficiency for simple object recognition and tracking, the markers deliver inherent obtrusiveness. They do not only reduce immersiveness, but also severely degrade usability of augmented reality. The proposed method constructs alternative images in real time to overlay markers present in the sequence of images. The global characteristics of background textures are retained and the results are more adaptive to illumination changes.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2008.11a
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.11a
• /
• pp.129-130
• /
• 2011

본 논문에서는 입체감을 보존하여 스테레오 영상의 크기를 조정하는 기법을 제안한다. 스테레오 영상의 디스패리티 데이터를 이용하여 좌우 영상의 중요 영역을 추출하고, 영상의 빈 공간을 인페인팅(inpainting) 기법을 통해 복원한다. 복원된 배경 영역의 크기를 선형적으로 조정하고, 중요 영역은 최대한 보존하도록 크기를 조정하여 배경 영역에 붙여 넣는다. 실험 결과 제안하는 알고리즘이 기존 이미지 크기 조정 기법보다 스테레오 영상의 중요 정보와 입체감을 왜곡하지 않고 보존함을 확인할 수 있었다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2015.04a
• /
• pp.848-850
• /
• 2015

본 논문에서는 픽셀 그레디언트의 방향성 정보를 이용하여 복원하는 예제기반 인페인팅 방법을 제안한다. 제안하는 방법에서는 영상 내에서 픽셀 그레디언트의 방향성을 검출하여 강도가 높은 그레디언트를 가지는 픽셀들을 먼저 복원하는 특징을 가진다. 지역적인 그래디언트의 특성을 이용하여 복원 영역의 연결성을 높이고 에러의 파급 효과를 줄임으로써, 기존의 예제기반 인페인팅 방법보다 개선된 결과를 보여준다.

• Korean Journal of Remote Sensing
• /
• v.23 no.5
• /
• pp.439-445
• /
• 2007

Stereoscopic viewing is an efficient technique for not only computer vision but also remote sensing applications. Generally, stereo pair obtained at the same time is necessary for 3D viewing, but it is possible to synthesize a stereomate suitable for stereo view with a single image and disparity-map. There have been researches concerning the generation of the synthetic stereomate from remote sensing imagery. However it is hard to find researches concerning the restoration of occlusion in stereomate. In this paper, we generated synthetic stereomates from remote sensing images, focused on the occlusion restoration. In order to figure out proper restoration methods depending on the spatial resolution of remote sensing imagery, we tested several methods including general interpolation and inpainting technique, then evaluated the results.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2021.01a
• /
• pp.65-68
• /
• 2021

본 연구에서는 Dilated U-Net 기반의 이미지 복원기법을 통해 콘크리트 균열 추출 성능 개선 방안을 제안한다. 콘크리트 균열은 구조물의 미관상의 문제뿐 아니라 추후 큰 안전사고의 원인이 될 수 있어 초기대응이 중요하다. 현재는 점검자가 직접 육안으로 검사하는 외관 검사법이 주로 사용되고 있지만, 이는 정확성 및 비용, 시간, 그리고 안전성 면에서 한계를 갖고 있다. 이에 콘크리트 구조물 표면에 대해 획득한 영상 처리 기법을 사용한 검사 방식 도입의 관심이 늘어나고 있다. 또한, 딥러닝 기술의 발달로 딥러닝을 적용한 영상처리의 연구 역시 활발하게 진행되고 있다. 본 연구는 콘크리트 균열 추개선출 성능 개선을 위해 Dilated U-Net 기반의 이미지 복원기법을 적용하는 방안을 제안하였고 성능 검증 결과, 기존 U-Net 기반의 정확도가 98.78%, 조화평균 82.67%였던 것에 비해 정확도 99.199%, 조화평균 88.722%로 성능이 되었음을 확인하였다.

• Journal of the Korean Mathematical Society
• /
• v.61 no.3
• /
• pp.427-444
• /
• 2024

The matrix completion problem is to predict missing entries of a data matrix using the low-rank approximation of the observed entries. Typical approaches to matrix completion problem often rely on thresholding the singular values of the data matrix. However, these approaches have some limitations. In particular, a discontinuity is present near the thresholding value, and the thresholding value must be manually selected. To overcome these difficulties, we propose a shrinkage and thresholding function that smoothly thresholds the singular values to obtain more accurate and robust estimation of the data matrix. Furthermore, the proposed function is differentiable so that the thresholding values can be adaptively calculated during the iterations using Stein unbiased risk estimate. The experimental results demonstrate that the proposed algorithm yields a more accurate estimation with a faster execution than other matrix completion algorithms in image inpainting problems.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.1
• /
• pp.15-31
• /
• 2013

This paper proposes an intermediate image generation method for the viewer's view point by tracking the viewer's face, which is converted to a digital hologram. Its purpose is to increase the viewing angle of a digital hologram, which is gathering higher and higher interest these days. The method assumes that the image information for the leftmost and the rightmost view points within the viewing angle to be controlled are given. It uses a stereo-matching method between the leftmost and the rightmost depth images to obtain the pseudo-disparity increment per depth value. With this increment, the positional informations from both the leftmost view point and the rightmost view point are generated, which are blended to get the information at the wanted intermediate viewpoint. The occurrable dis-occlusion region in this case is defined and a inpainting method is proposed. The results from implementing and experimenting this method showed that the average image qualities of the generated depth and RGB image were 33.83[dB] and 29.5[dB], respectively, and the average execution time was 250[ms] per frame. Also, we propose a prototype system to service digital hologram interactively to the viewer by using the proposed intermediate view generation method. It includes the operations of data acquisition for the leftmost and the rightmost viewpoints, camera calibration and image rectification, intermediate view image generation, computer-generated hologram (CGH) generation, and reconstruction of the hologram image. This system is implemented in the LabView(R) environments, in which CGH generation and hologram image reconstruction are implemented with GPGPUs, while others are implemented in software. The implemented system showed the execution speed to process about 5 frames per second.

• Journal of the Institute of Convergence Signal Processing
• /
• v.24 no.1
• /
• pp.69-75
• /
• 2023

In recent years, there has been a growing interest in deep learning-based animal pose estimation, especially in the areas of animal behavior analysis and healthcare. However, existing animal pose estimation techniques do not perform well when body parts are occluded or not present. In particular, the occlusion of dog tail or ear might lead to a significant degradation of performance in pet behavior and emotion recognition. In this paper, to solve this intractable problem, we propose a simple yet novel framework for pet pose estimation where pet pose is predicted on an outpainted image where some body parts hidden outside the input image are reconstructed by the image inpainting network preceding the pose estimation network, and we performed a preliminary study to test the feasibility of the proposed approach. We assessed CE-GAN and BAT-Fill for image outpainting, and evaluated SimpleBaseline for pet pose estimation. Our experimental results show that pet pose estimation on outpainted images generated using BAT-Fill outperforms the existing methods of pose estimation on outpainting-less input image.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.369-372
• /
• 2011

본 논문에서는 가상 시점 생성 시 발생하는 홀 영역의 메움 기법에 관하여 기하학적 제약조건을 이용한 예제 기반 영상 인페인팅 기술을 제안한다. 생성된 가상 시점이 실제 카메라들의 중간에 위치하는 경우, 이 때 발생하는 홀 영역은 시점 간 보상으로 메울 수 있다. 하지만, 가상 시점이 실제 카메라들의 Field-of-View를 벗어난 경우에는 홀 영역에 대한 정보가 없기 때문에 이를 메우는데 어려운 문제가 따른다. 이러한 문제를 해결하기 위해 제안한 방법은 예제 기반의 영상 인페인팅 기술을 이용하여 홀 영역을 메운다. 제안한 방법은 홀 영역의 기하학적 특성을 제약조건으로 우선순위(Priority)를 계산한다. 최적의 패치를 찾기 위해 컬러 정보뿐만 아니라 깊이 정보(Depth)를 활용한다. 또한, 전경 물체의 텍스쳐로 인하여 잘못된 패치가 선택되는 문제를 해결하기 위해 적응적으로 패치 크기를 변경한다. 실험 결과에서 제안한 방법은 일반적인 홀 메움 방식과 비교하여 객관적 평가와 주관적 평가 모두에서 시각적으로 우수한 결과를 보여주었다.