• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.11a
• /
• pp.169-172
• /
• 2015

영상회의 장치에서 눈맞춤 영상을 생성하기 위해 어파인 변환(affine transformation)을 이용하면 반올림 오차(round-off error) 때문에 홀이 발생한다. 이러한 홀을 채우려면 홀 영역을 가리키는 홀 채움 마스크가 필요하다. 홀 채움은 보통 홀 채움 마스크를 참조하여 홀이 아닌 이웃 화소값들을 기반으로 손상된 영상을 복원하는 작업이다. 따라서 홀 영역을 정확히 검출하고 적당한 개수의 이웃 화소값을 참조해야 자연스러운 홀 채움 영상을 생성할 수 있다. 한편, 눈맞춤 영상을 생성할 때 얼굴 특징점을 이용해 얼굴 변환 마스크를 만들고, 얼굴 변환 마스크에만 어파인 변환을 수행한다. 이 논문에서는 얼굴 특징점에도 어파인 변환을 수행하고 수정된 얼굴 변환 마스크를 획득하여 정확한 홀 채움 마스크를 구한다. 또한, 홀 채움 마스크에서 레이블링을 수행하여 큰 홀 영역을 제거한다. 마지막으로, 어파인 변환을 수행할 때 기존 영상의 좌표값을 이용하여 자연스러운 홀 채움 영상을 생성한다. 제안하는 방법으로 홀 채움을 수행한 결과, 연속적인 눈맞춤 동영상에서 이웃값들을 참조하여 홀 채움을 수행한 영상보다 자연스러움을 확인했다.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.17 no.12
• /
• pp.2927-2936
• /
• 2013

In this paper, we propose a noise reduction and hole removal algorithm in order to improve the quality of depth images when they are used for creating 3D contents. In the proposed algorithm, the depth image and the corresponding color image are both used. First, an intensity image is generated by converting the RGB color space into the HSI color space. By estimating the difference of distance and depth between reference and neighbor pixels from the depth image and difference of intensity values from the color image, they are used to remove noise in the proposed algorithm. Then, the proposed hole filling method fills the detected holes with the difference of euclidean distance and intensity values between reference and neighbor pixels from the color image. Finally, we apply a parallel structure of GPGPU to the proposed algorithm to speed-up its processing time for real-time applications. The experimental results show that the proposed algorithm performs better than other conventional algorithms. Especially, the proposed algorithm is more effective in reducing edge blurring effect and removing noise and holes.

• 한국HCI학회:학술대회논문집
• /
• 2007.02a
• /
• pp.281-286
• /
• 2007

비디오 복원(video completion)은 비디오 영상에서 색상값에 대한 정보가 없는 픽셀에 적절한 색을 채워 영상을 복원하는 기술이다. 본 논문에서는 움직이는 두 물체가 교차하는 입력영상으로부터 하나의 물체를 제거함으로 발생하는 홀(hole)을 채우는 비디오 복원 기술을 제안한다. 입력 영상에서의 두 물체 중 카메라와 가까운 물체를 제거함으로써 영상의 홀이 발생하게 되고, 이 홀을 다른 프레임들의 정보를 이용하여 채움으로써 가려진 물체를 복원한다. 모든 프레임에 대해 각 물체의 중심을 추정하여 물체의 중심을 기준으로 시-공간 볼륨(spatio-temporal volume)을 생성하고, 복셀 매칭(voxel matching)을 통한 시간적 탐색을 수행한 후 두 물체를 분리한다. 가리는 물체 영역으로 판단 된 부분을 삭제하고 공간적 탐색 방법을 이용하여 홀을 채워 가려짐이 있는 물체를 복원하는 과정을 소개한다. 실험 결과를 통해 제안한 기술이 비교적 자연스러운 결과를 얻을 수 있다는 것을 보여준다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.37 no.8A
• /
• pp.679-688
• /
• 2012

In this paper, performance improved hole-filling algorithm including boundary noise removing pre-process which can be used for an arbitrary view synthesis with given two views is proposed. Boundary noise usually occurs because of the boundary mismatch between the reference image and depth map and common-hole is defined as the occluded region. These boundary noise and common-hole created while synthesizing a virtual view result in some defects and they are usually very difficult to be completely recovered by using only given two images as references. The spiral weighted average algorithm gives a clear boundary of each object by using depth information and the gradient searching algorithm is able to preserve details. In this paper, we combine these two algorithms by using a weighting factor ${\alpha}$ to reflect the strong point of each algorithm effectively in the virtual view synthesis process. The experimental results show that the proposed algorithm performs much better than conventional algorithms.

• Smart Media Journal
• /
• v.3 no.4
• /
• pp.28-34
• /
• 2014

Recently the depth-image-based rendering (DIBR) method is usually used in 3D image application filed. Virtual view image is created by using a known view with associated depth map to make a virtual view point which did not taken by the camera. But, disocclusion area occur because the virtual view point is created using a depth image based image 3D warping. To remove those kind of disocclusion region, many hole filling methods are proposed until now. Constant color region searching, horizontal interpolation, horizontal extrapolation, and variational inpainting techniques are proposed as a hole filling methods. But when using those hole filling method some problem occurred. The different types of annoying artifacts are appear in texture region hole filling procedure. In this paper to solve those problem, the multi-directional extrapolation method is newly proposed for efficiency of expanded hole filling performance. The proposed method is efficient when performing hole filling which complex texture background region. Consideration of directionality for hole filling method use the hole neighbor texture pixel value when estimate the hole pixel value. We can check the proposed hole filling method can more efficiently fill the hole region which generated by virtual view synthesis result.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2013.06a
• /
• pp.289-292
• /
• 2013

최근 많은 영상처리 연구자들 사이에서 마이크로소프트사의 실시간 깊이센서 '키넥트'가 상당한 관심을 받고 있다. '키넥트'는 실시간으로 깊이정보를 제공함과 동시에 별도의 센서를 부착하지 않고도 컴퓨터와의 인터렉션할 수 있는 가능성을 제공한다. 하지만 '키넥트'의 깊이영상은 홀 영역, 부정확한 경계, 낮은 해상도등의 많은 문제점을 지니고 있다. 이러한 부정확한 깊이 정보는 3차원 렌더링, 가상시점 영상 합성, 모션 인식 등에서 성능 저하를 야기한다. 따라서 본 논문에서는 깊이 정보 품질 향상기법에 관하여 깊이영상 신뢰도를 이용한 도메인 변환기반 해상도 상향 알고리듬을 제안한다. 정확하고 빠르게 홀 영역정보를 추정하기 위해 도메인 변환 기반의 경계 보존 필터링이 사용된다. 또한 다양한 깊이 영상의 노이즈를 효율적으로 제거하기 깊이 영상의 신뢰도를 이용한다. 실험결과를 통하여 제안하는 방법이 효율적으로 홀 영역을 채우고, 부정확한 경계를 제거하여 깊이 영상의 품질을 향상시키는 것을 확인할 수 있다.

• Proceedings of the KIEE Conference
• /
• 2011.07a
• /
• pp.2134-2135
• /
• 2011

전력 설비의 지중화 증가로 인하여 지중 설비에서의 사고 위험성도 증가하고 있다. 본 논문에서는 누전 고장점이 있는 저압 지중접속함(핸드홀)이 침수시 고장점에서 유출되는 누설 전류에 의한 수중 전위를 검출하여 위험을 경보하는 장치를 제작하고, 실제 환경과 유사한 실험장에서 실험하였다. 실험을 통하여 제작한 핸드홀 누전감시장치가 정상 동작함을 확인하였다. 또한 고장점이 존재하지 않거나 전원 공급이 없는 핸드홀의 경우에도 침수시 수중에서 상용주파수 노이즈 전위가 측정됨을 확인하였고, 이런 노이즈 제거 기술에 대한 연구가 추가적으로 필요함을 확인하였다. 침수시 누전 고장점은 평상시에 검출하기 어렵기 때문에 핸드홀 누전 감시 장치의 개발은 사고를 예방함과 동시에 사고를 검출하여 지중선로의 사후 유지 보수에 도움이 될 수 있을 것으로 예상한다.

• Journal of Digital Contents Society
• /
• v.18 no.5
• /
• pp.989-994
• /
• 2017

In this paper, we propose a pothole detection system using 2D LiDAR and a pothole detection algorithm. Conventional pothole detection methods can be divided into vibration-based method, 3D reconstruction method, and vision-based method. Proposed pothole detection system uses two inexpensive 2D LiDARs and improves pothole detection performance. Pothole detection algorithm is divided into preprocessing for noise reduction, clustering and line extraction for visualization, and gradient function for pothole decision. By using gradient of distance data function, we check the existence of a pothole and measure the depth and width of the pothole. The pothole detection system is developed using two LiDARs, and the 3D pothole detection performance is shown by detecting a pothole with moving LiDAR system.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2015.07a
• /
• pp.122-124
• /
• 2015

This paper provides the design and implementation of Free Viewpoint TV System with multiple Microsoft Kinects. It generates a virtual view between two views by manipulating texture and depth image captured by Kinects in real-time. In order to avoid this, we propose the hole-filling scheme using Nearest neighbor and inpainting. As a result, holes generated by interference are filled with new depth values calculated by their neighbors. However, the depth values are not accurate, but are similar with their neighbors. And depending on the frequency of running a Nearest Neighbor method, we can see that edge's border would be shifted inner or outer of the object.

• The KIPS Transactions:PartB
• /
• v.14B no.5
• /
• pp.351-360
• /
• 2007

Video Completion refers to a computer vision technique which restores damaged images by filling missing pixels with suitable color in a video sequence. We propose a new video completion technique to fill in image holes which are caused by removing an unnecessary object in a video sequence, where two objects cross each other in the presence of camera motion. We remove the closer object from a camera which results in image holes. Then these holes are filled by color information of some others frames. First of all, spatio-temporal volumes of occluding and occluded objects are created according to the centroid of the objects. Secondly, a temporal search technique by voxel matching separates and removes the occluding object. Finally. these holes are filled by using spatial search technique. Seams on the boundary of completed pixels we removed by a simple blending technique. Experimental results using real video sequences show that the proposed technique produces new completed videos.