• 한국정보과학회논문지:소프트웨어및응용
• /
• 제37권8호
• /
• pp.629-640
• /
• 2010

영상에서 일부분을 제거하거나 훼손된 영상에서 훼손된 부분을 복원하기위해 예제기반 인페인팅 방법이 주로 사용되고 있다. 예제 기반 인페인팅은 데이터 항 계산, 신뢰도 항 계산, 그리고 복사할 패치 선택 등 세가지 부분으로 구성되어 있는데 본 논문에서는 이들 각각 부분을 개선하여 기존의 예제기반 인페인팅 방법의 성능을 향상하는 방법을 제안한다. 기존에는 데이터 항을 계산하는데 편미방을 이용해서 국부적인 기울기를 구하기 때문에 잡음에 민감한 문제가 있어 이를 16개의 방향성 마스크를 사용하여 전역적 기울기를 구하도록 하여 잡음에 강건하도록 개선하였다. 신뢰도 항을 계산하는 과정에서 복원할 영역 내부에서 신뢰도 값이 매우 작아지는 문제를 개선하기 복원할 영역의 내부에서 신뢰도 항이 천천히 감소하도록 하는 방법을 제안하였다. 또한 복원할 영역에서 가까운 패치에 가중치를 주도록 패치 선택 방법을 개선하였다. 여러 가지 영상에 대한 실험한 결과 제안된 방법을 통한 인페인팅이 기존의 예제 기반 인페인팅보다 자연스럽게 복원함을 알 수 있었으며 훼손된 영상을 복원하는 경우에도 제안된 방법이 기존 방법보다 오차가 줄어듦을 알 수 있었다.

• 정보처리학회논문지B
• /
• 제17B권1호
• /
• pp.47-54
• /
• 2010

오래된 영화 필름이나 비디오 테이프 등의 영상물에서 나타나는 대표적인 손상으로는 긁힘과 얼룩무늬 손상이 있으며, 본 논문은 긁힘 손상을 자동 탐지하고, 자기상관 (AR: autoregressive) 이미지 생성모델 (PAST-PRESENT 모델) 기반의 영상 인페인팅 모델을 사용하여 손상을 복원하는 시스템을 설계하고 구현하였다. AR 이미지 모델 생성을 위해, 지역성을 최대화할 수 있도록 인접 화소를 모으는 Sampling Pattern을 사용하였으며, 추출된 화소들을 필터링 (filtering)하는 단계, AR 모델 파라미터 계산 (model fitting)을 위한 Durbin-Levinson 알고리즘, 최종 파라미터를 통한 훼손된 화소의 예측 및 보간 단계로 구성된다. 구현된 시스템은(1) VHS 테이프를 통한 아날로그 영상물의 디지털화, (2) 긁힘 손상의 자동탐지와 자동손상복원, (3) 얼룩무늬의 수동탐지와 자동복원의 3단계 복원절차를 지원하도록 설계하였다. 단계 1과 단계 2는 영상복원 고속화를 위해 TIDSP 보드 (TMS320DM642 EVM)을 이용하여 구현하였으며, 단계 3은 사용자의 수동탐지를위해, PC 를 사용하여 구현하였다. 본 논문에서 제안된 기법을 고전 한국영화 2편 (자유만세와 로보트 태권 V)에 대하여 실험하였으며, 본 논문에서 제안한 자기상관 기반의 복원 시스템은 Bertalmio 인페인팅 기법과 비교하였으며, 주관적 화질 (MOS 테스트) 및 객관적 화질 (PSNR), 특히, 숙련된 복원기술자에 의한 복원과의 차이를 정의하는 복구품질 (RR)에서 향상된 결과를 보임을 확인하였다.

• 한국정보통신학회:학술대회논문집
• /
• 한국해양정보통신학회 2011년도 춘계학술대회
• /
• pp.375-377
• /
• 2011

증강현실은 현실 세계에 가상의 사물을 합성하여 현실 세계만으로는 얻기 힘든 부가적인 정보를 타나내는 기술이다. 본 논문에서는 가상의 사물을 정합하고자 하는 현실 세계의 위치를 IR LED 마커를 통해 획득하는 방법을 사용한다. IR LED 마커는 실세계에서는 보이지 않도록 추적대상체에 삽입하여 제작하므로 비가시적인 마커의 특징을 갖는다. 증강현실을 구현하기 위한 카메라 입력 영상에서는 마커의 존재를 확인할 수 있으므로 본 논문에서는 IR LED 마커를 구현함에 있어 인페인팅 기법을 적용하여 완전한 비가시적인 마커의 특징을 갖도록 하는 방법을 제안한다.

• 정보과학회 논문지
• /
• 제44권2호
• /
• pp.186-194
• /
• 2017

깊이 영상 기반 렌더링은 깊이 정보를 활용하여 가상 시점의 영상을 생성하는 기술로 다양한 3차원 영상시스템에서 필요로 하는 기술이다. 깊이 영상 기반 렌더링에서 가장 어려운 과제는 가상 시점 영상에서 새롭게 드러나는 부분을 채우는 과정이다. 영상 인페인팅은 이 과정에서 보편적으로 활용되는 방법이다. 본 논문에서는 홀을 채우는 과정에서 발생하는 오류를 줄이고 자연스럽게 채우는 방법을 제안한다. 먼저 색상 영상의 정보와 깊이 정보를 활용하여 지역적으로 적응적 패치 크기를 선택하도록 하였다. 또한 패치 간 유사도에 따라 홀을 채우는 방법을 한 번에 채우는 경우와 부분적으로 채우는 경우로 구분하였다. 이를 통해 오류의 발생을 줄이고 깊이 영상 기반 렌더링에서 가장 큰 문제가 되는 오류의 전파를 억제하였다. 실험을 통해 제안한 방법이 기존의 방법보다 시각적으로 자연스러운 가상 시점 영상을 생성하는 것을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제12권8호
• /
• pp.3842-3855
• /
• 2018

A novel image completion method is proposed that uses the advantage of planar structural information to fill corrupted portions of an image. First, in estimating parameters of the projection plane, the image is divided into several planes, and their planar structural information is analyzed. Second, in calculating the a priori probability of patch and patch offset regularity, this information is converted into a constraint condition to guide the process of filling the hole. Experimental results show that the proposed algorithm is fast and effective, and ensures the structure continuity of the damaged region and smoothness of the texture.

• 한국멀티미디어학회논문지
• /
• 제15권12호
• /
• pp.1442-1448
• /
• 2012

The problem of Metal Area Segmentation (MAS) in X-ray CT images is a very hard task because of metal artifacts. This research features a practical yet effective method for MAS in X-ray CT images that exploits both projection image and reconstructed image spaces. We employ the Relevant Neighbor Area (RNA) idea [1] originally developed for projection image inpainting in order to create a novel feature in the projection image space that distinctively represents metal and near-metal pixels with opposite signs. In the reconstructed result of the feature image, application of a simple thresholding technique provides accurate segmentation of metal areas due to nice separation of near-metal areas from metal areas in its histogram.

• 한국컴퓨터정보학회논문지
• /
• 제25권10호
• /
• pp.35-42
• /
• 2020

본 연구에서는 비지도 이상 탐지 방법을 변형한 U-Net 기반의 이미지 복원 기법을 통해 한정적인 데이터를 활용한 균열 탐지 방안을 제안한다. 콘크리트 균열은 다양한 원인으로 인해 발생하며, 장기적으로 구조물의 심각한 손상을 초래할 수 있는 요소이다. 일반적으로 균열 조사는 검사원의 육안으로 판단하는 외관 검사법을 사용하는데, 이는 판단에 객관성이 떨어지며 인적 오류 발생 가능성이 크다. 따라서 객관적이고 정확한 이미지 분석 처리를 통한 방법이 요구된다. 최근에는 균열을 신속하고 정밀하게 탐지할 수 있도록 딥러닝을 활용한 기술들이 연구되고 있다. 하지만 일반적인 균열자료에 비해 점검 대상물에 대한 데이터는 한정적이므로 이를 활용한 기존 균열 탐지 모델의 성능은 제한적인 경우가 많다. 따라서 본 연구에서는 비지도 이상 탐지 방법을 사용해 점검 대상물에 대한 데이터를 증강하여 해당 데이터를 사용하여 학습한 결과, 정확도 98.78%, 조화평균(F1_Score) 82.67%의 성능을 확인하였다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• 제16권2호
• /
• pp.524-543
• /
• 2022

Correct facade image parsing is essential to the semantic understanding of outdoor scenes. Unfortunately, there are often various occlusions in front of buildings, which fails many existing methods. In this paper, we propose an end-to-end deep network for facade parsing with occlusions. The network learns to decompose an input image into visible and invisible parts by occlusion reasoning. Then, a context aggregation module is proposed to collect nonlocal cues for semantic segmentation of the visible part. In addition, considering the regularity of man-made buildings, a repetitive pattern completion branch is designed to infer the contents in the invisible regions by referring to the visible part. Finally, the parsing map of the input facade image is generated by fusing the results of the visible and invisible results. Experiments on both synthetic and real datasets demonstrate that the proposed method outperforms state-of-the-art methods in parsing facades with occlusions. Moreover, we applied our method in applications of image inpainting and 3D semantic modeling.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.122-124
• /
• 2015

본 논문에서는 Microsoft 에서 나온 여러 대의 Kinect 를 이용하여 Free Viewpoint TV System 을 구현해 보고자 한다. Kinect 로부터 얻어진 색상 영상과 깊이 영상을 통하여, 실시간으로 두 대의 카메라 사이에서의 가상시점에서 영상이 출력되는 시스템을 설계한다. 또한, 여러 대의 Kinect 를 이용할 때, 간섭현상으로 인해 IR 패턴을 제대로 인식하지 못하여 홀이 생성되는 문제점을 확인하고, Nearest Neighbor 방식과 Inpainting 기법을 사용하여 홀을 제거하는 방식을 소개한다. 실험 결과, 홀의 주변과 비슷한 값으로 홀을 채울 수 있었지만, 홀의 크기에 따라 Edge 경계가 부정확해 지는 현상을 확인할 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.302-307
• /
• 2007

본 논문은 이미지에서 불필요한 영역을 삭제하고, 그 영역을 배경과 어울리게 채워넣는 이미지 인페인팅 방법을 제안한다. 제안하는 인페인팅 방법은 크게 인페인팅 영역을 채우는 밴드 인페인팅(band in-painting)과 seamless cloning으로 나눌 수 있다. 밴드 인페인팅(band in-painting)은 인페인팅 영역의 경계를 따라서 일정한 두께를 가지는 타겟 밴드(target band)를 정의하고, 인페인팅 영역 밖의 모든 픽셀을 중심으로 하는, 타겟 밴드와 같은 모양과 크기를 가지는 소스 밴드(source band)와 타겟 밴드 차이를 계산하여, 그 값의 차이가 가장 작은 소스밴드 영역의 값을 인페인팅 영역에 복사하는 것이다. Seamless cloning은 인페인팅 영역과 입력 이미지의 경계를 없애는 것이다.