• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 추계학술대회
• /
• pp.169-172
• /
• 2015

영상회의 장치에서 눈맞춤 영상을 생성하기 위해 어파인 변환(affine transformation)을 이용하면 반올림 오차(round-off error) 때문에 홀이 발생한다. 이러한 홀을 채우려면 홀 영역을 가리키는 홀 채움 마스크가 필요하다. 홀 채움은 보통 홀 채움 마스크를 참조하여 홀이 아닌 이웃 화소값들을 기반으로 손상된 영상을 복원하는 작업이다. 따라서 홀 영역을 정확히 검출하고 적당한 개수의 이웃 화소값을 참조해야 자연스러운 홀 채움 영상을 생성할 수 있다. 한편, 눈맞춤 영상을 생성할 때 얼굴 특징점을 이용해 얼굴 변환 마스크를 만들고, 얼굴 변환 마스크에만 어파인 변환을 수행한다. 이 논문에서는 얼굴 특징점에도 어파인 변환을 수행하고 수정된 얼굴 변환 마스크를 획득하여 정확한 홀 채움 마스크를 구한다. 또한, 홀 채움 마스크에서 레이블링을 수행하여 큰 홀 영역을 제거한다. 마지막으로, 어파인 변환을 수행할 때 기존 영상의 좌표값을 이용하여 자연스러운 홀 채움 영상을 생성한다. 제안하는 방법으로 홀 채움을 수행한 결과, 연속적인 눈맞춤 동영상에서 이웃값들을 참조하여 홀 채움을 수행한 영상보다 자연스러움을 확인했다.

• 스마트미디어저널
• /
• 제3권4호
• /
• pp.28-34
• /
• 2014

최근 깊이 영상 기반 합성 방법을 이용한 가상시점 합성 방법이 3차원 영상의 적용 분야에서 많이 사용되고 있다. 가상 시점 영상은 기존에 알고 있는 영상과 이와 관련된 깊이 영상 정보를 이용하여 카메라로 촬영 하지 않은 가상시점 영상을 생성하게 된다. 하지만 깊이 영상 기반 합성 방법을 이용해 가상시점 영상을 생성할 경우, 깊이 영상을 기반으로 합성하기 때문에 이미지 워핑 과정에서 폐색 영역이 발생하게 된다. 이러한 폐색 영역을 제거하기 위해 지금까지 다양한 홀 채움 방법들이 제안되어 왔다. 동일 색상영역 검색, 수평방향 보간 방법, 수평방향 보외 방법 그리고 다양한 인페인팅 방법들이 홀 채움 방법들로 제안되었다. 하지만 이러한 방법들을 사용하여 텍스쳐 영역의 홀을 제거할 경우 다른 종류의 간섭 현상이 발생하는 문제가 있다. 본 논문에서는 이러한 문제점을 해결하기 위해 다양한 방향성을 고려한 홀 채움 방법을 새롭게 제안하여 확장된 홀 영역을 효율적으로 채우는 방법을 설명한다. 제안된 방법들은 복잡한 텍스쳐들이 있는 배경부분에서 발생하는 홀 영역을 채울 때 성능 효율성을 나타낸다. 방향성을 고려한 홀 채움 방법은 픽셀 단위로 홀 채움 영역 값을 측정하는 과정에서 홀 영역의 주변 텍스쳐 픽셀 값들을 사용하게 된다. 제안한 방법을 이용해 가상시점 영상 합성 결과 발생하는 홀 영역을 기존의 홀 채움 방법보다 보다 더 효율적으로 채울 수 있는 것을 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.93-96
• /
• 2014

본 논문에서는 가상시점 영상을 생성할 때 발생하는 홀 영역을 효율적으로 채우는 방법을 제안한다. 가상시점 영상을 생성하려면 우선 깊이 영상에 대해 3차원 워핑을 수행한 뒤, 이때 발생하는 작은 홀을 미디언 필터를 이용하여 적절히 채워야 한다. 홀이 채워진 깊이 영상을 기반으로 하여 입력받은 참조 컬러 영상에 대해 3차원 워핑을 수행하여 가상 위치에 새로운 시점 영상을 생성하게 된다. 이때 또한 마찬가지로 3차원 워핑을 수행하기 때문에 홀 영역이 발생하게 된다. 텍스쳐 영상을 워핑하여 새로운 좌표계로 옮긴 영상은 주변 컬러 화소들과의 관계들을 가지고 있다. 텍스쳐 영상을 워핑한 결과 영상에서 발생하는 홀 영역을 채우기 위해 방향성을 고려한 홀 채움 방법을 사용한다. 홀 주변 화소 영역의 값들을 홀을 채우게 될 후보 화소 값으로 설정한 뒤, 각각의 화소값에 대해 비용값을 계산한다. 이때 가장 적은 비용값을 갖게 하는 주변 화소 값을 해당 영역의 홀 채움 값으로 사용하게 된다. 좌영상과 우영상을 워핑할 때 발생하는 홀 영역의 위치가 각각 다르게 나타난다. 홀 영역은 배경화소 값을 이용해 채울 경우 자연스러운 결과를 보인다. 배경화소 값을 이용하기 위해 좌영상과 우영상에 따른 새로운 홀 스캔 방향 또한 제안한다. 능동적으로 홀 스캔 방향을 선택하여 홀 주변 화소값들을 스캔해가며 워핑 결과 발생하는 홀 영역을 효율적으로 채우게 된다. 결과적으로 제안한 방법을 통하여 생성된 가상시점 영상의 화질이 좋아지는 결과를 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2017년도 추계학술대회
• /
• pp.133-135
• /
• 2017

본 논문에서는 스테레오 영상을 이용하여 외삽 시점 영상 생성 시 발생하는 홀을 채우는 방법을 제안한다. 스테레오 영상에 3D 워핑을 이용하여 다수의 시점을 생성할 수 있다. 하지만 이 방법은 보이지 않는 시점에서의 영역을 완벽히 복원할 수 없기 때문에 필연적으로 홀이 발생한다. 홀을 채우기 위해 먼저 홀 영역의 경계를 Random Walks 알고리즘을 이용하여 전경과 배경으로 구분한다. 그리고 홀을 배경 성분에 해당하는 영역만을 이용하여 채우게 된다. 홀 채움 과정에서는 패치 내의 홀의 비율과 컬러와 깊이 영상의 텍스처에 대한 복잡도를 정의하고 패치 별로 우선순위를 계산하여 높은 순위의 패치로 홀을 채우게 된다. 실험 결과 제안하는 기법이 홀을 효과적으로 채우는 것을 확인하였다.

• 전기전자학회논문지
• /
• 제20권1호
• /
• pp.31-44
• /
• 2016

본 논문에서는 자유 시점 텔레비전에서 시점 합성 영상 획득을 위해 시공간적 배경 정보 추정 기반 홀 채움 방식을 제안한다. 신뢰할 수 있는 시간적 배경 정보를 획득하기 위해 새로운 배경 코드북의 구성 및 갱신하는 과정을 수행한다. 더불어, 공간적인 국부 배경 정보 추정을 위해 홀 영역의 배경 및 전경 영역의 구별 및 갱신 과정을 수행한다. 추정된 시공간 배경 정보를 조합하여 홀 채움 과정을 수행하고, 잔여 홀 채움을 수행하기 위해 깊이 배경 정보를 이용한 우선순위 함수를 결정하여 표본 기반 인페인팅 기법을 적용한다. 실험 결과를 통해 제안 방식은 기존방식들과 비교하여 평균 0.3~0.6dB의 성능 향상이 있음을 확인하였으며, 동영상 특성 및 홀 형태에 관계없이 제안된 방식이 새로운 시점 영상을 효과적으로 합성할 수 있음을 확인할 수 있었다.

• 전자공학회논문지
• /
• 제54권8호
• /
• pp.67-80
• /
• 2017

본 논문에서는 추정된 시공간 배경 정보를 이용하여 자유 시점에서 합성영상을 생성하기 위한 홀채움 방식을 제안한다. 시간적 배경 정보를 추정하기 위해 비겹침 패치 기반의 배경 코드북을 이용한 새로운 시간적 배경 모델을 소개한다. 더불어, 공간적 배경 후보의 하한 및 상한 값의 제약 조건을 설정하는 깊이영상 기반 공간적 국부 배경 예측 방식에 대해 제안한다. 추정된 시간적 배경 정보와 공간적 배경 정보의 유사도를 비교하여 가려짐 배경 영역의 홀채움 과정을 수행한다. 또한 3-D 워핑 후 발생하는 컬러영상과 깊이영상간의 불일치 문제를 해결하기 위해 깊이영상 기반의 고스트 제거 필터를 기술한다. 마지막으로 잔여 홀을 채우기 위해 새로운 깊이 항을 포함한 우선순위 함수를 이용하여 인페인팅 방식이 적용된다. 실험 결과를 통해 기존의 홀채움 방식들과 비교하여 제안하는 방식의 객관적, 주관적 성능의 우수성을 확인할 수 있었다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권3호
• /
• pp.39-48
• /
• 2020

본 논문에서는 삼각 메쉬의 홀을 채우는 새로운 기법을 제시한다. 첫번째, 임의 모양의 홀을 검출한다. 두번째, 삼각화(triangulation), 세분화(refinement), 공정화(fairing), 스무딩(smoothing) 과정을 통해 소스 및 타겟 홀 패치를 생성한다. 마지막으로, 두 패치 사이의 형상 차이를 분석하고 패치간 블렌딩을 통해 특징이 강조된 홀 패치를 얻는다. 다양한 모양의 홀을 갖는 삼각 메쉬 모델에 홀 채움 기법을 적용하여 모델을 복원함으로써 제안된 기법의 효과성을 입증한다.

• 한국정보통신학회논문지
• /
• 제17권12호
• /
• pp.2927-2936
• /
• 2013

본 논문에서는 3D 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.

• 한국통신학회논문지
• /
• 제37권8A호
• /
• pp.679-688
• /
• 2012

본 논문에서는 3D 워핑(warping) 기법을 이용하여 가상시점 영상생성 시 화질 개선을 위하여 경계 잡음(boundary noise)을 제거하고 홀(hole) 채움을 하는 새로운 기법을 제안한다. 경계 잡음은 가상시점 영상 합성 시기준 시점 영상과 깊이 영상 내 객체의 경계 불일치로 발생되며 홀은 기준시점 영상에서 보상할 수 없는 가려짐 영역(occlusion)으로 정의된다. 제안하는 기법에서는 경계 잡음 제거를 위해 먼저 배경 화소들의 평균과 절대 값 비교를 통해 경계 잡음에 해당되는 화소를 검출하고 검출된 화소를 홀 영역으로 확장한다. 경계 잡음 영역이 포함된 확장된 홀 영역은 나선형 가중 평균(spiral weighted average) 기법과 기울기 탐색(gradient searching) 기법을 혼용하여 채우게 된다. 나선형 가중 평균 기법은 깊이 정보를 사용함으로 객체 정보를 최소로 사용하지만 결과 영상이 번지는 단점이 있다. 기울기 탐색 기법은 영상의 기울기를 이용하여 세밀한 부분을 보존할 수 있는 장점이 있다. 따라서 각각의 결과를 ${\alpha}$ 가중치로 조합하여 생성된 가상 시점은 두 기법의 장점을 동시에 적용하기 때문에 좋은 화질을 얻을 수 있다. 실험을 통해 제안하는 기법의 성능이 기존의 다른 기법보다 우수하다는 것을 확인하였다.

• 한국콘텐츠학회논문지
• /
• 제15권2호
• /
• pp.21-30
• /
• 2015

Mixed raster content 모델 기반의 영상 부호화는 전경과 배경 레이어에 빈 영역인 don't care region (DCR)이 발생하게 되며, 이 영역에 대한 신호 채움 방식에 따라 전체적인 부호화 성능이 큰 영향을 받게 된다. DCR을 채우기 위한 대부분의 기존 기법들은 홀 주변 기존 영역의 특성을 효율적으로 이용하지 않아 신호 채움 후에도 기존 신호 영역에 존재하던 고주파 성분이 반영될 뿐 아니라, DCR 경계에서의 신호 불연속으로 인해 고주파 성분이 추가적으로 발생한다는 문제점을 갖고 있다. 이 문제를 해결하기 위해 본 논문은 우선순위 기반의 적응적 영역 확장법을 이용한 새로운 DCR 채움 알고리즘을 제안한다. 제안 알고리즘은 분수령 알고리즘을 이용하여 DCR의 각 홀 픽셀에 대한 신호 특성을 판단한 후, 이를 토대로 영역 채움의 우선순위를 결정한다. 이 우선 순위를 기반으로 영역 확장을 수행함으로써 고주파 성분을 포함하고 있는 영역의 확장이 최소화되어 전체적인 부호화 효율이 향상될 수 있다. 실험 결과를 통해 제안 알고리즘이 비교 대상 알고리즘에 비해 효율적인 신호 채움으로 우수한 부호화 성능을 가짐을 보인다.