• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.481-486
• /
• 2007

본 논문에서는 깊이 영상을 개선하는 방법으로 깊이 영상 획득 시 손실된 영역을 복원하는 기법을 제안한다. 대상 객체의 동적인 3차원 정보는 적외선 깊이 센서가 장착된 깊이 비디오 카메라를 통하여 실시간으로 획득한다. 이때, 깊이 비디오뿐만 아니라 각 프레임마다 컬러영상이 동시에 획득된다. 그러나 대상 객체의 일부 또는 전체가 반짝이는 검은 재질로 되어있을 경우, 획득된 깊이 영상에 손실이 발생한다. 특히 방송용 콘텐츠로서 연기자의 3차원 정보를 획득할 때 머리카락 영역이 손실되는 심각한 문제가 발생한다. 이를 해결하기 위해 먼저 컬러 영상을 이용하여 손실된 영역의 위치 정보를 알아낸다. 손실된 영역 내 경계부분의 깊이 정보를 복원한 후 2차 베지어 커브로 보간하여 내부의 깊이 정보를 복원한다. 개선된 깊이 영상을 기반으로 일련의 모델링 과정을 수행하면 보다 자연스러운 3차원 모델을 생성할 수 있다. 생성된 3차원 모델은 실감방송용 콘텐츠로 사용될 수 있으며, 시청자에게 시각상호작용과 촉각상호작용 등 다차원 감각의 상호작용을 제공할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.435-438
• /
• 2015

본 논문에서는 영상 보간의 결과 측면에서 깊이를 보정하는 방법 중 하나인 유도 영상 필터링 기법을 비교한다. 실험을 위해 초기 깊이 영상을 두 종류의 유도 영상 필터링 기법으로 개선을 하였다. 초기 깊이 영상과, 각각의 필터링 기법에 의해 개선된 변이 영상을 이용하여 영상 보간을 하였고, 그 결과를 비교하였다. 결과로서 한 시점 영상의 텍스처 정보만을 이용하여 변이를 개선하는 유도 영상 필터링 기법으로 변이 영상을 개선하게 되는 경우에 육안으로는 구분이 갈 정도로 변이가 개선이 되지만, 영상 보간의 측면에서 보았을 때는 크게 차이가 없거나 오히려 품질이 저하되는 경우를 확인할 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.695-696
• /
• 2020

CNN(CNN: Convolutional Neural Network)은 컴퓨터 비전의 많은 분야에서 뛰어난 성능을 보이고 있으며, 단일 영상으로부터 깊이(depth) 추정에서도 기존 기법보다 향상된 성능을 보이고 있다. 그러나, 단일 영상으로부터 신경망이 얻을 수 있는 정보는 제한적이기 때문에 스테레오 카메라로부터 얻은 좌/우 영상으로부터의 깊이 추정보다 성능 향상에 한계가 있다. 따라서 본 논문에서는 에지 맵(edge map)을 이용한 CNN 기반의 단일 영상에서의 깊이 추정의 개선 기법을 제안한다. 제안 방법은 먼저 단일 영상에 대한 전처리를 통해서 에지 맵과 양방향 필터링된(bilateral filtered) 영상을 생성하고, 이를 CNN 입력으로 하여 기존 단일 영상 깊이 추정 기법 대비 개선된 성능을 보임을 확인하였다.

• 한국정보통신학회논문지
• /
• 제17권12호
• /
• pp.2927-2936
• /
• 2013

본 논문에서는 3D 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여 잡음 제거 기법과 홀 채움 기법을 제안한다. 제안하는 기법에서는 컬러 영상과 깊이 영상을 모두 이용하게 된다. 먼저 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다. 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 제안하는 잡음 제거 기법에 이용한다. 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 제안하는 홀 채움 기법을 적용하여 깊이 영상 내에 존재하는 홀을 채우게 된다. 마지막으로 실시간 환경에 적용하기 위하여 제안하는 기법을 GPU로 병렬화하여 속도 향상을 하고자 하였다. 실험을 통하여 제안한 기법이 기존 기법에서 발생하는 경계 부분의 흐려짐 현상을 줄이면서 홀을 채우는 것을 확인하였다.

• 한국멀티미디어학회논문지
• /
• 제15권4호
• /
• pp.492-500
• /
• 2012

본 논문에서는 깊이 영상의 부호화 효율을 높이기 위한 기법을 제안한다. 깊이 영상의 부호화 과정에서 색상 영상과의 연관성을 이용하기 위해 SVC 부호화 구조를 기반으로 계층적으로 부호화한다. 깊이 영상을 향상 계층으로 부호화하여 기본 계층으로 부호화된 색상 영상의 움직임 정보를 이용한다. SVC 부호화 구조를 이용함으로써 다양한 네트워크에 적응적이면서 깊이 영상의 부호화 효율을 높일 수 있다. 또한, 깊이 영상은 다른 시점의 영상을 합성하는 데 이용되기 때문에 부호화 과정에서 객체의 윤곽 부분이 손상되었을 때 전체 영상의 화질을 크게 떨어뜨린다. 윤곽 부분의 이러한 특징을 이용하여 비 윤곽 부분인 평편한 부분과 구분한 후, 부호화 과정의 비트량을 조절하여 깊이 영상 전체의 화질을 개선하는 기술을 제안한다. 실험 결과 제안한 기법은 PSNR 값이 0.06-0.5dB 증가하고 비트량을 0.1-1.15% 감소하여 깊이 영상의 화질이 개선됨을 알 수 있었다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2021년도 하계학술대회
• /
• pp.223-225
• /
• 2021

실감 미디어에 대한 수요가 증가함에 따라 고품질의 실감 미디어에 대한 중요성이 증가하고 있다. 이러한 실감미디어를 제작하기 위해 사용되는 일반적인 기법 중 하나인 Multi View Stereo 는 깊이 영상 추정 및 해당 깊이 영상을 이용하여 3 차원에 point cloud 를 생성하는 fusion 과정을 거치게 된다. 본 논문에서는 다중 시점 영상의 깊이 영상을 정합하는 fusion 과정을 개선하기 위한 방법을 제안한다. 제안하는 방법에서는 깊이 영상, 색상정보를 이용하여 기준 시점의 depth map 을 이용한 fusion 과정을 거친다. 실험을 통하여 제안한 알고리즘을 이용한 결과가 기존보다 개선됨을 보인다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.430-432
• /
• 2012

본 논문은 깊이영상의 화면 내 예측 부호화 과정에서 속도를 개선하는 기법을 제안한다. 부호화 과정 중 최적 모드 결정에 중요한 역할을 하는 율-왜곡 비용은 부호화 모드와 밀접한 관련이 있다. 영상을 분석한 결과, 컬러 영상의 최적 모드의 블록 크기에 따라 울-왜곡 비용이 차이나는 특징이 있다. 따라서 깊이 영상의 화면 내 예측 시 먼저 부호화 된 컬러 영상의 율-왜곡 비용에 따라 $16{\times}16$ 블록 크기를 결정한다. 제안한 기법을 참조 소프트웨어에 적용하여 실험한 결과 PSNR 차이는 거의 없었고, 부호화 시간은 평균 60% 이상의 속도를 개선하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2010년도 하계학술대회
• /
• pp.80-82
• /
• 2010

본 논문에서는 깊이 정보를 이용하여 영상을 색상 분포가 각각 다른 객체 영상으로 분리하고 개별적으로 히스토그램 매칭 기법을 적용하는 조명 보상 기법을 제안한다. 서로 위치가 다른 다시점 카메라의 경우, 다시점 비디오 부호화(multi-view video coding)의 성능을 저하시키는 인접 시점 영상 간 조명 불일치 현상이 발생한다. 이러한 조명 불일치를 보상하기 위한 히스토그램 매칭(histogram matching)을 이용한 전처리 기법이 제안되었다. 모든 시점의 다시점 영상 히스토그램은 정해진 참조 시점 영상의 히스토그램으로 매칭되어 조명 불일치와 다시점 비디오 부호화의 성능을 개선할 수 있다. 하지만 일반적인 영상은 색상 분포와 깊이 정보가 상호 독립적인 객체들로 구성되어 있다. 또한 다시점 비디오는 시점에 따라 획득된 영상 간에 동일 객체의 위치와 깊이가 서로 달라 정해진 참조 시점의 히스토그램으로 매칭하는 기존의 방법은 적합하지 않다. 본 논문에서는 주어진 영상 내에서 깊이 정보를 이용하여 객체를 먼저 분리하고, 객체 영상별로 히스토그램 매칭 기법을 적용하여 색상 보상을 수행하는 새로운 기법을 제안한다. 실험을 통해 제안하는 객체 단위의 조명 보상 기법이 향상된 다시점 비디오 부호화 효율을 보이는 것을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 추계학술대회
• /
• pp.205-207
• /
• 2020

본 논문에서는 딥러닝 기반의 깊이 영상 초해상도 기술에 대해서 제안한다. 기존 깊이 영상의 초해상도 기술은 고해상도의 컬러 영상과 저해상도 깊이 영상을 이용하여 화소 값을 개선시켜 고해상도의 깊이 영상을 예측하였다. 하지만 이라한 방법들은 단순히 화소 값을 증가 또는 혹은 감소시키는 방법으로 언더슈팅 또는 오버슈팅과 문제를 발생시켜 성능 향상을 제한한다. 제안하는 기법에서는 이러한 한계를 극복하기 위해 화소의 위치를 이동하여 영상을 복원하는 격자 워핑 방식을 반복적으로 적용하여 고해상도 깊이 영상을 예측하였다. 실험 결과, 제안한 방식이 기존 방법들에 비해 정량적, 시각적 품질을 개선시켰음을 확인하였다.

• 방송공학회논문지
• /
• 제9권3호
• /
• pp.185-195
• /
• 2004

본 논문에서는 정확한 3차원 장면복원을 위한 다중깊이맵 융합기법을 제안한다. 제안한 기법은 수동적 3차원 정보획득 방법인 스테레오 정합기법과 능동적 3차원 정보획득 방법인 깊이정보 카메라로부터 얻어진 다중깊이맵을 융합한다. 전통적인 두 개의 스테레오 영상 간에 변이정보를 추정하는 전통적 스테레오 정합기법은 차폐 영역과 텍스쳐가 적은 영역에서 변이 오차를 많이 발생한다. 또한 깊이정보 카메라를 이용한 깊이맵은 비교적 정확한 깊이정보를 얻을 수 있으나, 잡음이 많이 포함되며, 측정 가능한 깊이의 범위가 제한되어 있다. 따라서 본 논문에서는 이러한 두 기법의 단점을 극복하고, 상호 보완하기 위하여 이 두 기법에 의해 얻어진다. 중깊이맵의 변이 또는 깊이값을 적절하게 선택하기 위한 깊이맵 융합기법을 제안한다. 3-시점 영상으로부터 가운데 시점을 기준으로 좌우 영상에 대해 두 개의 변이맵들을 각각 얻으며, 가운데 시점 카메라에 설치된 깊이정보 카메라로부터 얻어진 깊이맵들 간에 위치와 깊이값을 일치시키기 위한 전처리를 행한 다음. 각 화소 위치의 텍스쳐 정보, 깊이맵 분포 등에 기반하여 적절한 깊이값을 선택한다. 제안한 기법의 컴퓨터 모의실험 결과. 일부 배경 영역에서 깊이맵의 정확도가 개선됨을 볼 수 있었다.