• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 추계학술대회
• /
• pp.8-10
• /
• 2011

3D 콘텐츠를 획득하는 여러 가지 방법 중 2D-plus-Depth 구조는 다시점 영상을 얻을 수 있는 장점 때문에 최근 이에 관한 연구가 활발히 진행되고 있다. 이 구조를 통해서 고품질의 3D영상을 얻기 위해서는 무엇보다 고품질의 깊이 영상을 구현하는 것이 중요하다. 깊이 영상을 얻기 위해서 Time-of-Flight(ToF)방식의 깊이 센서가 활용되고 있는데 이 깊이 센서는 실시간으로 깊이 정보를 획득할 수 있지만 낮은 해상도와 노이즈가 발생한다는 단점이 있다. 따라서 깊이 영상의 특성을 보존하는 상환 변환을 하여야지만 고품질의 3D 콘텐츠를 제작할 수 있다. 주로 깊이 영상의 해상도를 높이기 위해서 Joint Bilateral Upsampling(JBU) 방식이 사용되고 있다. 하지만 이 방식은 4배 이상의 고 해상도 깊이 영상을 획득하는 데에는 적합하지 않다. 따라서 고해상도의 깊이 영상을 얻기 위해서 보간법을 수행하여 가이드 영상을 만든 후 Bilateral Filtering(BF)을 처리함으로써 영상의 품질을 향상시킨다. 본 논문에서는 2D-plus-Depth 구조에서 얻은 컬러 영상과 깊이 영상을 결합한 보간법을 통해서 깊이 영상의 특성을 살린 가이드 영상을 구현하는 방법을 제안한다. 실험 결과는 제안 방법이 기존 보간법보다 경계 영역 및 평활한 영역에서 깊이 영상의 특성을 잘 보존하는 것을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.348-350
• /
• 2013

본 논문에서는 깊이영상의 특징을 이용하여 깊이영상에 보다 적합한 움직임 예측방법에 대한 방식을 제안한다. 기존 컬러영상 기반으로 제안되었던 대부분의 움직임 예측 방법들이 깊이영상에 적용할 경우 local minimum 에 빠지게 되어 이에 따른 압축 성능 저하가 있음을 확인하였다. 본 논문에서는 이러한 문제점들이 깊이영상의 오브젝트 경계 영역에서 나타나게 됨을 분석하며, 이러한 문제점을 해결하기 위해 깊이영상의 경계 영역에 대해 feature matching 방식을 이용한 full search 방식을 제안한다. 실험적인 결과는 제안방식이 기존 full search 방식과 비교하여 성능은 비슷하게 유지한 채 복잡도를 크게 개선할 수 있음을 보여준다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2015년도 하계학술대회
• /
• pp.452-454
• /
• 2015

본 논문에서는 다시점 깊이영상 기반 3 차원 영상시스템에서 깊이영상의 해상도에 따른 압축성능을 비교 실험한다. 다시점 깊이영상 시스템에서 깊이영상은 중간시점 합성을 위해 사용되며, 깊이영상은 중간영상의 화질에 큰 영향을 미치게 된다. 본 논문에서는 3 차원 영상시스템에서 깊이영상 해상도에 따른 중간영상의 화질변화를 분석하고, dilation filter 로 인한 성능변화를 비교 분석한다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 하계학술대회
• /
• pp.101-104
• /
• 2014

3차원 영상 제작을 위해서는 장면의 색상 영상과 함께 깊이 정보가 필요하다. 일반적으로 깊이를 측정하는 TOF 카메라에 의해 획득된 깊이 영상은 컬러 영상에 비해 매우 작은 해상도의 영상을 갖게 되는 문제가 있다. 따라서 색상 영상과 함께 3차원 영상 제작에 깊이 영상을 사용하기 위해서는 저해상도 깊이 영상의 업샘플링 방법이 필요하다. 특히 컬러 영상에서 사물 간의 경계에 해당하는 부분에서 색상 차이를 인지하지 못하여 깊이 맵을 부적절하게 처리하게 되는 경우가 발생한다. 본 논문에서는 색상 영상에서 경계부분에 해당하는 영역을 이용하여 저해상도 깊이 영상을 업샘플링 하는 방법을 제안한다. 깊이 영상을 업샘플링 할 때 중요하게 다루어야 할 경계 부분을, 고해상도 색상 영상과 저해상도 깊이 영상을 이용하여 찾아낸다. 색상 경계 부분을 고려하여 깊이 영상 업샘플링을 위한 에너지 함수를 MRF를 이용하여 모델링하고, 신뢰 확산(belief propagation)방법을 이용하여 에너지 함수 최적화를 수행한다. 제안한 방법은 기존의 다른 에너지 함수나 필터 기반 업샘플링 방법보다 우수한 성능을 나타내었다.

• 한국통신학회논문지
• /
• 제37권4A호
• /
• pp.239-249
• /
• 2012

최근 자연스러운 3차원 영상의 재현을 위하여 깊이영상을 이용한 영상합성 방법이 널리 이용되고 있다. 깊이영상은 시청자의 눈에 보이지는 않지만 합성영상의 화질을 결정하는 중요한 정보이므로 정확한 깊이영상을 획득하는 것이 중요하다. 특히 적외선 센서를 이용한 깊이 카메라(time-of-flight camera)는 보다 정확한 깊이영상을 획득하는데 이용되고 있다. 깊이 카메라는 스테레오 정합(stereo matching)에 비해 정확하고 실시간으로 깊이정보를 추출할 수 있지만, 제공되는 해상도가 너무 낮다는 단점이 있다. 본 논문에서는 단시점의 깊이영상을 두 시점의 깊이영상으로 확장하고, 이를 이용하여 여러 시점의 중간영상을 생성하는 시스템을 제안한다. 특히 복잡도를 낮춰 빠른 속도로 다시점 영상을 생성하는 시스템을 제안한다. 고해상도의 컬러 영상을 획득하기 위하여 두 대의 컬러 카메라를 설치하고 중간에 깊이 카메라를 획득한다. 그리고 깊이 카메라에서 획득한 깊이영상을 3차원 워핑을 이용하여 양쪽의 컬러 카메라의 위치로 시점 이동한다. 깊이영상과 컬러영상간의 객체 불일치 문제는 깊이값의 신뢰 도를 기반으로 한 조인트 양방향 필터(joint bilateral filter)를 이용하여 보정한다. 이러한 과정을 통해 얻은 깊이영상은 다시점 영상 합성 방법을 이용하여 다시점 영상을 획득한다. 이와 같은 과정은 다중 스레드를 이용하여 빠르게 처리할 수 있도록 구현했다. 실험을 통해 두 시점의 컬러영상과 두 시점의 깊이영상이 실시간으로 획득했고, 약 7 fps의 프레임율로 10시점의 중간시점을 동시에 생성했다.

• 한국멀티미디어학회:학술대회논문집
• /
• 한국멀티미디어학회 2012년도 춘계학술발표대회논문집
• /
• pp.426-427
• /
• 2012

본 논문은 부호화된 저해상도의 깊이 영상과 고해상도의 색상 영상을 입력으로 고해상도의 깊이 영상을 생성하는 새로운 방법을 제안한다. 제안하는 방법은 결합 양측 필터를 이용하여 저해상도 깊이 영상의 경계 정보를 향상시킨다. 그런 다음, 깊이 영상 보간 단계에서 향상된 경계 정보를 참조하여 고품질 고해상도의 깊이 영상을 생성한다. 실험을 통한 깊이 영상과 합성영상의 화질 평가에서, 제안하는 방법이 기존의 3DV-ATM 깊이 영상 보간법보다 높은 성능을 보인다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 추계학술대회
• /
• pp.37-39
• /
• 2012

최근 ToF(Time-of-Flight) 방식의 깊이 센서 카메라가 깊이 영상 획득에 많이 사용되고 있다. 그러나 ToF 깊이 카메라가 제공하는 깊이 영상은 센서의 물리적 한계로 인해 잡음이 존재한다. 따라서 고품질의 깊이 영상을 얻기 위해서는 깊이 영상의 잡음을 제거해 주는 것이 필수적이다. 일반적으로 깊이 영상의 잡음 제거에는 joint bilateral filter 를 사용한다. Joint bilateral filter 는 기준 화소와 그 주변 화소의 색상 영상의 밝기 차이값과 화소간 거리값에 각각 가우시안 함수를 적용하여 joint histogram 을 생성하고 그 평균값을 기준 화소의 깊이값으로 채운다. 하지만 이 과정에서 깊이 영상의 경계 영역에서 흐려짐 현상이 발생한다. 경계영역에 발생한 흐려짐 현상은 최종적인 3D 입체 콘텐츠의 품질을 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 joint histogram 의 최고점을 찾아 기준 화소의 깊이값을 채우는 기법을 제안한다. 최고점 탐색을 통해 기존 기법의 평균값을 통해 생기는 흐려짐 현상을 줄이고 깊이 영상의 경계를 보존하면서 잡음을 제거하였다. 실험을 통하여 제안하는 기법의 우수성을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2014년도 추계학술대회
• /
• pp.240-241
• /
• 2014

3D 입체영상 변환 기술은 콘텐츠 확보의 측면에서 그 중요성이 대두되고 있다. 하지만 입체변환 기술은 매 프레임마다 모두 수작업을 거치기 때문에 다수의 인력과 오랜 작업 시간이 필요하여 생산성 문제가 발생하고 있다. 그 중 깊이영상의 외곽선을 벡터 곡선으로 그리는 작업이 수작업을 통해 이루어지고 있으며 오랜 작업시간이 걸리게 한다. 본 논문에서는 기존의 입체영상 변환 과정의 자동화율을 높이기 위한 깊이영상 양자화 및 베지어 곡선 생성 방법을 제안한다. 연속적인 깊이값을 갖는 깊이영상을 입력으로 받아 선형 또는 비선형 기반의 양자화 방법을 이용하여 깊이영상을 양자화 한다. 이 때 경계부분에 발생하는 페더를 제거하여 양자화 깊이영상의 경계를 보정한다. 양자화 깊이영상에서 같은 깊이를 잇는 등심선을 생성하고 방향 변화가 큰 지점인 굴곡점들을 추출하여 등심선을 다수의 곡선으로 구분한다. 각 곡선의 양 끝의 굴곡점과 그 사이의 중간점을 이용하여 3차 베지어 곡선의 제어 포인트를 계산한다. 같은 수행 단계를 모든 등심선에 적용하여 사용자가 미세보정하기 쉬운 3차 베지어 곡선들을 생성한다. 실험 결과를 통해 제안하는 기법의 우수성을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2020년도 하계학술대회
• /
• pp.55-57
• /
• 2020

실감미디어의 수요가 높아짐에 따라, 실감 미디어 컨텐츠 제작에 반드시 필요한 깊이영상에 대한 중요성이 커지고 있다. 다시점 영상으로부터 계산된 깊이 영상은 물체 주위와 배경 영역에 홀을 가지고 있다. 이러한 깊이영상에서의 홀을 채울 때, 이에 대응하는 컬러영상의 색상 특성을 고려하는 방법을 제안한다. 본 논문에서는 컬러 영상의 화소들을 색상 유사성을 이용하여 클래스로 분류하고, 홀의 깊이정보를 예측할 때 같은 클래스의 유효한 깊이값 만을 사용하는 방법을 소개한다. 제안하는 방법을 사용하면 깊이영상의 홀을 효율적으로 채워 넣을 수 있다. 실감미디어 제작에 있어 제안하는 방법을 사용한다면, 사실감 있는 깊이 정보를 얻을 수 있다.