• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 하계학술대회
• /
• pp.373-375
• /
• 2011

최근 들어, Time-of-Flight (TOF) 방식의 깊이 센서가 컴퓨터 비전이나 영상처리분야 등의 연구에서 다양하게 활용되고 있다. TOF 방식의 깊이 센서는 실시간으로 정확한 깊이 정보를 획득할 수 있는 장점이 있는 반면, 해상도가 낮고 센서의 광학적 특성으로 인해 노이즈가 발생한다는 단점이 있다. 본 논문에서는 이러한 깊이 센서의 단점을 극복하고 고품질의 다시점 영상 합성을 위해 기존 깊이 센서에 여러 대의 Charge-coupled Device (CCD) 카메라를 결합하여 시점 간 일관성 있는 고해상도의 깊이 영상을 획득하는 기술을 제안한다. 한정되어 있는 시점의 영상을 이용하여 다시점 영상을 합성할 때, 각 시점에 해당하는 깊이 영상의 정확도에 따라 합성되는 영상의 품질이 결정된다. 따라서 보유 시점에 해당하는 깊이 영상 간의 일관성이 유지되고 객체의 경계가 정확히 보존되어야만 생성되는 임의 시점 영상의 품질이 보장될 수 있다. 이에, 본 논문에서는 Joint Bilateral Upsampling (JBU)을 기반으로 시점 간 일관성을 고려한 깊이 영상의 해상도 개선 기술을 제안하고 이를 통해 다시점 영상 합성 결과의 품질을 향상시킨다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.398-400
• /
• 2012

최근 3D에 대한 관심이 집중되면서 고품질의 3D영상을 얻기 위해 고품질의 깊이 영상이 필요하고 이를 구현하기 위한 연구가 활발히 진행되고 있다. 깊이 영상을 얻기 위해서 Time-of-Flight(ToF)방식의 깊이 센서가 활용되고 있는데 이 깊이 센서는 실시간으로 깊이 정보를 획득할 수 있지만 낮은 해상도와 노이즈가 발생한다는 단점이 있다. 따라서 깊이 센서로 생성된 저해상도 깊이맵을 고해상도로 변환해야 한다. 주로 깊이 영상의 해상도를 높이기 위해서 Joint Bilateral Upsampling(JBU) 방식이 사용되고 있다. 따라서 본 논문은 JBU 방식을 보강하여 블록단위로 분산에 따른 참조 영상의 가중치를 다르게 두어 깊이 영상의 품질을 향상시키는 방법을 제안한다.

• 디지털콘텐츠학회 논문지
• /
• 제13권3호
• /
• pp.271-278
• /
• 2012

적외선 기반 깊이 센서는 최근 저렴해진 가격으로 인해 소비자용으로 널리 보급되고 있으며 원래 목적을 넘어서 방송용 가상 스튜디오 제스처 인식을 포함한 다양한 분야로까지 적용 범위를 확대하고 있다. 그러나 이러한 방송 스튜디오 환경에서는 깊이 센서와 간섭을 일으키는 적외선이 다량 방출되어 올바른 깊이 정보의 포착이 불가능한 문제가 발생한다. 본 논문에서는 특정 적외선 파장대를 사용하는 깊이 센서가 적외선 방출 광원 하에서 간섭이 발생하는 원리에 대해 분석하고 깊이 센서의 올바른 작동을 보장하기 위한 필터링 기법을 논의한다. 또한 여러 차단 주파수대를 가지는 통과 필터를 적용하는 실험방법과 그 결과를 제시하며 올바른 대역 통과 필터를 적용함으로써 조명에서 방출되는 적외선을 차단하고 효과적으로 깊이 정보를 포착할 수 있다는 사실을 실험적으로 증명한다.

• 한국정보통신학회논문지
• /
• 제19권8호
• /
• pp.1805-1810
• /
• 2015

깊이 영상에 대한 접근성이 용이해지면서 다양한 연구 분야에서 깊이 센서를 활용하고 있다. 컴퓨터 비전의 모션인식 분야에서도 깊이 영상을 이용한 연구들이 진행되고 있다. 모션을 정확히 인식하기 위해서는 안정적인 데이터를 활용할 수 있어야 하지만 깊이 센서는 노이즈를 포함한다. 이러한 노이즈는 모션 인식 시스템의 성능에 영향을 줄 수 있기 때문에 효과적으로 노이즈를 억제하는 방법이 필요하다. 본 논문에서는 하드웨어를 사용하여 깊이 센서에서 입력되는 깊이 영상에 시간 영역과 공간 영역에서 안정화를 수행함으로써 깊이 영상을 안정화하는 하드웨어를 제안한다. 바닥 제거 알고리즘에 깊이 영상 안정화를 적용하여 노이즈를 억제한 깊이 영상 안정화가 시스템의 신뢰도 향상에 기여할 수 있음을 확인하고 구현한 하드웨어를 FPGA와 APU를 이용해 실시간 동작을 확인하였으며 설계한 하드웨어는 최대 202.184MHz에서 동작할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 추계학술대회
• /
• pp.37-39
• /
• 2012

최근 ToF(Time-of-Flight) 방식의 깊이 센서 카메라가 깊이 영상 획득에 많이 사용되고 있다. 그러나 ToF 깊이 카메라가 제공하는 깊이 영상은 센서의 물리적 한계로 인해 잡음이 존재한다. 따라서 고품질의 깊이 영상을 얻기 위해서는 깊이 영상의 잡음을 제거해 주는 것이 필수적이다. 일반적으로 깊이 영상의 잡음 제거에는 joint bilateral filter 를 사용한다. Joint bilateral filter 는 기준 화소와 그 주변 화소의 색상 영상의 밝기 차이값과 화소간 거리값에 각각 가우시안 함수를 적용하여 joint histogram 을 생성하고 그 평균값을 기준 화소의 깊이값으로 채운다. 하지만 이 과정에서 깊이 영상의 경계 영역에서 흐려짐 현상이 발생한다. 경계영역에 발생한 흐려짐 현상은 최종적인 3D 입체 콘텐츠의 품질을 저하시킨다. 본 논문에서는 이와 같은 문제점을 해결하기 위해 joint histogram 의 최고점을 찾아 기준 화소의 깊이값을 채우는 기법을 제안한다. 최고점 탐색을 통해 기존 기법의 평균값을 통해 생기는 흐려짐 현상을 줄이고 깊이 영상의 경계를 보존하면서 잡음을 제거하였다. 실험을 통하여 제안하는 기법의 우수성을 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2013년도 하계학술대회
• /
• pp.289-292
• /
• 2013

최근 많은 영상처리 연구자들 사이에서 마이크로소프트사의 실시간 깊이센서 '키넥트'가 상당한 관심을 받고 있다. '키넥트'는 실시간으로 깊이정보를 제공함과 동시에 별도의 센서를 부착하지 않고도 컴퓨터와의 인터렉션할 수 있는 가능성을 제공한다. 하지만 '키넥트'의 깊이영상은 홀 영역, 부정확한 경계, 낮은 해상도등의 많은 문제점을 지니고 있다. 이러한 부정확한 깊이 정보는 3차원 렌더링, 가상시점 영상 합성, 모션 인식 등에서 성능 저하를 야기한다. 따라서 본 논문에서는 깊이 정보 품질 향상기법에 관하여 깊이영상 신뢰도를 이용한 도메인 변환기반 해상도 상향 알고리듬을 제안한다. 정확하고 빠르게 홀 영역정보를 추정하기 위해 도메인 변환 기반의 경계 보존 필터링이 사용된다. 또한 다양한 깊이 영상의 노이즈를 효율적으로 제거하기 깊이 영상의 신뢰도를 이용한다. 실험결과를 통하여 제안하는 방법이 효율적으로 홀 영역을 채우고, 부정확한 경계를 제거하여 깊이 영상의 품질을 향상시키는 것을 확인할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.26-28
• /
• 2012

본 논문에서는 깊이 영상의 해상도를 향상시키는 기법을 제안한다. 최근 TOF(time-of-flight) 방식의 깊이 센서가 깊이 영상 획득에 많이 사용되고 있다. 그러나 TOF 깊이 센서가 제공하는 깊이 영상은 대부분 저해상도이기 때문에 고해상도의 콘텐츠 제작을 위해서는 깊이 영상의 해상도를 향상시켜주는 것이 필수적이다. 본 논문에서는 깊이 영상의 해상도를 높이기 위하여 적응적 가중치 보간법을 적용한 후, Bilateral 필터링을 수행하여 품질을 높인다. 일반적으로 영상의 해상도를 높일 때 보간법을 많이 사용하는데, 본 논문에서는 이러한 보간법들을 사용하여 깊이 영상의 해상도를 높였을 때보다 제안하는 기법의 성능이 우수함을 실험을 통해 확인하였다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 하계학술대회
• /
• pp.1318-1321
• /
• 2022

본 논문에서는 단일 깊이 센서를 사용하는 자율주행 시나리오에서 거리 계산에 주로 이용되는 깊이 데이터만 이용하는 객체 감지 기술을 제안한다. 우선, 해당 시나리오에서 객체 감지 학습 데이터는 깊이 데이터가 사용되지만 상대적으로 객체 감지 성능을 비교하기 위해 동일한 시간의 색상, 깊이 데이터를 함께 획득하여 학습에 이용한다. 학습모델은 객체 감지 분야에서 최근 주목 받고 있는 YOLOv5로 선정하여 색상, 깊이 데이터의 객체 감지 학습의 결과를 각각 확인하였다. 결과적으로 색상과 깊이 데이터 사이에서 객체 감지 학습 결과의 차이를 확인하며 본 논문에서 제안하는 자율주행 시나리오에 깊이 영상만 이용하는 객체 감지 기술의 문제점과 향후 자율주행 기술 발전에 기여 가능성을 확인할 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2011년도 추계학술대회
• /
• pp.8-10
• /
• 2011

3D 콘텐츠를 획득하는 여러 가지 방법 중 2D-plus-Depth 구조는 다시점 영상을 얻을 수 있는 장점 때문에 최근 이에 관한 연구가 활발히 진행되고 있다. 이 구조를 통해서 고품질의 3D영상을 얻기 위해서는 무엇보다 고품질의 깊이 영상을 구현하는 것이 중요하다. 깊이 영상을 얻기 위해서 Time-of-Flight(ToF)방식의 깊이 센서가 활용되고 있는데 이 깊이 센서는 실시간으로 깊이 정보를 획득할 수 있지만 낮은 해상도와 노이즈가 발생한다는 단점이 있다. 따라서 깊이 영상의 특성을 보존하는 상환 변환을 하여야지만 고품질의 3D 콘텐츠를 제작할 수 있다. 주로 깊이 영상의 해상도를 높이기 위해서 Joint Bilateral Upsampling(JBU) 방식이 사용되고 있다. 하지만 이 방식은 4배 이상의 고 해상도 깊이 영상을 획득하는 데에는 적합하지 않다. 따라서 고해상도의 깊이 영상을 얻기 위해서 보간법을 수행하여 가이드 영상을 만든 후 Bilateral Filtering(BF)을 처리함으로써 영상의 품질을 향상시킨다. 본 논문에서는 2D-plus-Depth 구조에서 얻은 컬러 영상과 깊이 영상을 결합한 보간법을 통해서 깊이 영상의 특성을 살린 가이드 영상을 구현하는 방법을 제안한다. 실험 결과는 제안 방법이 기존 보간법보다 경계 영역 및 평활한 영역에서 깊이 영상의 특성을 잘 보존하는 것을 보여준다.

• 한국정보통신학회논문지
• /
• 제18권5호
• /
• pp.1103-1109
• /
• 2014

디지털 영상 처리 분야에서 사람의 동작 인식은 다양하게 연구되고 있으며, 최근에는 깊이 영상을 이용한 방법이 매우 유용하게 사용되고 있다. 하지만 깊이 측정 센서의 위치와 각도에 따라 깊이 영상에서의 객체 크기나 형태가 왜곡되므로 사물 및 사람의 인식 과정에서 인식률이 감소하는 경우가 발생한다. 따라서 뛰어난 성능을 보장하기 위해서는 측정 센서에 의한 왜곡 보정은 반드시 고려되어야 할 사항이다. 본 논문에서는 동작 인식 시스템의 인식률을 향상시키기 위한 전처리 알고리즘을 제안한다. 깊이 측정 센서로부터 입력되는 깊이 정보를 실제 공간 (Real World)으로 변환하여 왜곡 보정을 수행한 후 투영 공간 (Projective World)으로 변환한다. 최종적으로 제안된 시스템을 OpenCV와 Window 프로그램을 사용하여 구현하였으며 Kinect를 사용하여 실시간으로 성능을 테스트하였다. 또한, Verilog-HDL을 사용하여 하드웨어 시스템을 설계하고, Xilinx Zynq-7000 FPGA Board에 탑재하여 검증하였다.