• 반도체디스플레이기술학회지
• /
• 제15권3호
• /
• pp.67-71
• /
• 2016

This paper addresses a problem of defocus map recovery from single image. We describe a simple effective approach to estimate the spatial value of defocus blur at the edge location of the image. At first, we perform a re-blurring process using Gaussian function with input image, and calculate a gradient magnitude ratio with blurring amount between input image and re-blurred image. Then we get a full defocus map by propagating the blur amount at the edge location. Experimental result reveals that our method outperforms a reliable estimation of depth map, and shows that our algorithm is robust to noise, inaccurate edge location and interferences of neighboring edges within input image.

• 전기전자학회논문지
• /
• 제28권1호
• /
• pp.65-71
• /
• 2024

본 논문은 스테레오 매칭에서 깊이 맵의 정확도를 높이기 위해 폐색 영역의 매칭 오류를 줄이면서 파라메터의 수를 줄일 수 있는 신경망을 제안한다. 이미지를 이용한 상황인식을 보다 정확하게 하기 위해 많은 분야에서 스테레오 매칭기반 객체인식이 활용된다. 복잡한 이미지에 많은 객체가 있을 때 객체간의 겹침과 배경에 의한 가림으로 폐색영역이 발생하여 깊이 맵의 정확도를 낮추게 된다. 이를 해결하기 위해 context 정보를 만들어 cost volume에 결합하거나 폐색영역에 RoI를 만들어 선택하는 기존 연구 방법은 신경망의 복잡도를 높여서 학습의 어려움과 구현에 비용이 많이 들게 된다. 본 논문에서는 cost volume 생성전에 지역적인 특징추출을 보다 강화하는 depthwise seperable 신경망을 만들어 파라메터의 수를 줄이고 폐색 오류에 강인한 신경망을 제안한다. 제안한 신경망은 PSMNet에 비하여 파라메터 수를 30% 줄이면서 페색오류에서 5.3%, 테스트 손실에서 3.6% 개선하였다.

• 한국정보과학회논문지:시스템및이론
• /
• 제30권3_4호
• /
• pp.138-148
• /
• 2003

최근에는 가상 공간을 현실감 있는 영상으로 실시간 렌더링하기 위한 방법으로 모델기반 표현방법 대신 영상 기반 표현 방법을 사용하여 탐색 영상을 생성하는 연구가 활발히 진행중이다. 본 논문에서는 영상 기반 탐색 시스템을 구현하기 위해 새로운 방법인 직각 교차 실린더 매핑과 분할기반 환경 모델 링 방법을 제안한다. 직각 교차 실린더란 두 개의 실린더를 직교하여 교차된 부분만을 표현한 물체를 말한다. 직각 교차 실린더 매핑 방법은 일반적인 환경 맵에서 발생하는 왜곡 현상을 제거하고 환경 맵에서 하나의 픽셀이 차지하는 환경 영역이 거의 일정하다는 특징을 가진다. 이러한 직각 교차 실린더 매핑 방법은 고정된 시점에서 완전 시야를 갖는 영상을 얻어 낼 수 있으나 시점이 변경된 영상을 표현하기 어렵다. 이를 위해 환경을 구성하는 물체들을 기준으로 환경 맵을 분할하고 분할된 물체의 특성에 따라 깊이 값을 설정하는 영상 분할을 통한 환경 모델 링 방법을 사용한다. 이 방법은 환경 맵에 적용하기 용이하며 다중 환경 맵을 사용 시 자세한 환경 모델 링이 가능하다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송∙미디어공학회 2022년도 추계학술대회
• /
• pp.154-156
• /
• 2022

본 논문은 카메라 어레이기반 실사 다시점 입체영상을 획득·생성하기 위한 워크플로우를 제시하고 이를 검증하기 위한 실험 결과를 소개한다. 구체적으로, 액션 캠 기반 수렴형 리그 구조, 획득 동기화, 카메라 캘리브레이션, 깊이 맵 추출을 포함하는 일련의 과정 및 이에 대한 검증으로 실내외 2종의 콘텐츠의 획득 실험 결과를 기술한다.

• 방송공학회논문지
• /
• 제13권6호
• /
• pp.859-874
• /
• 2008

본 논문은 3차원 디스플레이 시스템에서 카메라의 기하 정보 및 참조 영상들의 깊이 맵 정보가 주어졌을 때, 다수의 중간 시점 영상을 실시간으로 생성하는 고속 영상 합성 기법을 제안한다. 기본적으로 본 논문에서는 영상 합성 기법의 모든 과정을 GPU에 서 병렬 처리함으로써 고속화 할 수 있었다. 병렬처리를 이용한 고속화 효율을 높이기 위해 최근 NVIDIA사에서 발표한 $CUDA^{TM}$를 이용하였다. 영상 합성을 위한 모든 중간 과정을 CUDA로 처리하기 위해 병렬구조로 변환하고, GPU 상의 고속메모리의 사용을 극대화하고, 알고리즘 구현을 최적화함으로써 고속화 효율을 높일 수 있었다. 결과적으로 본 논문에서는 양안 영상과 깊이 지도를 이용하여 가로 720, 세로 480 크기의 9개의 시점 영상을 0.128초 이내에 생성할 수 있었다.

• 한국멀티미디어학회논문지
• /
• 제16권1호
• /
• pp.11-18
• /
• 2013

본 논문에서는 정확한 깊이를 추출하기 위해 고차 통계기반 초점 척도를 이용한 SFF(shape from focus) 알고리즘을 제시한다. 기존의 SFF기반 3차원 깊이 복원 기법들은 초점 척도로 SML(sum of modified Laplacian)을 사용하기 때문에, 성능이 영상의 특성에 크게 의존하여 초점이 정밀하거나 질감이 풍부한 영상에서만 효율적이다. 그러므로, 본 논문에서는 비교적 질감과 초점이 빈약한 영상에서도 초점 값을 추출할 수 있도록 고차 통계(HOS:higher order statistics)를 이용한 알고리즘을 제안한다. 이 초점 척도에 의해 초점 영역 맵이 생성되고 국부적으로 최적의 초점 값을 갖는 화소를 추출하기 위해 영역개선, 세선화, 모서리 검출과정이 순서적으로 적용된다. 최종적으로 추출된 점에 대해서 Delaunay 삼각화를 사용하여 3차원 모델정보를 생성한다.

• 한국정보통신학회논문지
• /
• 제25권6호
• /
• pp.819-824
• /
• 2021

자율 주행이나 CCTV와 같이 영상 처리 관련 기술들이 발전함에 따라 영상 왜곡에 대한 문제점을 개선하기 위해 단일 영상을 이용한 안개 제거 알고리즘이 연구되고 있다. 안개 밀도 예측 방법으로는 깊이 맵을 생성하여 영상의 깊이를 추정하는 방법이 있고, 깊이 맵의 학습 데이터로 다양한 안개 특징을 사용할 수 있다. 또한 안개 제거 알고리즘을 실제 기술들에 적용하기 위해 고화질 영상을 실시간으로 처리할 수 있는 하드웨어 구현은 필수적이다. 본 논문에서는 변동계수 기반의 안개 특징인 NLCV(Normalize Local Coefficient of Variation)를 하드웨어로 구현한다. 제안하는 하드웨어는 Xilinx 사의 xczu7ev-2ffvc1156을 Target device로 FPGA 구현하였다. Vivado 프로그램을 통해 합성한 결과 479.616MHz의 최대 동작 주파수를 가지며 4K UHD(3840×2160) 환경에서 실시간 처리 가능함을 보인다.

• 방송공학회논문지
• /
• 제17권3호
• /
• pp.437-446
• /
• 2012

흑백 혹은 컬러 영상과 같은 2차원 정보를 사용한 얼굴 검출 알고리즘에 관한 연구가 수십 년 동안 이루어져 왔다. 최근에는 저가 range 센서가 개발되어, 이를 통해 3차원 정보 (깊이 정보: 카메라와 물체사이의 거리를 나타냄)를 손쉽게 이용함으로써 얼굴의 특징을 높은 신뢰도로 추출하는 것이 가능해졌다. 대부분 사람 얼굴에는 3차원적인 얼굴의 구조적인 특징이 있다. 본 논문에서는 흑백 영상과 깊이 영상을 사용하여 얼굴을 검출하는 알고리즘을 제안한다. 처음에는 흑백 영상에 adaboost를 적용하여 얼굴 후보 영역을 검출한다. 얼굴 후보 영역의 위치에 대응되는 깊이 영상에서의 얼굴 후보 영역을 추출한다. 추출된 영역의 크기를 $5{\times}5$ 영역으로 분할하여 깊이 값의 평균값을 구한다. 깊이 값들의 평균값들 간에 순위를 매김으로써 블록 순위 패턴이 생성된다. 얼굴 후보 영역의 블록 순위 패턴과 학습 데이터를 사용하여 미리 학습된 템플릿 패턴을 매칭함으로써 최종 얼굴 영역인지 아닌지를 판단할 수 있다. 제안하는 방법의 성능을 Kinect sensor로 취득한 실제 영상으로 실험하였다. 실험 결과 true positive를 잘 보존하면서 많은 false positive들을 효과적으로 제거하는 것을 보여준다.

• 방송공학회논문지
• /
• 제25권6호
• /
• pp.911-921
• /
• 2020

최근 MPEG-I (Immersive) 그룹에서는 몰입형 비디오(Immersive Video)에 대한 표준화 프로젝트를 통해 압축 성능 탐색을 진행하고 있다. MIV(MPEG Immersive Video) 표준 기술은 다수의 시점 영상과 깊이 맵을 통한 깊이 맵 기반 이미지 렌더링(DIBR)을 바탕으로 제한적인 6DoF을 제공하고자 하는 기술이다. 현재 MIV에서는 바탕 시점(Basic View)과 각 시점의 고유한 영상 정보를 패치 단위로 모아둔 추가 시점(Additional View)으로 처리하는 모델을 채택하고 있다. MIV에서 생성된 아틀라스는 포함되는 시점의 성격에 따라 다른 영상의 특성을 나타내어 비디오 코덱의 압축 효율에 대한 고찰이 필요하다. 따라서 본 논문에서는 다양한 시점과 패치들이 반복되는 패턴에 착안하여 화면 내 블록 카피(IBC: intra block copy) 등의 압축 기법이 포함된 스크린 콘텐츠 코딩 툴에 대한 성능 비교 분석을 진행하여 복원 영상에서 최대 -15.74% Peak Signal-to-Noise Ratio (PSNR) 관점에서의 부호화 성능 향상을 제공하였다.

• 한국정보통신학회논문지
• /
• 제22권9호
• /
• pp.1214-1219
• /
• 2018

2017년 현재 수많은 VR콘텐츠가 소개됨으로써 대중들의 VR에 대한 관심과 다양한 기술이 발전을 하고 있다. VR 콘텐츠는 $360^{\circ}$실사 촬영 제작환경의 어려움으로 인해 게임과 인터렉티브라는 장르에 편중되어 있는 것 또한 사실이다. 실사촬영에서의 조명은 영상 미학적 차원에서 중요한 요소 중에 하나이며 특정 캐릭터의 내적 표현 부분에서도 조명의 역할이 매우 중요하다. 실사 기반의 $360^{\circ}$VR콘텐츠는 조명설정에 따라 노출에 대한 부분과 제작환경의 어려움으로 인해 많은 문제점을 가지고 있다. 따라서 본 논문은 실사 촬영된 영상데이터를 기반으로 리라이팅 기술을 이용하여 실사 이미지의 양안시차에 3차원 정보 값을 생성한다. 생성된 3차원 정보 값은 뎁스 맵으로 변환하는 기술과 3D 공간에서 형성된 면에 가상의 조명을 설치하여 리라이팅 기술을 접목한다. 실제 조명과 가상의 조명의 영상데이터의 결과 이미지를 비교분석하여 리라이팅의 기술을 VR제작 파이프라인에 적용하여 조명 노출에 대한 문제점을 해결하고자 한다.