• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2012년도 하계학술대회
• /
• pp.275-278
• /
• 2012

본 논문에서 2D-3D 자동 영상 변환을 위하여 2D 상으로부터 깊이 지도(depth map)을 생성하는 방법을 제안한다. 제안하는 방법은 보다 정확한 깊이 지도 생성을 위해 영상의 전경 깊이 지도(foreground depth map)와 배경 깊이 지도(background depth map)를 각각 생성 한 후 결합함으로써 보다 정확한 깊이 지도를 생성한다. 먼저, 전경 깊이 지도를 생성하기 위해서 라플라시안 피라미드(laplacian pyramid)를 이용하여 포커스/디포커스 깊이 지도(focus/defocus depth map)를 생성한다. 그리고 블록정합(block matching)을 통해 획득한 움직임 시차(motion parallax)를 이용하여 움직임 시차 깊이 지도를 생성한다. 포커스/디포커스 깊이 지도는 평탄영역(homogeneous region)에서 깊이 정보를 추출하지 못하고, 움직임 시차 깊이 지도는 움직임 시차가 발생하지 않는 영상에서 깊이 정보를 추출하지 못한다. 이들 깊이 지도를 결합함으로써 각 깊이 지도가 가지는 문제점을 해결하였다. 선형 원근감(linear perspective)와 선 추적(line tracing) 방법을 적용하여 배경깊이 지도를 생성한다. 이렇게 생성된 전경 깊이 지도와 배경 깊이 지도를 결합하여 보다 정확한 깊이 지도를 생성한다. 실험 결과, 제안하는 방법은 기존의 방법들에 비해 더 정확한 깊이 지도를 생성하는 것을 확인할 수 있었다.

• 디지털융복합연구
• /
• 제10권9호
• /
• pp.351-356
• /
• 2012

본 논문은 단일영상의 실안개 정보와 상대적 높이 단서를 기반으로 깊이 지도를 생성하고, 이를 이용하여 2D/3D 변환을 하는 기법에 관한 연구이다. 기존의 실안개 정보만을 깊이 지도로써 이용하는 경우, 안개가 없는 영상에서 오류가 발생할 수 있다. 본 논문에서는 이러한 오류를 줄이기 위해, 상대적 높이 단서 기반의 깊이 지도를 생성하고, 실안개 정보와 결합하는 방법을 제안하였다. 또한 Mean Shift Segmentation을 이용한 gray scale 영상과 실안개 정보의 깊이 지도를 결합하여 객체의 경계를 선명화함으로써 3D 영상의 품질을 향상시킬 수 있도록 하였다. 입력영상과 최종 깊이 지도를 DIBR(Depth Image Based Rendering)을 통해 좌영상과 우영상의 시점영상을 생성하고, 적청영상의 형태로 결합함으로써 3D 영상을 생성하였고, 깊이 지도간의 PSNR을 측정하여 검증하였다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2015년도 제51차 동계학술대회논문집 23권1호
• /
• pp.205-208
• /
• 2015

3D 입체영상을 제작하기 위해서는 2D 영상제작에 비해 오랜 제작 기간과 많은 비용이 발생한다. 비용 절감을 위해 기존의 2D 영상을 3D 입체영상으로 변환하는 연구가 진행되고 있다. 2D 영상을 3D 입체영상으로 변환하는 방식은 자동변환방법과 수동변환방법으로 구분할 수 있으며, 고품질의 2D-3D 변환 영상을 획득하기 위해서는 깊이정보 지도(Depth map chart)를 활용한 수동변환 방법을 많이 사용되고 있다. 하지만 2D-3D 수동변환에 사용되는 깊이정보 지도의 정량적 분석 데이터가 부족하여 사용자가 변환한 이미지에 대한 정확한 기준 깊이값 설정이 어려운 단점이 있다. 본 논문에서는 깊이정보 지도의 깊이값 정보에 대한 정량적 분석 데이터를 바탕으로 한 2D-3D 수동변환 변화범위를 제시함으로써 적정한 영상 변화를 유도할 수 있도록 한다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2012년도 한국컴퓨터종합학술대회논문집 Vol.39 No.1(C)
• /
• pp.451-453
• /
• 2012

2D영상을 3D영상으로 변환하기 위해서는 영상 내의 깊이 정보를 알 수 있는 깊이지도(depth map)가 필요하다. 깊이지도를 획득하기 위해 다양한 시각적 특성들이 이용되는데, 본 논문에서는 영상에서 아래는 가깝고 위는 멀다는 가정을 기반으로 하는 상대적 높이(relative height) 특성을 이용하여 깊이지도를 생성하는 방법을 제안한다. 기존의 상대적 높이 특성을 이용한 방법들은 왼쪽이나 오른쪽으로 거리가 멀어지는 영상에 대해서 부정확한 깊이지도를 생성한다. 따라서 제안하는 방법에서는 문제점을 개선하기 위해 입력 영상을 소실점 위치에 따라 분류하여 깊이지도를 생성한다. 소실점이 왼쪽이나 오른쪽에 위치할 때는 영상을 회전시켜 소실점을 상단으로 보내 상대적 높이 가정에 맞도록 영상을 변환하고 소실점이 중앙에 위치할 때는 하늘 검출 방법을 통해 실내, 실외를 판별한 후 각 특성에 맞는 초기 깊이 모델을 적용한다. 실험 결과, 제안하는 방법이 상대적 높이 가정을 만족하지 않는 영상도 적합한 깊이지도를 생성할 수 있음을 확인하였다.

• 방송공학회논문지
• /
• 제13권4호
• /
• pp.427-439
• /
• 2008

본 논문에서는 일반 단일 시점의 축구 비디오를 스테레오스코픽 영상으로 변환하는 방법을 제안한다. 축구 비디오 분석 과정을 통하여 축구 비디오를 일정한 종류의 샷으로 분류하고, 분류된 샷 종류에 따른 깊이지도 생성 방법을 제안한다. 원거리 샷의 경우에는 운동장 영역 추출을 통하여 운동장 영역에 깊이기도 (Depth Map)을 생성하는 방법을 제안한다. 그리고 비 원거리 샷의 경우, 운동장 영역 블록 수와, 간단한 피부색 발견 알고리즘을 통해 생성한 스킨 블록의 수에 따라 다시 3가지로 샷을 분류하고, 각 종류의 샷에 따른 깊이지도 생성 방식 1) 오브젝트 영역 추출을 통한 깊이지도 생성, 2) 스킨 블록을 이용한 전경 영역 추출과 가우시안 함수를 이용한 깊이기도 생성, 그리고 3) 스킨블록이 없는 상황에서의 깊이기도 생성 방법을 제안한다. 제안한 방법을 통하여 생성한 깊이 지도를 이용하여, 스테레오스코픽 영상을 생성하는 방법을 소개하고, 생성한 실험영상을 결과로 제공한다. 그리고 주관적 깊이감 품질 평가를 통해서, 제안된 방법을 통해 생성된 영상이 원본 영상에 비해 깊이감이 향상됨을 증명한다.

• 한국통신학회논문지
• /
• 제34권8C호
• /
• pp.782-789
• /
• 2009

본 논문에서는 2차원 단안 동영상으로부터 3차원 입체 동영상을 생성하는 기법을 제안한다. 3차원 공간에서 평행한 직선은 2차원 평면의 투시영상에서 먼 거리일수록 간격이 좁아져서 마지막에 한 점에서 만나게 되며, 이 점을 소실점(vanishing point)이라고 정의한다. 관찰자는 관찰자의 시점으로부터 가장 먼 지점인 소실점이라는 깊이 지도 지각 단서를 활용하여 객체와 배경으로부터 관찰자까지의 깊이 정보를 인지한다. 일반적으로 2차원 단안 영상에서의 기하학적 특성을 이용해서 소실점을 추정하고, 소실점의 위치와 관찰자의 시점과의 관계를 이용하여 깊이 정보를 인지할 수 있다. 본 논문에서는 일반적인 2차원 단안 영상에서 에지 방향성 히스토그램을 이용하여 소실점의 위치를 추정하고, 소실점의 위치에 따른 깊이지도(depth map)를 생성하는 방법은 제안한다. 실험 결과를 통해서 생성된 깊이지도를 이용하여 안정된 3차원 입체 동영상을 만들 수 있다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.117-120
• /
• 2008

본 논문은 스테레오 비디오 데이터 압축 및 복원을 위한 그리드(Grid) 기반 2D 워핑 방법을 제안한다. 스테레오 비디오에 대한 데이터 표현 방법으로 깊이지도 및 매쉬(mesh)를 이용한 방법이 주로 사용되어 왔으며 매쉬를 이용한 방법은 두 영상간의 매칭되는 노드를 이용하여 데이터 압축 효율을 높일 수 있다. 그러나, 두 영상에서 매칭되는 노드의 위치를 찾는 것은 매우 어려운 일일 뿐만 아니라 매쉬에 의해서 워핑된 영상과 목적이 되는 스테레오 영상의 좌측 또는 우측 영상간의 왜곡이 불가피하다. 따라서 이러한 왜곡을 보정하기 위하여 잔여영상(Residual image) 정보를 추가로 요구하게 된다.제안된 논문은 이러한 잔여영상 정보를 최소화 하기 위하여 반복적으로 2D워핑을 수행하며 최적화된 워핑 영상을 생성함으로써 목적영상과의 오차를 최소로 유지하여 추가정보인 잔여 영상의 데이터 용량을 최소화 한다. 전체영상에 대하여 2D워핑을 수행하며 각각의 노드를 변경하는 것은 많은 비용을 감수해야 하기 때문에 오차영역에 대하여 지역단위로 분할하고 단계적으로 최적화를 이루는 분할정복 방법을 사용하였다. 본 논문의 실험에서는 스테레오 영상에 대하여 각각의 신호대 잡음비(PSNR)를 통해 제안한 방법의 품질을 평가하였을 뿐만 아니라 기존의 메쉬 기반한 방법과 깊이지도를 이용한 방법과의 데이터량을 비교하였다. 실험결과를 통하여 제안한 방법의 데이터 압축의 효율성 및 품질의 우수성을 확인하였다.

• 한국정보통신학회논문지
• /
• 제20권3호
• /
• pp.513-518
• /
• 2016

본 논문은 라인 레이저 기반 3차원 스캐너에서 투영을 이용한 고속 메쉬 생성 방법을 제안한다. 3차원 공간에서의 메쉬를 생성하기 위한 가장 알려진 방법은 3차원의 점을 4차원으로 변환하고 4차원 컨벡스 헐(convex hull)을 구축하는 방법을 활용한다. 이런 방법은 많은 수의 점 데이터를 가지는 3D 스캔 결과에서는 메쉬를 만들 때 시간이 많이 요구된다. 제안하는 방법에서는 라인 레이저 스캐너에서 중간에 얻어지는 (${\theta}$, y, z)축의 점 정보를 투영하여 얻어진 (${\theta}-y$) 2차원 깊이 지도를 메쉬 생성에 활용한다. 제안된 방법은 2D 영역에서 수행되기 때문에 메쉬를 구성하는 시간이 상당히 단축된다. 제안하는 방법을 평가하기 위해서 라인 레이저 기반 스캐너의 중간 데이터를 이용하여 실험을 진행하였다. 실험 결과는 제안된 방법이 기존방법보다 고속 메시 생성에서 우수함을 보여준다.

• 한국산학기술학회논문지
• /
• 제9권5호
• /
• pp.1225-1233
• /
• 2008

본 논문은 2D/3D 변환 알고리즘을 제안하였다. 제안된 알고리즘은 2차원 영상의 단일 프레임을 이용한 것으로 실시간 처리가 가능한 알고리즘이다. 제안된 알고리즘은 하나의 프레임에서 객체의 수직 위치 정보를 이용하여 깊이 지도를 생성한다. 실시간 처리와 하드웨어 복잡도를 개선하기 위해 영상 샘플링, 표준 휘도화를 이용한 객체 분할, 그리고 경계 스캔을 이용한 깊이지도 생성 등을 수행하였다. 동영상, 정지영상 모두 적용이 가능하며, 수직 위치 정보를 이용하므로 원거리 영상 혹은 풍경, 파노라마 사진과 같은 영상도 효과적인 입체 효과를 보여줄 수 있다. 제안된 알고리즘은 객체의 움직임 방향 혹은 속도 또는 장면 전환 등에 제약 없이 입체 효과가 가능하다. 제안 알고리즘 검증은 시각적인 방법과 APD(Absolute Parallax Difference)를 이용하여 MTD (Modified Time Difference)방식과의 비교를 수행하였다.

• 한국산학기술학회:학술대회논문집
• /
• 한국산학기술학회 2011년도 추계학술논문집 2부
• /
• pp.441-444
• /
• 2011

본 논문은 2D/3D 영상 처리에서 깊이지도 생성을 위한 Optical flow에서 레벨을 간소화하여 연산량을 감소시키고 객체의 고유벡터를 이용하여 영상의 잡음을 제거하는 연구이다. Optical flow는 움직임추정 알고리즘의 하나로 두 프레임간의 픽셀의 변화 벡터 값을 나타내며 블록 매칭과 같은 알고리즘에 비해 정확도가 높다. 그러나 기존의 Optical flow는 긴 연산 시간과 카메라의 이동이나 조명의 변화에 민감한 문제가 있다. 이를 해결하기 위해 연산 시간의 단축을 위한 레벨 간소화 과정을 거치고 영상에서 고유벡터를 갖는 영역에 한해 Optical flow를 적용하여 잡음을 제거하는 방법을 제안하였다. 제안한 방법으로 2차원 영상을 3차원 입체 영상으로 변환하였고 SSIM(Structural SIMilarity Index)으로 최종 생성된 영상의 오차율을 분석하였다.