• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2006년도 학술대회 1부
• /
• pp.1087-1092
• /
• 2006

몰입도가 높은 가시화 기법 중 하나인 입체 영상은 차세대 미디어의 표준으로 최근 크게 주목 받고 있다. 그러나 일반 2차원 영상과는 달리 입체 영상은 3차원의 기하정보가 존재해야만 영상을 생성하는 것이 가능하다. 따라서 3차원의 기하정보가 존재하지 않는 2차원 영상을 이용한 입체 영상의 저작은 매우 어려운 문제이다. 본 논문은 영상 기반 모델링 기법을 활용하여 단안 영상으로부터 입체 영상을 생성하기 위한 입체 영상 저작 도구를 제안한다. 이를 위해 입력된 영상에서 사영 기하 정보를 사용하여 깊이 정보를 추론함으로써 3차원 환경을 구성하는 전역 깊이 정보 추출 방법과 영상 내에 존재하는 사물의 정확한 깊이 정보로 수정하기 위한 부분 깊이 정보 수정 방법을 제안한다. 또한, 추출한 깊이 정보로부터 몰입감이 높은 입체 영상의 시점을 결정하기 위한 대화식 입체 영상 미리 보기 기능을 제안한다. 본 논문에서 제안한 기법은 2차원 영상 저작 도구인 포토샵의 플러그인으로 구현함으로써 범용성을 높였다.

• 정보과학회 논문지
• /
• 제44권2호
• /
• pp.186-194
• /
• 2017

깊이 영상 기반 렌더링은 깊이 정보를 활용하여 가상 시점의 영상을 생성하는 기술로 다양한 3차원 영상시스템에서 필요로 하는 기술이다. 깊이 영상 기반 렌더링에서 가장 어려운 과제는 가상 시점 영상에서 새롭게 드러나는 부분을 채우는 과정이다. 영상 인페인팅은 이 과정에서 보편적으로 활용되는 방법이다. 본 논문에서는 홀을 채우는 과정에서 발생하는 오류를 줄이고 자연스럽게 채우는 방법을 제안한다. 먼저 색상 영상의 정보와 깊이 정보를 활용하여 지역적으로 적응적 패치 크기를 선택하도록 하였다. 또한 패치 간 유사도에 따라 홀을 채우는 방법을 한 번에 채우는 경우와 부분적으로 채우는 경우로 구분하였다. 이를 통해 오류의 발생을 줄이고 깊이 영상 기반 렌더링에서 가장 큰 문제가 되는 오류의 전파를 억제하였다. 실험을 통해 제안한 방법이 기존의 방법보다 시각적으로 자연스러운 가상 시점 영상을 생성하는 것을 확인하였다.

• 방송공학회논문지
• /
• 제11권4호
• /
• pp.507-520
• /
• 2006

본 논문은 다중 카메라에서 얻은 영상과 그 영상으로부터 얻은 깊이영상(depth map)을 사용하여 중간시점에서의 영상을 생성하기 위하여 OpenGL 함수를 적용하는 방법을 소개한다. 기본적으로 영상기반 렌더링 방법은 카메라로 직접 얻은 영상을 그래픽 엔진에 적용하여 결과 영상을 생성하는 것을 의미하지만 주어진 영상 및 깊이정보를 어떻게 그래픽 엔진에 적용시키고 영상을 렌더링 하는지에 관한 방법은 잘 알려져 있지 않다. 본 논문에서는 카메라 정보로 물체가 생성될 공간을 구축하고, 구축된 공간 안에 색상영상과 깊이영상 데이터로 3차원 물체를 형성하여 이를 기반으로 실시간으로 중간영상 결과를 생성하는 방법을 제안하고자 한다. 또한, 중간영상에서의 깊이영상도 추출하는 방법을 소개하도록 하겠다.

• 한국정보통신학회논문지
• /
• 제16권1호
• /
• pp.1-12
• /
• 2012

본 논문에서는 고부가가치의 디지털 홀로그램 콘텐츠를 저작하여 새로운 디지털 홀로그램 콘텐츠를 확보하는 방법을 제안한다. 깊이정보는 스테레오 정합방식으로 획득한 시차정보로부터 얻은 깊이정보와 TOF (time-of-flight) 방식의 깊이카메라로 촬영한 깊이정보를 모두 사용한다. 각 종류의 깊이정보와 변환방법을 사용하여 깊이정보를 변환하거나 합성하고 이를 CGH 방법으로 연산하여 디지털 홀로그램을 획득한다. 또한 CGH 연산으로 획득한 디지털 홀로그램의 선형성을 기반으로 기 생성된 디지털 홀로그램 콘텐츠를 합성하여 새로운 디지털 홀로그램 콘텐츠를 획득하는 방법도 제시한다. 제안한 방법을 다양한 깊이정보와 디지털 콘텐츠를 대상으로 실험하여 이 방법이 디지털 홀로그램 콘텐츠의 저작방법으로 효과적임을 보인다.

• 방송공학회논문지
• /
• 제9권3호
• /
• pp.207-213
• /
• 2004

최근 영상기반 렌더링 기법 중에서 계층적 깊이영상(layered depth image)에 관한 연구가 주목을 받고 있다. 계층적 깊이영상은 여러 시점에서 생성된 깊이영상을 합하여 하나의 데이터 구조로 만든 것으로, 임의 시점의 영상을 간단한 변형 (warping) 함수를 사용하여 쉽게 생성할 수 있다. 반면, 한 장의 영상이 다시점 깊이 데이터를 포함하므로 용량이 매우 큰 단점이 있다. 본 논문에서는 계층적 깊이영상의 압축 부호화를 위한 새로운 전처리 방법을 제안한다. 계층적 깊이영상은 계층의 수가 늘어나 계층의 후미로 갈수록 화소의 밀도가 낮아지는 현상이 두드러진다. 기존의 방법은 이러한 특성을 이용하기 위해 변환을 수행하기 전에 데이터 모으기 기법을 사용하였지만, 깊이정보 사이의 상관관계를 전혀 고려하지 않았다. 본 논문에서는 이전의 두 값을 연결하는 직선과 현재 값사이의 최단거리를 계산한 후, 이 값으로 현재의 깊이 값을 대체하여 변환 효율을 향상시킨다.

• 한국방송∙미디어공학회:학술대회논문집
• /
• 한국방송공학회 2008년도 추계학술대회
• /
• pp.173-176
• /
• 2008

본 논문에서는 한 장의 기준 영상과 그에 상응하는 참 깊이 맵을 이용하여 가상의 다중 시점 영상 생성 시 발생하는 가려짐 영역 보간 방법을 제안한다. 이 방법은 영상 인페인팅 기술과 각각의 깊이 정도에 따른 층별 보간 기술을 이용한다. 우선, 기준영상을 깊이 정보에 따라 여러 개의 층으로 분할한다. 각각의 층에 대해 가려짐 영역 내의 화소들은 영상 인페인팅 기술을 이용하여 보간한다. 마지막 단계 에서 개별적으로 보간 된 층 영상들은 하나로 합성되어 가상 시점의 영상을 이룬다. 영상을 깊이 정보에 따라 분할함으로써, 각 깊이 정도에 대한 텍스쳐의 연관성을 보존하며 보간 할 수 있으므로 기존의 방법에 비하여 보다 정확하고 세밀한 가려짐 영역 보간이 가능하다. 본 논문에서는 여러 가지 실험 결과를 통하여 제안한 방법의 효율성을 입증하였다.

• 한국정보과학회:학술대회논문집
• /
• 한국정보과학회 2006년도 가을 학술발표논문집 Vol.33 No.2 (B)
• /
• pp.539-543
• /
• 2006

사람은 실내나 인공구조물을 가진 실외 환경에서 깊이를 지각하는데 소실점이라는 강력한 깊이 지각 단서를 활용한다. 소실점은 관찰자로부터 가장 먼 거리의 지점에 대응된다. 인간은 단안영상이 가지는 기하학적 성분을 이용해서 소실점을 추정하고, 소실점의 위치와 관찰자의 시점을 기준으로 상대적 깊이지각을 할 수 있다. 본 논문에서는 하나의 소실점을 가진 2차원 단안영상에서 유효한 소실점을 추정하고, 입력영상에 대한 소실점의 위치 관계를 이용한 상대적 깊이지도의 생성 방법을 제안한다.

• 한국산학기술학회논문지
• /
• 제13권2호
• /
• pp.827-833
• /
• 2012

본 논문은 2D/3D 변환에서 깊이정보 생성을 위해 연산량을 감소시키는 레벨 간소화 기법을 적용하고 객체의 고유벡터를 이용하여 노이즈를 제거한 Optical flow를 이용하는 방법을 제안한다. Optical flow는 깊이정보를 생성하기 위한 방법 중 하나로 두 프레임간의 픽셀의 변화 벡터 값을 나타내어 움직임 정보를 나타내며 픽셀 단위로 처리하므로 정확도가 높다. 그러나 픽셀 단위 연산으로 긴 연산 시간이 소요되며 모든 픽셀을 연산하는 특성상 노이즈가 생길 수 있는 문제점이 있다. 본 논문에서는 이를 해결하기 위해 레벨 간소화 과정을 거쳐 연산 시간을 단축하였고 Optical flow를 영상에서 고유벡터를 갖는 영역에만 적용하여 노이즈를 제거한 뒤 배경 영역에 대한 깊이 정보를 에지 영상을 이용하여 생성하는 방법을 제안하였다. 제안한 방법으로 깊이정보를 생성한 뒤 DIBR(Depth Image Based Rendering)으로 2차원 영상을 3차원 입체 영상으로 변환하였고 SSIM(Structural SIMilarity index)으로 최종 생성된 영상의 오차율을 분석하였다.

• 한국컴퓨터산업학회논문지
• /
• 제7권5호
• /
• pp.455-466
• /
• 2006

본 논문에서는 능동형 센서를 이용하여 실사 객체에 대한 깊이 정보 및 칼라 정보를 획득하고 획득된 데이터를 이용하여 3D 객체를 생성하였다. 길이 정보를 획득하는 방법은 능동형 센서 모듈을 내장한 $Zcam^{TM}$ 카메라를 이용하였다. <중략>세 번째, 세부 파라미터를 조절하여 깊이 정보의 왜곡을 보정하고 보정된 깊이 정보를 이용하여 3D 메쉬 모델을 생성한 후, 서로 인접한 외곽 점들을 연결하여 완전한 객체 메쉬 모델을 만든다. 최종적으로, 완성된 객체 메쉬 모델에 칼라 영상 데이터의 칼라 값을 적용해 매핑 처리를 수행함으로써 3D 객체를 생성하였다. 실험을 통해 능동형 센서가 장착된 카메라로 획득한 데이터만으로 3D 객체를 생성할 수 있다는 가능성을 제시하였으며, 3차원 전용 스캐너를 이용한 것보다 데이터 획득이 간편하고 용이함을 알 수 있었다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 3부
• /
• pp.170-175
• /
• 2007

영상 재투영이란, 깊이 맵을 투영하여 임의의 시점에서 본 이미지를 생성해내는 기법을 말한다. 기존의 CPU를 이용한 영상 재투영 기법들의 가장 큰 단점은 CPU와 GPU 간의 데이터 복사가 일어나고 재투영 연산 자체의 속도가 느리기 때문에 실시간 렌더링이 불가능 하다는 것이다. 따라서 본 논문에서는 GPU를 이용하여 영상 재투영을 구현하고 실시간에 이미지를 렌더링하는 기법을 소개한다. 우리의 기법은 입력으로 참조 이미지와 해당 이미지의 깊이 맵이 주어졌을 때, 임의의 시점에서 보이는 새로운 이미지를 실시간으로 생성한다. 임의의 시점에서 이미지를 생성하기 위해, 각 픽셀에서 참조 이미지에 해당하는 평면을 렌더링하여 시점 반대 방향의 광선을 생성한다. 이 광선을 참조 이미지의 투영 공간으로 변환한 후, 광선과 깊이 맵간의 교차점을 찾는다. 이렇게 찾아낸 깊이 맵의 교차점과 일치하는 참조 이미지의 픽셀 색으로 새로운 시점의 이미지를 만들어 낼 수 있다. 이와 같은 기법은 기하 정보의 복잡도와 관계없이 수십 프레임의 속도로 실시간 렌더링이 가능하다.