Image-Based Relighting of Moving Objects with Considering Specular Reflectance

전반사 성분을 고려한 움직이는 물체의 영상 기반 재조명

각각 다른 영상에서 추출된 배경이나 물체를 합성하고자 할 때 조명 조건의 이질감 때문에 자연스럽지 못한 영상이 얻어질 수 있다. 이러한 문제를 해결하기 위해서는 특히 전반사 성분의 위치와 모양이 사실적으로 처리되는 것이 중요하다. 기존의 많은 연구에서 정지된 물체에 대해 전반사 성분과 난반사 성분을 분리하여 다루는 방법이 제안되었는데 이러한 방법들을 토대로 본 논문에서는 동영상에 대한 적용 가능성을 확인한다. 정지한 물체에 대한 재조명을 위해서는 물체의 위치가 동일하고 조명 조건이 다른 두개이상의 이미지가 필요하므로 동영상의 연속된 필드들을 이용하여 이러한 조건을 유사하게 만족시키는 이미지 쌍을 만드는 방법을 먼저 제안한다. n번째 n+2번째 필드 간의 물체의 움직임을 추정하여 중간 위치의 합성 영상을 만들어 내면 n+1번째 필드의 물체와 동일한 위치와 모양의 영상을 얻을 수 있을 것이다. 이렇게 얻어진 합성 영상과 원래의 n+1번째 필드의 영상이 서로 다른 조명 조건을 가지고 있으면 정지된 물체에 행해졌던 영상 재조명 방법의 사용이 가능하며, 이 두 영상으로 전반사 성분과 난반사 성분을 분리하고 난반사 성분끼리의 선형 보간과, 전반사 성분끼리의 모핑(morphing) 과정을 통해 재조명된 영상을 생성한다. 이러한 과정을 거쳐 얻어진 결과 영상과 같은 조건의 정지 영상을 직접 재조명한 결과 영상을 비교하여 그 성능이 거의 차이가 없음을 확인할 수 있다.