• ETRI Journal
• /
• 제31권4호
• /
• pp.429-437
• /
• 2009

This paper proposes a novel technique for 3D scene relighting with interactive viewpoint changes. The proposed technique is based on a deep framebuffer framework for fast relighting computation which adopts image-based techniques to provide arbitrary view-changing. In the preprocessing stage, the shading parameters required for the surface shaders, such as surface color, normal, depth, ambient/diffuse/specular coefficients, and roughness, are cached into multiple deep framebuffers generated by several caching cameras which are created in an automatic manner. When the user designs the lighting setup, the relighting renderer builds a map to connect a screen pixel for the current rendering camera to the corresponding deep framebuffer pixel and then computes illumination at each pixel with the cache values taken from the deep framebuffers. All the relighting computations except the deep framebuffer pre-computation are carried out at interactive rates by the GPU.

• 한국HCI학회논문지
• /
• 제2권1호
• /
• pp.25-31
• /
• 2007

재조명(relighting) 렌더링은 장면 내에 새로운 광원의 추가 또는 기존 광원 속성의 변경으로 인한 영상의 변화를 효율적으로 계산하는 과정을 말한다. 본 논문에서는 쉐이딩(shading) 계산에서 광원에 독립적인 파라메터를 미리 텍스쳐 이미지 형태로 캐시화하여 재조명 렌더링 과정에서의 계산량을 줄이는 방법을 사용하였다. 이러한 쉐이딩 파라메터들의 캐시 이미지들은 사용자가 카메라 시점을 바꾸고자 할 경우 새로 생성을 하여야 하는데, 이러한 캐시 이미지 생성에는 많은 시간이 소요된다. 본 논문에서는 새로운 시점에서의 캐시 이미지들을 영상 기반 렌더링 (image-based rendering) 기법을 이용하여 실시간에 구하는 방법을 제시한다. 이 방법은 먼저 여러 개의 지정된 카메라 시점에 대한 캐시 이미지들을 미리 생성해 둔다. 다음 원하는 시점의 캐시 이미지는 각 픽셀에 투영되는 3차원 표면점을 역시점변환(inverse viewing transform)을 통해 구하고, 이 점을 지정된 카메라 시점으로 다시 투영하여 캐시 이미지에서의 대응 픽셀을 찾는다. 대응 픽셀의 파라메터 값들을 평균하여 새 캐시 이미지에 써준다. 이 과정들은 하드웨어 그래픽 가속기의 단편 쉐이더(fragment shader)를 이용하여 실시간으로 수행된다.

• 방송공학회논문지
• /
• 제13권3호
• /
• pp.339-349
• /
• 2008

본 논문에서는 임의의 알려지지 않은 조명 상황 하에서 3차원 객체의 텍스처 영상 한 장을 이용하여 광원의 위치를 추정하고 이를 이용해 조명에 의해 왜곡되어 있는 얼굴 영상을 재조명하는 기법을 제안한다. 우선 주어진 텍스처 영상으로부터 광원의 위치를 추정하기 위해 법선 벡터와 가중 양선형 보간을 이용하여 가상 복사조도 반구를 만들었다. 이를 이용해 추정된 주변광과 확산광 계수로 재조명 방정식을 도출하였다. 얼굴 텍스처 영상에서의 그림자와 음영을 원색으로 복원하는 알고리즘의 효율성과 정확성을 보이기 위해 광원의 위치 추정, 재조명, 얼굴 인식 등의 다양한 실험 결과를 보였다. 실험결과에 의하여 제안한 알고리즘은 조명에 강인한 얼굴 인식시스템뿐만 아니라 3차원 디스플레이에서의 작업 시 시각적 피로감을 줄이고 작업 효율을 높일 수 있음을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.38-43
• /
• 2007

재조명(relighting) 렌더링은 장면 내에 새로운 광원의 추가 또는 기존 광원 속성의 변경으로 인한 영상의 변화를 효율적으로 계산하는 과정을 말한다. 본 논문에서는 쉐이딩(shading) 계산에서 광원에 독립적인 파라메터를 미리 텍스쳐 이미지 형태로 캐시화하여 재조명 렌더링 과정에서의 계산량을 줄이는 방법을 사용하였다. 이러한 쉐이딩 파라메터들의 캐시 이미지들은 사용자가 카메라 시점을 바꾸고자 할 경우 새로 생성을 하여야 하는데, 이 계산에 많은 시간이 소요된다. 본 논문에서는 새로운 시점에서의 캐시 이미지들를 영상 기반 렌더링(image-based rendering) 기법을 이용하여 실시간에 구하는 방법을 제시한다. 먼저 여러 개의 지정된 카메라 시점에 대한 캐시 이미지들을 미리 생성해 둔다. 다음 원하는 시점의 캐시 이미지는 각 픽셀에 투영되는 3차원 표면점을 역시점변환(inverse viewing transform)을 통해 구하고, 이 점을 지정된 카메라 시점으로 다시 투영하여 캐시 이미지에서의 대응 픽셀을 찾는다. 대응 픽셀의 파라메터 값들을 평균하여 새 캐시 이미지에 써준다. 이 과정들은 하드웨어 그래픽 가속기의 단편 쉐이더(fragment shader)를 이용하여 실시간으로 수행된다.

• International Journal of CAD/CAM
• /
• 제12권1호
• /
• pp.38-47
• /
• 2012

The paper proposes a method for generating a sequence of images with smooth transition of illumination from two input images with different lighting conditions. Our relighting approach is image-based, such as the light field rendering. We store the luminances (pixel RGB values) into "lighting functions" consisting of a couple of parameters related to normal vectors. Images with different light positions are rendered by interpolating the luminances retrieved from the lighting functions. The proposed method is a promising technique for many applications requiring a scene with variety of lighting effects, such as movies, TV games, and so on.

• 방송공학회논문지
• /
• 제14권6호
• /
• pp.807-810
• /
• 2009

본 논문은 실감 원격회의 시스템을 위한 실시간 영상기반 재조명 기술을 제안한다. 구체적으로 원격 사용자의 영상을 미리 캡처된 환경맵을 이용하여 재조명해서 사용자가 같은 공간에 있도록 느끼게 한다. 일반적으로 재조명 수행에 사용자 모델의 정교한 기하학적 모델정보를 도출하는 것이 고품질 재조명 영상을 도출하는데 큰 영향을 준다. 본 논문에서는 두 개의 방향성 조명을 사용하여 실시간으로 사용자 모델정보를 도출하는데 중점을 두었다. 도출된 모델정보와 환경맵의 조명정보를 이용하여 재조명 연산을 수행하고, 그래픽 하드웨어를 사용하여 고속으로 연산을 수행한다. 본 논문에서는 두 개의 방향성조명과 동기화된 카메라를 순차적으로 점등하여 사용자 표면의 반사율 맵을 도출한다. 그리고 빛이 반사할 때 표면에서 입사각과 반사각이 동일한 특징에 근거하여 반사맵 영상의 밝기가 밝을수록 사용자 표면의 법선벡터가 조명과 카메라간의 사잇각이 될 확률이 높아진다. 그래서 양방향의 반사율 값과 사잇각 두 개의 파라미터를 곱하여 표면의 법선벡터를 완성한다. 본 연구의 결과를 이용하면 영상기반 재조명 연구의 실제적이고도 폭넓은 적용이 가능할 것으로 사료되며 고화질의 콘텐츠 양산에도 기여할 것으로 사료된다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.988-993
• /
• 2007

전역조명기법(global illumination)중에서 난반사(diffuse reflection) 객체들 사이의 관계를 효과적으로 표현하는 래디오시티(radiosity)방법은 객체들 사이의 에너지 교환에 에너지 평형 상태를 모델링 한다. 그러나 래디오시티는 많은 계산량으로 인해 실시간 활용에는 적합하지 않았다. 최근 장면생성에 걸리는 소요시간을 크게 단축시킬 수 있는 비용대비 고성능의 그래픽스 하드웨어(GPU)를 이용한 방법들이 제안되고 있다. 객체들 사이에서 교환되는 에너지는 래디언스(radiance)로 표현이 가능하며, 이러한 래디언스는 대상 장면에서 취득한 HDR(High Dynamic Range) 영상으로부터 래디언스 맵을 구성해서 얻을 수 있다. 이를 기반으로 대상장면의 조명환경을 구성하면 대상장면의 복잡도와는 별개로 빠르고 사실적인 합성장면을 생성할 수 있다. 본 논문에서는 G. Coombe 등이 제안한 점진적 세분(progressive refinement) 알고리즘을 수정하여 래디언스 맵을 이용할 수 있도록 하였으며, 각 텍셀(texel)설정 및 보간(interpolation) 적용 등에 따른 실험 결과를 얻고 분석하였다. 구현된 방법은 이후 영상기반 재조명과 그래픽스 하드웨어를 이용한 영상합성 기술로 영화, 애니메이션, 가상현실, 게임 등에 다양하게 활용될 예정이다.

• 한국컴퓨터정보학회:학술대회논문집
• /
• 한국컴퓨터정보학회 2023년도 제67차 동계학술대회논문집 31권1호
• /
• pp.399-402
• /
• 2023

본 논문에서는 빛에 영향에 따른 유화의 변화를 보여주기 위해 2D 이미지 재조명과 색채변화를 반영한 회화적 렌더링 방법을 제안한다. 이 방법은 2D 이미지를 재조명하고 해당 음영 값을 가중치로 하여 색채변화를 반영해 렌더링한다. 이때 재조명의 경우 2D 이미지를 3D 이미지로 근사 추정하여 노말값을 결정하고 해당 값과 조명 위치값 사이의 각을 음영 값으로 추출하여 반영한다. 조명 위치는 사용자가 지정 가능하며 빛에 영향에 따른 색채변화 결과는 기존에 연구된 결과를 참조한다. 본 논문에서는 기존의 로컬 이미지에 근사한 자동 회화적 렌더링이 보여주는 단순하고 평면적인 결과에 비해, 재조명을 통해 빛바랜 색과 양감을 반영함으로써 현실에 존재하는 작품처럼 생동적이고 입체적인 렌더링 결과를 제공하여 문화예술작품으로의 표현 및 색채변화 예측-복원에 기여하고자한다.

• 만화애니메이션 연구
• /
• 통권38호
• /
• pp.133-144
• /
• 2015

3D 애니메이션에서의 라이팅 작업은 많은 노동력과 시간이 걸리는 일이다. 예를 들어서 2014년에 글로벌하게 배급된 극장용 애니메이션 Postman Pat The Movie에서는 60여명의 라이팅 아티스트가 필요했으며, 이 아티스트들은 샷의 피드백에 빠르게 대응해야 하지만, 복잡한 샷들은 많은 렌더시간을 필요로 해서 테스트 렌더링을 하며 작업 대응을 하기 힘든 문제가 있었다. 2005년 이후 이러한 상황에 대처하고자 리라이팅 기법을 사용하는 경우가 있었으나, 하지만, 기존의 리라이팅 방식으로는 그림자를 얻어낼 수가 없기 때문에 사실적이거나 자연스러운 결과물을 얻어낼수가 없어서 국내 애니메이션 제작에서 거의 사용되지 못하였다. 본 논문에서는 Rasterization된 앰비언트 어클루전을 각 라이트 별로 리라이팅 계산에 접목시켜 빠른 계산을 유지하면서도 사실적인 퀄러티를 얻어낼 수 있는 리라이팅 시스템을 구현하였다. 이 리라이팅 시스템은 2014년 글로벌하게 개봉된 헐리우드 애니메이션인 Postman Pat : The Movie에 채택되어 성공적인 제작을 해내는데 큰 기여를 하였다. 이후 애니메이션 제작에 이 방법이 더 많이 활용되어 다른 제작사에서도 제작비의 절감과 함께 좀 더 완성도 있는 결과물을 제작할 수 있는 계기가 되길 바란다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권3호
• /
• pp.87-97
• /
• 2020

본 논문에서는 사용자가 지정한 반사 하이라이트 맵을 가이드 영상으로 하는 뉴럴 재조명 기법을 제안한다. 제안하는 신경망은 다양한 조명 위치에서 렌더링 된 영상을 이용해 사전학습시킨 백본 뉴럴 렌더러를 활용하며, 기저 영상과 렌더링 영상의 차이가 사용자가 제공한 반사 하이라이트 맵과 유사하도록 역전파에 의해 광원의 위치와 관련된 재조명 영상을 동시 최적화한다. 제안하는 방법은 아티스트가 선호하는 이차원 화면 공간 인터페이스를 제공하면서도 삼차원 조명의 위치를 명시적으로 추론할 수 있는 장점이 있다. 제안하는 뉴럴 재조명의 성능은 실제 값을 설정할 수 있는 실험 상황을 수립하여, 본 논문의 방법이 주어진 하이라이트 맵을 얼마나 잘 반영하는지 평가하고 실제 하이라이트 맵으로 추론한 조명 및 재조명 영상의 오차를 측정하였다. 제안하는 뉴럴 재조명이 추정한 광원 위치의 평균 오차율은 정규화된 삼차원 장면 크기 대비 0.11이다.