• ETRI Journal
• /
• 제31권4호
• /
• pp.429-437
• /
• 2009

This paper proposes a novel technique for 3D scene relighting with interactive viewpoint changes. The proposed technique is based on a deep framebuffer framework for fast relighting computation which adopts image-based techniques to provide arbitrary view-changing. In the preprocessing stage, the shading parameters required for the surface shaders, such as surface color, normal, depth, ambient/diffuse/specular coefficients, and roughness, are cached into multiple deep framebuffers generated by several caching cameras which are created in an automatic manner. When the user designs the lighting setup, the relighting renderer builds a map to connect a screen pixel for the current rendering camera to the corresponding deep framebuffer pixel and then computes illumination at each pixel with the cache values taken from the deep framebuffers. All the relighting computations except the deep framebuffer pre-computation are carried out at interactive rates by the GPU.

• 한국HCI학회논문지
• /
• 제2권1호
• /
• pp.25-31
• /
• 2007

재조명(relighting) 렌더링은 장면 내에 새로운 광원의 추가 또는 기존 광원 속성의 변경으로 인한 영상의 변화를 효율적으로 계산하는 과정을 말한다. 본 논문에서는 쉐이딩(shading) 계산에서 광원에 독립적인 파라메터를 미리 텍스쳐 이미지 형태로 캐시화하여 재조명 렌더링 과정에서의 계산량을 줄이는 방법을 사용하였다. 이러한 쉐이딩 파라메터들의 캐시 이미지들은 사용자가 카메라 시점을 바꾸고자 할 경우 새로 생성을 하여야 하는데, 이러한 캐시 이미지 생성에는 많은 시간이 소요된다. 본 논문에서는 새로운 시점에서의 캐시 이미지들을 영상 기반 렌더링 (image-based rendering) 기법을 이용하여 실시간에 구하는 방법을 제시한다. 이 방법은 먼저 여러 개의 지정된 카메라 시점에 대한 캐시 이미지들을 미리 생성해 둔다. 다음 원하는 시점의 캐시 이미지는 각 픽셀에 투영되는 3차원 표면점을 역시점변환(inverse viewing transform)을 통해 구하고, 이 점을 지정된 카메라 시점으로 다시 투영하여 캐시 이미지에서의 대응 픽셀을 찾는다. 대응 픽셀의 파라메터 값들을 평균하여 새 캐시 이미지에 써준다. 이 과정들은 하드웨어 그래픽 가속기의 단편 쉐이더(fragment shader)를 이용하여 실시간으로 수행된다.

• International Journal of CAD/CAM
• /
• 제12권1호
• /
• pp.38-47
• /
• 2012

The paper proposes a method for generating a sequence of images with smooth transition of illumination from two input images with different lighting conditions. Our relighting approach is image-based, such as the light field rendering. We store the luminances (pixel RGB values) into "lighting functions" consisting of a couple of parameters related to normal vectors. Images with different light positions are rendered by interpolating the luminances retrieved from the lighting functions. The proposed method is a promising technique for many applications requiring a scene with variety of lighting effects, such as movies, TV games, and so on.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.38-43
• /
• 2007

재조명(relighting) 렌더링은 장면 내에 새로운 광원의 추가 또는 기존 광원 속성의 변경으로 인한 영상의 변화를 효율적으로 계산하는 과정을 말한다. 본 논문에서는 쉐이딩(shading) 계산에서 광원에 독립적인 파라메터를 미리 텍스쳐 이미지 형태로 캐시화하여 재조명 렌더링 과정에서의 계산량을 줄이는 방법을 사용하였다. 이러한 쉐이딩 파라메터들의 캐시 이미지들은 사용자가 카메라 시점을 바꾸고자 할 경우 새로 생성을 하여야 하는데, 이 계산에 많은 시간이 소요된다. 본 논문에서는 새로운 시점에서의 캐시 이미지들를 영상 기반 렌더링(image-based rendering) 기법을 이용하여 실시간에 구하는 방법을 제시한다. 먼저 여러 개의 지정된 카메라 시점에 대한 캐시 이미지들을 미리 생성해 둔다. 다음 원하는 시점의 캐시 이미지는 각 픽셀에 투영되는 3차원 표면점을 역시점변환(inverse viewing transform)을 통해 구하고, 이 점을 지정된 카메라 시점으로 다시 투영하여 캐시 이미지에서의 대응 픽셀을 찾는다. 대응 픽셀의 파라메터 값들을 평균하여 새 캐시 이미지에 써준다. 이 과정들은 하드웨어 그래픽 가속기의 단편 쉐이더(fragment shader)를 이용하여 실시간으로 수행된다.

• 방송공학회논문지
• /
• 제14권6호
• /
• pp.807-810
• /
• 2009

본 논문은 실감 원격회의 시스템을 위한 실시간 영상기반 재조명 기술을 제안한다. 구체적으로 원격 사용자의 영상을 미리 캡처된 환경맵을 이용하여 재조명해서 사용자가 같은 공간에 있도록 느끼게 한다. 일반적으로 재조명 수행에 사용자 모델의 정교한 기하학적 모델정보를 도출하는 것이 고품질 재조명 영상을 도출하는데 큰 영향을 준다. 본 논문에서는 두 개의 방향성 조명을 사용하여 실시간으로 사용자 모델정보를 도출하는데 중점을 두었다. 도출된 모델정보와 환경맵의 조명정보를 이용하여 재조명 연산을 수행하고, 그래픽 하드웨어를 사용하여 고속으로 연산을 수행한다. 본 논문에서는 두 개의 방향성조명과 동기화된 카메라를 순차적으로 점등하여 사용자 표면의 반사율 맵을 도출한다. 그리고 빛이 반사할 때 표면에서 입사각과 반사각이 동일한 특징에 근거하여 반사맵 영상의 밝기가 밝을수록 사용자 표면의 법선벡터가 조명과 카메라간의 사잇각이 될 확률이 높아진다. 그래서 양방향의 반사율 값과 사잇각 두 개의 파라미터를 곱하여 표면의 법선벡터를 완성한다. 본 연구의 결과를 이용하면 영상기반 재조명 연구의 실제적이고도 폭넓은 적용이 가능할 것으로 사료되며 고화질의 콘텐츠 양산에도 기여할 것으로 사료된다.

• 방송공학회논문지
• /
• 제13권3호
• /
• pp.339-349
• /
• 2008

본 논문에서는 임의의 알려지지 않은 조명 상황 하에서 3차원 객체의 텍스처 영상 한 장을 이용하여 광원의 위치를 추정하고 이를 이용해 조명에 의해 왜곡되어 있는 얼굴 영상을 재조명하는 기법을 제안한다. 우선 주어진 텍스처 영상으로부터 광원의 위치를 추정하기 위해 법선 벡터와 가중 양선형 보간을 이용하여 가상 복사조도 반구를 만들었다. 이를 이용해 추정된 주변광과 확산광 계수로 재조명 방정식을 도출하였다. 얼굴 텍스처 영상에서의 그림자와 음영을 원색으로 복원하는 알고리즘의 효율성과 정확성을 보이기 위해 광원의 위치 추정, 재조명, 얼굴 인식 등의 다양한 실험 결과를 보였다. 실험결과에 의하여 제안한 알고리즘은 조명에 강인한 얼굴 인식시스템뿐만 아니라 3차원 디스플레이에서의 작업 시 시각적 피로감을 줄이고 작업 효율을 높일 수 있음을 확인하였다.

• 한국컴퓨터그래픽스학회논문지
• /
• 제26권3호
• /
• pp.87-97
• /
• 2020

본 논문에서는 사용자가 지정한 반사 하이라이트 맵을 가이드 영상으로 하는 뉴럴 재조명 기법을 제안한다. 제안하는 신경망은 다양한 조명 위치에서 렌더링 된 영상을 이용해 사전학습시킨 백본 뉴럴 렌더러를 활용하며, 기저 영상과 렌더링 영상의 차이가 사용자가 제공한 반사 하이라이트 맵과 유사하도록 역전파에 의해 광원의 위치와 관련된 재조명 영상을 동시 최적화한다. 제안하는 방법은 아티스트가 선호하는 이차원 화면 공간 인터페이스를 제공하면서도 삼차원 조명의 위치를 명시적으로 추론할 수 있는 장점이 있다. 제안하는 뉴럴 재조명의 성능은 실제 값을 설정할 수 있는 실험 상황을 수립하여, 본 논문의 방법이 주어진 하이라이트 맵을 얼마나 잘 반영하는지 평가하고 실제 하이라이트 맵으로 추론한 조명 및 재조명 영상의 오차를 측정하였다. 제안하는 뉴럴 재조명이 추정한 광원 위치의 평균 오차율은 정규화된 삼차원 장면 크기 대비 0.11이다.

• 한국게임학회 논문지
• /
• 제7권4호
• /
• pp.53-62
• /
• 2007

래디오시티(radiosity)는 디퓨즈 반사(diffuse reflection)를 효과적으로 표현하는 전역조명(global illumination) 방법으로 공간 및 물체 표면간의 에너지 교환을 모델링한다. 그러나 많은 계산량으로 인해 실시간 활용에는 제약이 존재하며, 이를 해결하기 위해 GPU(Graphics Processing Unit) 기반의 래디오시티 알고리즘이 제안되고 있다. 본 논문에서는 G. Coombe 등이 제안한 GPU 기반의 점진적 세분(progressive refinement) 래디오시티를 구현하고 HDR(High Dynamic Range) 래디언스(radiance) 맵으로 구성된 3차원 공간에 적용하여 사실적인 합성영상을 렌더링하였다. 대상 공간과 조명환경을 HDR 래디언스 맵으로 구성함으로써 영상기반(image-based) 방법의 장점인 대상 장면의 복잡도와 관계없는 결과 영상을 생성할 수 있었다 환경맵을 이루는 각 텍셀(texel)의 해상도 설정 및 밉매핑(mipmaping)의 적용에 따라 다양한 실험 결과를 분석하였으며, 기존의 HDR 레디언스 맵과 GPU를 이용한 증분 래디오시티 방법과의 비교를 통해 본 시스템의 개선된 렌더링 성능을 확인하였다.

• 한국HCI학회:학술대회논문집
• /
• 한국HCI학회 2007년도 학술대회 1부
• /
• pp.988-993
• /
• 2007

전역조명기법(global illumination)중에서 난반사(diffuse reflection) 객체들 사이의 관계를 효과적으로 표현하는 래디오시티(radiosity)방법은 객체들 사이의 에너지 교환에 에너지 평형 상태를 모델링 한다. 그러나 래디오시티는 많은 계산량으로 인해 실시간 활용에는 적합하지 않았다. 최근 장면생성에 걸리는 소요시간을 크게 단축시킬 수 있는 비용대비 고성능의 그래픽스 하드웨어(GPU)를 이용한 방법들이 제안되고 있다. 객체들 사이에서 교환되는 에너지는 래디언스(radiance)로 표현이 가능하며, 이러한 래디언스는 대상 장면에서 취득한 HDR(High Dynamic Range) 영상으로부터 래디언스 맵을 구성해서 얻을 수 있다. 이를 기반으로 대상장면의 조명환경을 구성하면 대상장면의 복잡도와는 별개로 빠르고 사실적인 합성장면을 생성할 수 있다. 본 논문에서는 G. Coombe 등이 제안한 점진적 세분(progressive refinement) 알고리즘을 수정하여 래디언스 맵을 이용할 수 있도록 하였으며, 각 텍셀(texel)설정 및 보간(interpolation) 적용 등에 따른 실험 결과를 얻고 분석하였다. 구현된 방법은 이후 영상기반 재조명과 그래픽스 하드웨어를 이용한 영상합성 기술로 영화, 애니메이션, 가상현실, 게임 등에 다양하게 활용될 예정이다.

• 전자공학회논문지CI
• /
• 제43권2호
• /
• pp.63-71
• /
• 2006

칼라 영상의 잡음 제거 및 복원은 컴퓨터 비젼 및 영상 처리 분야에서 점점 더 많은 연구가 되어지고 있는 분야이다. 칼라얼굴 영상에서의 잡음 제거 및 복원은 색상들 간의 미묘한 상호작용뿐만 아니라 얼굴의 구조학적 특징 때문에 일반적인 영상의 처리보다 더욱 어렵다. 본 논문은 벡터기반의 영상 필터들을 이용하여 제거하기 어려운 칼라 얼굴 영상의 복합 잡음을 제거 하기 위해 PCA 재구성 기반의 잡음 제거 방법을 제안한다. 제안된 방법은 PCA를 이용한 정준 고유얼굴 공간의 학습단계, 동적 외양 모델을 이용한 자동적인 얼굴 특징 추출 단계, Bilateral 필터를 이용한 복원된 칼라 영상의 재조명(Relighting) 단계, 학습 데이터들의 분산 값들을 이용한 잡음 영역 추출 단계, 입력 영상의 부분 정보를 이용한 재구성과 이를 원본 영상과 합성하여 잡음이 제거된 영상을 생성하는 단계 등 총 5 단계로 구성된다. 실험결과는 제안된 방법이 입력 얼굴 영상들의 구조적 특징들은 잘 유지하면서 복합적인 칼라 잡음 등을 효과적으로 제거하는 것을 보인다.