• Journal of the Korea Computer Graphics Society
• /
• v.6 no.4
• /
• pp.1-7
• /
• 2000

Traditionally, three dimension model s have been used for building virtual worlds, and a data structure called the "scene graph" is often employed to organize these 3D objects in the virtual space. On the other hand, image-based rendering has recently been suggested as a probable alternative VR platform for its photo-realism, however, due to limited interactivity. it has only been used for simple navigation systems. To combine the merits of these two approaches to object/scene representations, this paper proposes for a scene graph structure in which both 3D models and various image-based scenes/objects can be defined. traversed, and rendered together. In fact, as suggested by Shade et al. [1]. these different representations can be used as different LOD's for a given object. For in stance, an object might be rendered using a 3D model at close range, a billboard at an intermediate range. and as part of an environment map at far range. The ultimate objective of this mixed platform is to breath more interactivity into the image based rendered VE's by employing 3D models as well. There are several technical challenges in devising such a platform : designing scene graph nodes for various types of image based techniques, establishing criteria for LOD/representation selection. handling their transition s. implementing appropriate interaction schemes. and correctly rendering the overall scene. Currently, we have extended the scene graph structure of the Sense8's WorldToolKit. to accommodate new node types for environment maps. billboards, moving textures and sprites, "Tour-into-the-Picture" structure, and view interpolated objects. As for choosing the right LOD level, the usual viewing distance and image space criteria are used, however, the switching between the image and 3D model occurs at a distance from the user where the user starts to perceive the object's internal depth. Also. during interaction, regardless of the viewing distance. a 3D representation would be used, if it exists. Finally. we carried out experiments to verify the theoretical derivation of the switching rule and obtained positive results.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.38A no.8
• /
• pp.669-679
• /
• 2013

When an image is converted from HDR (high dynamic range) to LDR (low dynamic range), a tone mapping process is the essential component. Many TMOs (tone mapping operators) have been motivated by human vision which has lower physical luminance range than that in real scene. The representative of human vision properties which motivate TMOs is the local adaptation. However, TMOs are ultimately compressing image information such as contrast, saturation, etc. and the compression causes defects in image quality. In this paper, in order to compensate the degradation of the image which is caused by TMOs, the visual acuity-based edge stop function is proposed for applying the property of human vision to base-detail separation. In addition, using CSF (contrast sensitivity function) which represents the relationship among spatial frequency, contrast sensitivity, and luminance, the sharpness filter is designed and adaptively applied to the detail layer in regard to surround luminance.

• Journal of the Korea Computer Graphics Society
• /
• v.26 no.3
• /
• pp.87-97
• /
• 2020

In this paper, we propose a novel neural relighting that infers a relighted rendering image based on the user-guided specular highlight map. The proposed network utilizes a pre-trained neural renderer as a backbone network learned from the rendered image of a 3D scene with various lighting conditions. We jointly optimize a 3D light position and its associated relighted image by back-propagation, so that the difference between the base image and the relighted image is similar to the user-guided specular highlight map. The proposed method has the advantage of being able to explicitly infer the 3D lighting position, while providing the artists' preferred 2D screen-space interface. The performance of the proposed network was measured under the conditions that can establish ground truths, and the average error rate of light position estimations is 0.11, with the normalized 3D scene size.

• Journal of Astronomy and Space Sciences
• /
• v.32 no.2
• /
• pp.113-120
• /
• 2015

When humans explore the Moon, lunar caves will be an ideal base to provide a shelter from the hazards of radiation, meteorite impact, and extreme diurnal temperature differences. In order to ascertain the existence of caves on the Moon, it is best to visit the Moon in person. The Google Lunar X Prize(GLXP) competition started recently to attempt lunar exploration missions. Ones of those groups competing, plan to land on a pit of Lacus Mortis and determine the existence of a cave inside this pit. In this pit, there is a ramp from the entrance down to the inside of the pit, which enables a rover to approach the inner region of the pit. In this study, under the assumption of the existence of a cave in this pit, a 3D model was developed based on the optical image data. Since this model simulates the actual terrain, the rendering of the model agrees well with the image data. Furthermore, the 3D printing of this model will enable more rigorous investigations and also could be used to publicize lunar exploration missions with ease.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.185-188
• /
• 2005

영상 기반 렌더링에서 평면에 투영된 사영 영상만을 가지고 3 차원 영상을 재구성 하는 여러 가지 모델링 기법들이 연구되어 왔다. 4D Plenoptic Function 을 사용하는 Light Field Rendering 이나 Lumigraph 방법은 여러 개의 영상으로 새로운 시점의 영상을 생성하는 기법이다. 이러한 방법은 사용자가 가상 세계에서의 항해를 가능하게 하고 2 차원의 정보만으로 3 차원 환경을 구성 할 수 있다. Concentric Mosaic, Plenoptic Stitching, Sea of Image 등은 Light Field 를 이용하여 사용자가 여러 가지 환경에서 항해할 수 있게 하는 기법이다. 특히 Takahashi 는 도시의 거리와 같은 대규모 환경에서의 항해에 관한 연구를 발표하였다. 단일 경로를 따라 파노라마 영상을 획득한 다음 Light Field 방법을 사용해서 새로운 시점의 영상을 생성한다. 하지만 대규모 환경에서 사용자가 이동할 수 있는 경로의 범위는 매우 넓고 경로를 따라 조밀하게 파노라마 영상을 획득해야 하기 때문에 데이터의 양이 많아지고 영상획득의 어려움이 있다. 이러한 단점으로 인하여 참조 영상의 네트워크 전송 시에 네트워크의 부하가 증가될 수 있다. 본 논문에서는 Takahashi 의 방법을 기본으로 파노라마 영상 모핑 방법을 이용하여 임의 시점 (Arbitrary View)의 영상을 렌더링 하는 방법을 제안한다. 파노라마 영상의 획득 간격을 비교적 크게 하면서 파노라마 영상 모핑 기법을 이용하여 중간 영상을 생성한 후 Takahashi 의 방법을 사용하여 임의 영상을 생성하는 방법이다. 적은 수의 파노라마 영상으로 비교적 좋은 임의 시점의 영상을 재구성 할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 1998.06b
• /
• pp.147-153
• /
• 1998

This paper provides a method for video augmentation using image interpolation. In computer graphics or augmented reality, 3D information of a model object is necessary to generate 2D views of the model, which are then inserted into or overlayed on environmental views or real video frames. However, we do not require any three dimensional model but images of the model object at some locations to render views according to the motion of video camera which is calculated by an SFM algorithm using point matches under weak-perspective (scaled-orthographic) projection model. Thus, a linear view interpolation algorithm is applied rather than a 3D ray-tracing method to get a view of the model at different viewpoints from model views. In order to get novel views in a way that agrees with the camera motion the camera coordinate system is embedded into model coordinate system at initialization time on the basis of 3D information recovered from video images and model views, respectively. During the sequence, motion parameters from video frames are used to compute interpolation parameters, and rendered model views are overlayed on corresponding video frames. Experimental results for real video frames and model views are given. Finally, discussion on the limitations of the method and subjects for future research are provided.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2002.11a
• /
• pp.425-428
• /
• 2002

본 논문에서는 한 장의 정면 얼굴 영상만으로 회전 변형을 수행할 수 있는 새로운 영상기반렌더링(Image Based Rendering, IBR) 기법을 제안한다. 3차원 기하학적 모델을 대신하면서 수평 회전 변형을 연출하기 위해, 특정 인물의 정면, 좌우 반측면, 좌우 측면의 얼굴 영상에 대한 표준 메쉬 집합을 작성한다. 변형하고자 하는 임의의 인물에 대해서는 정면 영상에 대한 메쉬만을 작성하고, 나머지 측면 참조 메쉬들은 표준 메쉬 집합에 의해 자동으로 생성된다. 입체적인 회전 효과를 연출하기 위해, 회전 변형시 발생할 수 있는 제어점들간의 중첩 및 역전을 허용하도록 기존의 두 단계 메쉬워프 알고리즘을 개선한 역전가능 메쉬워프 알고리즘(invertible meshwarp algorithm)을 제안한다. 이 알고리즘을 이용하여 다양한 남녀노소의 정면 얼굴 영상에 대해 회전에 따른 포즈 변형을 수행하여 비교적 자연스러운 포즈 변형 결과를 얻었다.

• KSII Transactions on Internet and Information Systems (TIIS)
• /
• v.16 no.7
• /
• pp.2345-2358
• /
• 2022

This paper presents a method to generate stained-glass animation from video inputs. The method initially segments an input video volume into several regions considered as fragments of glass by mean-shift segmentation. However, the segmentation predominantly results in over-segmentation, causing several tiny segments in a highly textured area. In practice, assembling significantly tiny or large glass fragments is avoided to ensure architectural stability in stained glass manufacturing. Therefore, we use low-frequency components in the segmentation to prevent over-segmentation and subdivide segmented regions that are oversized. The subdividing must be coherent between adjacent frames to prevent temporal artefacts, such as flickering and the shower door effect. To temporally subdivide regions coherently, we obtain a panoramic image from the segmented regions in input frames, subdivide it using a weighted Voronoi diagram, and thereafter project the subdivided regions onto the input frames. To render stained glass fragment for each coherent region, we determine the optimal match glass fragment for the region from a dataset consisting of real stained-glass fragment images and transfer its color and texture to the region. Finally, applying lead came at the boundary of the regions in each frame yields temporally coherent stained-glass animation.

• Proceedings of the Korean Information Science Society Conference
• /
• 2005.11a
• /
• pp.697-699
• /
• 2005

본 논문에서는 실세계 조명 정보를 표현하는 HDR(High Dynamic Range) 영상으로부터 소수의 방향성 광원을 추정하는 기법을 제안한다. 광원 추정을 위해 노출 시간을 달리한 일련의 일반 영상으로부터 실세계의 조명 정보를 선형적으로 표현할 수 있는 HDR영상을 생성한다. HDR영상의 색상 및 명도 변화를 이용하며 영역을 분할하고, 분할된 영역으로부터 명도 평균과 가중치를 이용하여 방향성 광원의 파라미터를 추출하는 방법을 제안한다. 제안된 방법의 장정은 비반복적인 기법을 사용하여 일관된 결과를 산출하여 사용자의 입력없이 자동으로 계산하는 것이다. 추정된 광원은 그래픽 하드웨어를 사용한 실시간 렌더링에 적용 가능하다. 또한 실시간 렌더링이 중요한 가상현실이나 증강현실 분야에서 가상의 오브젝트를 렌더링할 때 IBL(Image Based Lighting)등의 전역조명 효과와 유사한 사실적인 영상을 얻을 수 있다.

• 한국HCI학회:학술대회논문집
• /
• 2006.02a
• /
• pp.1214-1221
• /
• 2006

최근 비실사렌더링의 여러 가지 기술들이 발전하고 있다. 특히 회화적 느낌을 지닌 많은 연구들이 이루어지고 있으며, 그로 인해 2차원과 3차원 양쪽에서 여러 가지 방법을 통해서 좀더 스타일리스틱하며 아티스틱한 비실사렌더링이 연구되고 있다. 본 논문은 아티스트가 직접 그린 이미지에서 회화적 정보를 얻어와 스타일리스틱한 결과를 내는 새로운 방법을 제시한다. 본 논문에서 제시한 방법으로 이루어진 비실사렌더링의 결과는 단순히 모델이나 사진에 종속적인 색감에서 벋어나 아티스트가 원하는 색과 느낌을 가질 수 있게 된다. 그러므로 아티스트 개인의 예술적 표현을 비실사렌더링에 적용할 수 있게 된다.