• Proceedings of the Korean Information Science Society Conference
• /
• 2001.04b
• /
• pp.577-579
• /
• 2001

본 논문에서는 웨이블릿 변환 기법으로 키프레임을 분석하여 객체 영역을 추출함과 동시에 가상의 객체 영상을 현실감있게 합성하는 기술에 대하여 연구하였다. 가상의 객체 영상이나 실물체 영상을 비디오 영상내에 삽입하여 좀 더 현실감있는 새로운 동영상 비디오 데이터를 제작하는 데 초점을 맞추어 연구를 진행하였다. 웨이블릿 변환이 새로운 영상을 재구성하는데 커다란 기여를 하였으며 본 논문에서 제시한 AR 영상 합성 기법은 동영상 데이터를 합성하는데 사용자가 원하는 지점에 정확하게 영상의 특성정보를 충분히 잘 살린 새로운 방법의 시도였다. 또한, 영상의 캘리브 레이션 방법을 거치지 않고 비디오 영상의 회전행렬과 위치성분을 계산하여 매핑된 가상의 객체 영상을 영상 보간법을 적용하여 직접 가사의 객체 영상을 비디오 객체 영상을 비디오 영상열에 삽입한다. 제시한 영상 합성 기법은 가상의 객체 영상이 디지털 동영상내에 삽입되었을 때 가장 큰 문제점인 떨림 현상과 부조화 현상이 제거되었다.

• Journal of the Korea Society of Computer and Information
• /
• v.14 no.6
• /
• pp.117-123
• /
• 2009

In this paper, An algorithm which converts 2D video frames into 3D video frames of parallel looking stereo camea is proposed. The proposed algorithm finds the disparity information between two consecutive video frames and generates 3D video frames from the obtained disparity maps. The disparity information is obtained from the modified iterative convergence algorithm. The method of generating 3D video frames from the disparity information is also proposed. The proposed algorithm uses coherence method which overcomes the video pattern based algorithms.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.22 no.4
• /
• pp.617-623
• /
• 2018

In this paper, we propose a novel seamless video composition method based on shape matching and Poisson equation. Video composition method consists of video segmentation process and video blending process. In the video segmentation process, the user first sets a trimap for the first frame, and then performs a grab-cut algorithm. Next, considering that the performance of video segmentation may be reduced if the color, brightness and texture of the object and the background are similar, the object region segmented in the current frame is corrected through shape matching between the objects of the current frame and the previous frame. In the video blending process, the object of source video and the background of target video are blended seamlessly using Poisson equation, and the object is located according to the movement path set by the user. Simulation results show that the proposed method has better performance not only in the naturalness of the composite video but also in computational time.

• KIPS Transactions on Software and Data Engineering
• /
• v.11 no.11
• /
• pp.465-472
• /
• 2022

In this paper, the style synthesis network is trained to generate style-synthesized video through the style synthesis through training Stylegan and the video synthesis network for video synthesis. In order to improve the point that the gaze or expression does not transfer stably, 3D face restoration technology is applied to control important features such as the pose, gaze, and expression of the head using 3D face information. In addition, by training the discriminators for the dynamics, mouth shape, image, and gaze of the Head2head network, it is possible to create a stable style synthesis video that maintains more probabilities and consistency. Using the FaceForensic dataset and the MetFace dataset, it was confirmed that the performance was increased by converting one video into another video while maintaining the consistent movement of the target face, and generating natural data through video synthesis using 3D face information from the source video's face.

• Journal of the Korea Institute of Information and Communication Engineering
• /
• v.24 no.2
• /
• pp.231-237
• /
• 2020

In this paper, we provide an efficient hybrid video blending scheme to improve the naturalness of composite video in Poisson equation-based composite methods. In image blending process, various blending methods are used depending on the purpose of image composition. The hybrid blending method proposed in this paper has the characteristics that there is no seam in the composite video and the color distortion of the object is reduced by properly utilizing the advantages of Poisson blending and alpha blending. First, after blending the source object by the Poisson blending method, the color difference between the blended object and the original object is compared. If the color difference is equal to or greater than the threshold value, the object of source video is alpha blended and is added together with the Poisson blended object. Simulation results show that the proposed method has not only better naturalness than Poisson blending and alpha blending, but also requires a relatively small amount of computation.

• Journal of Digital Convergence
• /
• v.17 no.4
• /
• pp.255-260
• /
• 2019

This study is about an efficient synthesis of $360^{\circ}$ video and 3D graphics. First, the video image filmed by a binocular integral type $360^{\circ}$ camera was stitched, and location values of the camera and objects were extracted. And the data of extracted location values were moved to the 3D program to create 3D objects, and the methods for natural compositing was researched. As a result, as the method for natural compositing of $360^{\circ}$ video image and 3D graphics, rendering factors and rendering method were derived. First, as for rendering factors, there were 3D objects' location and quality of material, lighting and shadow. Second, as for rendering method, actual video based rendering method's necessity was found. Providing the method for natural compositing of $360^{\circ}$ video image and 3D graphics through this study process and results is expected to be helpful for research and production of $360^{\circ}$ video image and VR video contents.

• Journal of the Korea Computer Graphics Society
• /
• v.18 no.1
• /
• pp.1-9
• /
• 2012

Video-based modeling / rendering developed to produce photo-realistic video contents have been one of the important research topics in computer graphics and computer visions. To smoothly combine original input video clips and 3D graphic models, geometrical information of light sources and cameras used to capture a scene in the real world is essentially required. In this paper, we present a simple technique to estimate the position and orientation of an optimal light source from the topology of objects and the silhouettes of shadows appeared in the original video clips. The technique supports functions to generate well matched shadows as well as to render the inserted models by applying the estimated light sources. Shadows are known as an important visual cue that empirically indicates the relative location of objects in the 3D space. Thus our method can enhance realism in the final composed videos through the proposed shadow generation and rendering algorithms in real-time.

• Proceedings of the Korean Society of Computer Information Conference
• /
• 2014.07a
• /
• pp.273-274
• /
• 2014

본 논문에서는 비디오 콘텐츠 제작에서 비디오 영상의 합성 효과에 대해서 제안한다. 비디오는 동화상으로 정지 영상에 움직임을 주어 동화상으로 나타낸다. 즉 프레임의 움직임으로 영화는 24 프레임을 TV는 30프레임으로 영상을 전송한다. 영상은 비디오카메라나 여러 광학 렌즈를 통하여 촬영하여 영상을 얻게 되는데 자연 현상을 촬영하여 영상을 얻거나 목적과 필요에 따라 다양한 편집 방법과 효과로 영상을 얻게 된다. 촬영한 영상은 자연 그대로의 메시지를 가지고 있지만 영상의 효과를 주기 위해서 다양한 비디오 효과나 합성을 통하여 새로운 영상을 얻게 된다. 따라서 이러한 영상은 시각 효과가 크고, 메시지 전달의 효과를 갖는다. 본 연구에서는 비디오 영상을 보다 효과적으로 나타내기 위해서 합성을 적용하며, 정지 영상 기법과 동영상 기법의 적용하여 효과에 대한 비교를 나타낸다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.06a
• /
• pp.71-72
• /
• 2019

본 논문에서는 계층구조 합성곱 신경망 기반의 고해상도 동영상 프레임 고속 보간 방법을 제안한다. 기존의 고해상도 동영상 프레임 보간 방법은 시간 해상도와 공간 해상도를 분리하여 보간 하기 때문에, 예측된 보간 프레임이 블러(blur) 열화를 갖는 문제를 보인다. 제안하는 방법에서는 이러한 문제를 해결하기 위하여 계층구조 합성곱 신경망 기반의 보간 방법을 이용한다. 제안하는 계층구조 합성곱 신경망은 우선 저해상도의 광학 흐름 추정지도를 생성하고 이를 고해상도로 복원하여 프레임 보간을 수행한다. 이때, 저해상도 광학 흐름 지도를 추정할 때 사용된 특징 정보들을 활용하여 고품질의 고해상도 광학 흐름 지도를 추정한다. 실험을 통하여 제안하는 방법이 고해상도 프레임을 고속으로 보간하며, 동시에 블러 열화에 대한 성능 향상을 가짐을 보였다.

• The Journal of the Acoustical Society of Korea
• /
• v.17 no.8
• /
• pp.3-11
• /
• 1998

본 논문에서는 고품질의 얼굴 동영상과 운율이 첨가된 음성을 통합하여 자연스런 가상얼굴을 실시간으로 합성하는 방법을 제안한다. 이 방법에서는 한글 텍스트를 입력하여, 텍스트에 따라 입모양과 음성을 합성하고, 얼굴 동영상과 음성의 동기를 맞추고 있다. 먼저, 텍스트를 음운 변화한 후, 문장을 분석하고 자모음사이의 지속시간을 부여한다. 자모음과 지 속시간에 따라 입모양을 변화시켜 얼굴 동영상을 생성하고 있다. 이때, 텍스트에 부합한 입 모양 변화뿐만 아니라, 두부의 3차원 동작과 다양한 표정변화를 통하여 자연스런 가상얼굴 을 실시간으로 합성하고 있다. 한편, 음성합성에서는 문장분석 결과에 따라 강세구와 억양구 를 정하고 있다. 강세구와 억양구를 이용하여 생성된 운율모델이 고품질의 음성합성에 필요 한 지속시간, 억양 및 휴지기를 제어한다. 합성단위는 무제한 어휘가 가능한 반음절과 triphone(VCV)의 조합이며, 합성방식은 TD-PSOLA를 사용한다.