• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2022.11a
• /
• pp.191-192
• /
• 2022

본 논문에서는 딥러닝의 주요 기법 중 하나인 GAN 을 활용하여 압축된 영상의 품질을 개선하는 방법을 제안한다. 제안하는 GAN 의 생성자는 U-Net 과 ResNet 을 기반으로 구성되었으며, 판별자는 합성곱층과 전연결층으로 구성하였다. 네트워크의 학습은 HEVC (High Efficiency Video Coding)의 테스트 모델인 HM16.25 를 사용하여 RA (Random Access) 구성하에 양자화 계수 37 로 압축된 영상을 입력으로 하여 수행되었다. 제안하는 네트워크의 성능 확인을 위해 학습 시와 동일한 조건으로 압축된 다른 영상을 입력으로 하여 실험하였다. 실험 결과 영상의 평균 PSNR 은 34.20dB 에서 34.24dB 로 0.04dB 의 품질 향상이 이루어진 것을 확인할 수 있었다.

• The Journal of Korean Institute of Communications and Information Sciences
• /
• v.19 no.4
• /
• pp.614-623
• /
• 1994

Synthesizing speech and facial images is necessary for human interface that man and machine converse naturally as human do. The target of this paper is synthesizing the facial images. In synthesis of the facial images a three-dimensional (3-D) shape model of the face is used for realizating the facial expression variations and the lip shape variations. The various facial expressions and lip shapes harmonized with the syllables are synthesized by deforming the three-dimensional model on the basis of the facial muscular actions. Combications with the consonants and the vowels make 14.364 syllables. The vowels dominate most lip shapes but the consonants do a part of them. For determining the lip shapes, this paper investigates all the syllables and classifies the lip shapes pattern according to the vowels and the consonants. As the results, the lip shapes are classified into 8 patterns for the vowels and 2patterns for the consonants. In advance, the paper determines the synthesis rules for the classified lip shape patterns. This method permits us to obtain the natural facial image with the various facial expressions and lip shape patterns.

• Journal of Platform Technology
• /
• v.12 no.1
• /
• pp.128-140
• /
• 2024

'Deepfake' refers to a video synthesis technique that utilizes various artificial intelligence technologies to create highly realistic fake content, causing serious confusion to individuals and society by being used for generating fake news, fraud, malicious impersonation, and more. To address this issue, there is a need for methods to detect malicious images generated by deepfake accurately. In this paper, we extract and analyze saliency features from deepfake and real images, and detect candidate synthesis regions on the images, and finally construct an automatic deepfake detection model by focusing on the extracted features. The proposed saliency feature-based model can be universally applied in situations where deepfake detection is required, such as synthesized images and videos. To demonstrate the performance of our approach, we conducted several experiments that have shown the effectiveness of the deepfake detection task.

• Proceedings of the IEEK Conference
• /
• 2003.07e
• /
• pp.1948-1951
• /
• 2003

본 논문에서는 디지털 멀티미디어 방송 및 양방향 인터넷 방송 등에서 효율적인 객체기반 방송 서비스를 제공하기 위한 비선형 비디오 편집 시스템을 구현하였다. 구현된 시스템은 실시간으로 카메라를 통해 입력되는 영상 데이터에 대해 자동으로 움직이는 객체를 추출하는 자동분할과 HDD(hard Disk) 등에 저장되어 있는 동영상을 사용자의 조력에 의해 분할하는 반자동분할 기능을 제공한다. 그리고 추출된 객체를 저장매체에 저장되어 있는 그래픽 및 실사 배경영상과 합성하고 MPEG으로 부호화 할 수 있다. 또한 정보 유출을 원치 않는 객체에 대한 은닉 기능을 가지고 있다. 따라서 구현된 시스템은 비디오 정보제공자가 편리하게 객체를 분할하고 편집할 수 있으며 비디오 정보를 단기간에 효율적으로 비디오 정보 사용자에게 공급할 수 있는 기능을 제공한다.

• Proceedings of the Korea Information Processing Society Conference
• /
• 2005.05a
• /
• pp.217-220
• /
• 2005

최근 디지털 TV와 차세대 멀티미디어 서비스 요구는 방송 사업자가 기존의 단방향 방송 서비스 제공에서 벗어나 시청자가 참여할 수 있는 TV-Commerce, 양방향 광고, TV-AnyTime, 주문형 비디오(VOD) 등의 사용자 요구 중심의 다양한 양방향 방송 서비스를 제공할 수 있게 된 환경을 요구하게 되었고 더 나아가 차세대 서비스는 영상 자체의 주문형 요구를 수행하거나 더 나아가 차세대 서비스는 영상 자체의 주문형 요구를 수행하거나 고정되어지지 않은 다양한 영상에 대한 서비스 수행 환경이 필요하게 되었다. 본 연구에서 구현된 시스템은 사용자에게 일방적으로 데이터를 전송하는 기존의 시스템과 달리 제작자가 아닌 일반 사용자가 원하는 시나리오를 작성하면 이를 구성하여 적용 가능한 3D 객체 단위 동영상을 합성 서비스 할 수 있는 기능 구조를 가진다.

• Proceedings of the Korean Information Science Society Conference
• /
• 2001.10b
• /
• pp.259-261
• /
• 2001

본 논문에서는 네트워크를 통해 공유되는 가상공간에 참가자가 분신(아바타) 또는 실물 동영상의 형태로 자유로이 참가하여 가상세계를 현실감 있게 공유할 수 있는 시스템을 제안한다. Java3D를 이용하여 컴퓨터그래픽과 실영상을 실시간에 합성 렌더링함으로써 3차원 가상공간을 구현하고 있다. 분산환경에서의 실험을 통해 기술적 가능성을 제시한다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2019.11a
• /
• pp.67-68
• /
• 2019

머신러닝을 활용한 이미지 분류는 단순 사물을 넘어서 사람의 감성과 같은 추상적이고 주관적인 개념에도 적용되고 있다. 이 중에서도 합성곱 신경망을 통한 이미지의 감정 분류 연구가 더욱 활성화되고 있다. 그럼에도 다양한 멀티미디어들을 머신러닝 알고리즘으로 분석하고 이를 의미있는 결과로 재생성하기는 매우 복잡하고 까다롭다. 본 연구에서는 기존 연구를 개선시켜 음악 데이터를 다층퍼셉트론 모델을 통해 분류된 이미지와 결합한 동영상을 파이썬의 다양한 라이브러리를 통해 자동으로 생성하였다. 이를 통해 특정 분위기로 분류된 이미지들과 이에 어울리는 음악을 매칭시켜 유의미한 새로운 멀티미디어를 자동으로 생성할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2011.07a
• /
• pp.296-298
• /
• 2011

본 논문에서는 향상된 중간 시점 합성 영상을 위한 깊이 영상 부호화 방식을 제안한다. 깊이 영상은 실제 영상과 다르게 날카로운 경계를 기준으로 완만한 변화를 가지는 픽셀 값을 가지는 특성이 있다. 따라서 깊이 영상의 부호화에서는 경계 영역을 효율적으로 부호화하는 것이 중요하다. 기존의 다시점 비디오 부호화기 (Multiview Video Coding)가 하나의 프레임 내에서 고정된 양자화 파라미터 값을 사용하는 것에 반해, 제안된 방식에서는 경계 영역을 효율적으로 부호화하기 위해 블록의 특성에 따라 적응적으로 양자화 파라미터를 할당한다. 2 차 미분 영상의 분포에 기반해 각 블록을 경계 블록, 평탄 블록, 일반 블록으로 구분하고 이에 따라 양자화 파라미터를 할당한다. 실험결과로서, 제안하는 방법의 성능이 다시점 비디오 부호화기 참조 소프트웨어 JMVC 8.3 에 비하여 BD-PSNR 이 평균 0.18dB 향상되고, BD-BR 은 평균 4.03% 감소되어 부호화 효율이 우수함을 확인할 수 있었다.

• Proceedings of the Korean Society of Broadcast Engineers Conference
• /
• 2017.06a
• /
• pp.83-84
• /
• 2017

We propose a novel high dynamic range (HDR) video synthesis algorithm from alternatively exposed low dynamic range (LDR) videos. We first estimate correspondences between input fames using an illumination invariant descriptor. Then, we synthesize an HDR frame with the weights computed to maximize detail preservation in the output HDR frame. Experimental results demonstrate that the proposed algorithm provides high-quality HDR videos without noticeable artifacts.

• Broadcasting and Media Magazine
• /
• v.25 no.2
• /
• pp.52-60
• /
• 2020

최근 생체 정보를 이용한 사용자 인증 기술이 발전하면서 이를 모바일 기기에 적용하는 사례가 크게 증가하고 있다. 특히, 얼굴 기반 인증 방식은 비접촉식이며 사용이 편리하여 적용 범위가 점점 확대되고 있는 추세이다. 그러나, 사용자의 얼굴 사진이나 동영상 등을 이용한 위변조가 용이하기 때문에 모바일 기기 내 보안 유지에 어려움을 야기한다. 본 고에서는 이러한 문제를 해결하기 위해 최근 활발히 연구되고 있는 심층신경망 기반 얼굴 위변조 검출 연구의 최신 동향을 소개하고자 한다. 먼저, 기본 합성곱 신경망 구조부터 생성모델 기반의 위변조 검출 방법까지 다양한 신경망 구조를 이용한 위변조 검출 방법에 대해 설명한다. 또한, 심층신경망 학습을 위해 사용되는 얼굴 위변조 데이터셋에 대해서도 간략히 살펴보고자 한다.