Slow Sync Image Synthesis from Short Exposure Flash Smartphone Images

단노출 플래시 스마트폰 영상에서 저속 동조 영상 생성

Slow sync is a photography technique where a user takes an image with long exposure and a camera flash to enlighten the foreground and background. Unlike short exposure with flash and long exposure without flash, slow sync guarantees the bright foreground and background in the dim environment. However, taking a slow sync image with a smartphone is difficult because the smartphone camera has continuous and weak flash and can not turn on flash if the exposure time is long. This paper proposes a deep learning method that input is a short exposure flash image and output is a slow sync image. We present a deep learning network with a weight map for spatially varying enlightenment. We also propose a dataset that consists of smartphone short exposure flash images and slow sync images for supervised learning. We utilize the linearity of a RAW image to synthesize a slow sync image from short exposure flash and long exposure no-flash images. Experimental results show that our method trained with our dataset synthesizes slow sync images effectively.

저속 동조는 촬영자가 장노출과 카메라 플래시를 동시에 이용해서 전경과 배경을 밝게 하는 촬영 기법이다. 단노출 플래시 촬영과 플래시 없는 장노출 촬영과는 달리 저속 동조는 어두운 환경에서의 밝은 전경과 배경을 보장한다. 하지만 스마트폰으로 저속 동조 촬영은 어려운데, 이는 스마트폰 카메라의 플래시는 약한 지속 광이고 노출 시간이 길어지면 플래시를 켜지 못하기 때문이다. 본 연구에서는 단노출 플래시 영상에서 저속 동조 영상을 만드는 딥러닝 방법을 제안한다. 본 연구에서는 공간상에서 가변적인 영상 밝기 개선을 위해 가중치 맵을 적용한 네트워크를 제안한다. 본 연구에서는 지도 학습을 위한 스마트폰 단노출 플래시 영상과 저속 동조 영상 데이터 세트도 제안한다. RAW 영상의 선형성을 이용해 단노출 플래시 영상과 플래시 없는 장노출 영상으로부터 저속 동조 영상을 생성해서 데이터 세트를 구축한다. 실험을 통해 본 연구의 방법이 저속 동조 영상을 효과적으로 생성하는 것을 볼 수 있다.