• 한국멀티미디어학회논문지
• /
• 제25권1호
• /
• pp.1-9
• /
• 2022

Ship detection in synthetic aperture radar (SAR) images is an important application in marine monitoring for the military and civilian domains. Over the past decade, object detection has achieved significant progress with the development of convolutional neural networks (CNNs) and lot of labeled databases. However, due to difficulty in collecting and labeling SAR images, it is still a challenging task to solve SAR ship detection CNNs. To overcome the problem, some methods have employed conventional data augmentation techniques such as flipping, cropping, and affine transformation, but it is insufficient to achieve robust performance to handle a wide variety of types of ships. In this paper, we present a novel and effective approach for deep SAR ship detection, that exploits label-rich Electro-Optical (EO) images. The proposed method consists of two components: a data augmentation network and a ship detection network. First, we train the data augmentation network based on conditional generative adversarial network (cGAN), which aims to generate additional SAR images from EO images. Since it is trained using unpaired EO and SAR images, we impose the cycle-consistency loss to preserve the structural information while translating the characteristics of the images. After training the data augmentation network, we leverage the augmented dataset constituted with real and translated SAR images to train the ship detection network. The experimental results include qualitative evaluation of the translated SAR images and the comparison of detection performance of the networks, trained with non-augmented and augmented dataset, which demonstrates the effectiveness of the proposed framework.

• 한국빅데이터학회지
• /
• 제7권1호
• /
• pp.173-185
• /
• 2022

현재 한국의 웹툰은 세계 디지털 만화 시장을 선도하고 있다. 웹툰은 세계 각국 다양한 언어로 서비스되고 있으며 웹툰의 IP(지식재산권)를 이용해 제작된 드라마와 영화가 크게 흥행하면서 웹툰의 영상화 작업도 점점 많아지고 있다. 그러나 이러한 웹툰의 성공과 함께 웹툰 작가의 노동 환경이 중요한 문제로 떠오르고 있다. 「2021년 만화 이용자 실태조사」에 따르면, 웹툰 작가의 하루 평균 작업시간은 10.5시간이며 일주일 평균 5.9일을 창작활동에 사용한다. 작가들은 매주 많은 분량의 그림을 그려야 하는데, 웹툰 간의 경쟁은 더욱 치열해지고 있으며 회 당 작가가 그려야 할 분량은 점점 늘어가고 있다. 따라서, 이 연구에서는 딥러닝 기술을 이용하여 웹툰 배경 이미지를 생성하고 웹툰 제작에 활용할 것을 제안한다. 웹툰의 주요 인물은 작가의 독창성이 상당 부분 포함되는 영역이지만, 배경 그림은 비교적 반복적이며 독창성이 필요하지 않은 영역이기 때문에, 작가의 작화 스타일과 유사한 배경 그림을 생성할 수 있다면 웹툰 제작에 유용하게 사용될 수 있다. 배경 생성은 image-to-image translation에서 좋은 성능을 보여주고 있는 CycleGAN과 카툰(cartoon) 스타일에 특화된 CartoonGAN을 이용한다. 이러한 생성은 과도한 업무환경에 처한 작가들의 노동 시간을 단축하고 웹툰과 기술의 융합에 기여할 것으로 기대된다.