그림 1. 운전자 안전성 향상을 위한 Generative Adversarial Network기반의 야간 도로 영상 변환 시스템 개념도 Fig. 1. Concept of the night-to-day road image translation with generative adversarial network(GAN) for driver safety enhancement
그림 2. 제안하는 이미지 변환 알고리즘(CycleGAN)의 학습 모델 구조. 학습 모델은 Generator AB, Generator BA, Discriminator A, Discriminator B 총 네 개의 네트워크로 구성되며, LDA, LDB, LCONST, A (LCONST,A, LCONST, B) 총 세 개의 손실함수를 통해 학습된다. Fig. 2. The overall structure of training system for the proposed image translation module(CycleGAN). It consists of 4 network; Generator AB, Generator BA, Discriminator A, Discriminator B, and trained by 3 loss functions; LDA, LDB, LCONST, A (LCONST,A, LCONST, B)
그림 3. 영상 데이터 샘플. 왼쪽 두 열은 야간 도로 영상 (도메인 A)의 샘플이며 오른쪽 두 열은 주간 도로 영상 (도메인 B)의 샘플이다. Fig. 3. Example images in collected data. Left two columns: night road images (domain A), right two columns: day road images (domain B)
그림 4. 이미지 변환 알고리즘 별 정성적 결과 비교. 각 행은 입력 영상에 따른 알고리즘 별 출력 영상을 나타낸다. 왼쪽부터 순서대로 입력, 히스토그램 평활화,
그림 5. 동일 영상 기반 알고리즘 별 오 분류 결과 비교. (b) ~ (d)의 영상은 입력 영상 (a)에 대해 각 이미지 변환 알고리즘을 적용한 결과 영상을 나타낸다. 각 그림의 오른쪽 5개의 class는 해당 영상을 Inception 네트워크에 통과시켰을 때 나오는 Top-5 class를 의미한다. (a) 입력 영상, (b) 감마 보정, (c) 히스토그램 평활화, (d) 제안하는 시스템. Fig. 5. Misclassification results of each algorithm for same image. (b) ~ (d) show the translated images of (a) by each image translation method. The 5 classes at the right side of the pictures represents Top-5 classes. (a) Input, (b) Gamma correction, (c) Histogram equalization, (d) Proposed system.
표 1. 알고리즘 별 NIQMC 비교 결과. NIQMC는 기준 영상 없이 영상의 밝기 왜곡 정도를 평가하는 척도이다. 표의 각 행은 그림 4의 각 행 영상을 대상으로 NIQMC를 측정한 결과이다. 오른쪽부터 순서대로 입력, 히스토그램 평활화, 감마 보정, 제안하는 시스템 Table 1 NIQMC values of different methods for night-to-day road image translation. NIQMC is no-reference quality metric of contrast-distorted images. Each row shows NIQMC values of images for each rows in Fig 4. From right to left: input, histogram equalization, gamma correction, proposed system.
References
- A. Paul, R. Chauhan, R. Srivastava, and M. Baruah, "Advanced Driver Assistance Systems", SAE Technical Paper 2016-28-0223, 2016, doi:10.4271/2016-28-0223.
- Z. Sun, G. Bebis and R. Miller, "On-road vehicle detection using optical sensors: a review," Proceedings. The 7th International IEEE Conference on Intelligent Transportation Systems (IEEE Cat. No.04TH8749), Washington, WA, USA, pp. 585-590, 2004, doi: 10.1109/ITSC.2004.1398966.
- S. Plainis and IJ. Murray, "Reaction times as an index of visual conspicuity when driving at night", Ophthalmic Physiol Opt., Vol.22, No.5, pp.409-415, Sep, 2002. https://doi.org/10.1046/j.1475-1313.2002.00076.x
- T. Hacibekir, S. Karaman, E. Kural, E.S. Ozturk, M. Demirci and B. Aksun Guvenc, "Adaptive Headlight System Design Using Hardware- In-The-Loop Simulation", 2006 IEEE Conference on Computer Aided Control System Design, 2006 IEEE International Conference on Control Applications, 2006 IEEE International Symposium on Intelligent Control, Munich, Germany, pp.2165-3011, October, 2006, doi:10.1109/CACSD-CCA-ISIC.2006. 4776767.
- A. A. Efros and T. K. Leung. "Texture synthesis by non-parametric sampling", In ICCV, 1999.
- A. Hertzmann, C. E. Jacobs, N. Oliver, B. Curless, and D. H. Salesin. "Image analogies". In SIGGRAPH, pp.327-340. ACM, 2001.
- J. Zhu, T. Park, P. Isola, and A.A. Efros, "Unpaired image-to-image translation using cycle-consistent adversarial networks", In ICCV, 2017.
- I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio. "Generative adversarial nets". In NIPS, 2014.
- X. Mao, Q. Li, H. Xie, R. Y. Lau, Z. Wang, and S. P. Smolley. "Least squares generative adversarial networks", In CVPR, 2017.
- S.-D. Chen, and A. R. Ramli, "Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation," IEEE Transactions on Consumer Electronics, Vol. 49, No. 4, pp.1301-1309, 2003. https://doi.org/10.1109/TCE.2003.1261233
- W. Kubinger, M. Vincze and M. Ayromlou, "The role of gamma correction in colour image processing," 9th European Signal Processing Conference (EUSIPCO 1998), Rhodes, pp. 1-4, 1998.
- A. Hore and D. Ziou, "Image Quality Metrics: PSNR vs. SSIM," 2010 20th International Conference on Pattern Recognition, Istanbul, pp. 2366-2369, 2010, doi: 10.1109/ICPR.2010.579.
- T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung, A. Radford, and X. Chen, "Improved techniques for training gans," In Advances in Neural Information Processing Systems, pp. 2234-2242, 2016.
- Zhang, Y., Li, K., Li, K., Wang, L., Zhong, B., Fu, Y.: Image super-resolution using very deep residual channel attention networks. In ECCV. 2018.
- Ke Gu, Jun Zhou, Jun-Fei Qiao, Guangtao Zhai, Weisi Lin, Alan Conrad Bovik, "No-reference quality assessment of screen content pictures," IEEE Transactions on Image Processing (T-IP), vol. 26, no. 8, pp. 4005-4018, Aug. 2017. https://doi.org/10.1109/TIP.2017.2711279
- C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. In CVPR, 2016.