Journal of IKEEE (전기전자학회논문지)

Institute of Korean Electrical and Electronics Engineers (한국전기전자학회)
권호 표지
DOI QR코드

DOI QR Code

Real-Time LDR to HDR Conversion Hardware Implementation using Luminance Distribution

영상의 휘도 분포를 이용한 LDR 영상의 실시간 HDR 변환 하드웨어 구현

  • Received : 2018.12.07
  • Accepted : 2018.12.22
  • Published : 2018.12.31
Download PDF
⟨ Previous Next ⟩

Abstract

Due to the development of display technologies for images, the resolution and quality of images are increasing day by day. In accordance with the development of the display technology, researches have been actively conducted on technologies for converting and displaying existing images to higher resolution and quality. Since the results of theses studies are included in the image signal processor, hardware implementation is indispensable. In this paper, we propose a real-time HDR(High Dynamic Range) conversion hardware implementation of LDR(Low Dynamic Range) image using luminance distribution. The proposed method extracts the features of the image using the histogram of the luminance distribution, and extends the luminance and color based on the extracted features. In addition, when the proposed method is designed by hardware IP(Intellectual Property) and its performance is verified, 4K DCI(Digital Cinema Image) can be handled at a rate of 30fps at 265.46MHz.

영상을 출력하는 디스플레이 기술의 발달로 인하여 영상의 해상도와 품질이 나날이 증가하고 있다. 이러한 디스플레이 기술의 발달에 맞추어, 기존의 영상들을 더 높은 해상도와 품질로 변환하여 디스플레이 할 수 있는 기술에 대한 연구가 활발하게 이루어지고 있다. 이러한 연구 결과는 이미지 신호 처리 장치에 포함되기 때문에 하드웨어 구현이 필수적으로 요구된다. 본 논문에서는, 영상의 휘도 분포를 이용한 LDR(Low Dynamic Range) 영상의 실시간 HDR(High Dynamic Range) 변환 하드웨어 구현을 제안한다. 제안하는 방법은 휘도 분포의 히스토그램을 이용하여 영상의 특징을 추출하고, 이를 바탕으로 하여 휘도와 색상을 확장한다. 또한, 제안한 알고리즘을 하드웨어 IP(Intellectual Property)로 설계하여 그 성능을 검증하였을 때, 최대 동작 주파수 265.46MHz로 4K DCI(Digital Cinema Image) 영상에 대하여 30fps로 동작하여 4K 표준에 대응할 수 있음을 확인하였다.

Keywords

JGGJB@_2018_v22n4_901_f0001.png 이미지

Fig. 1. Flowchart of LDR to HDR conversion. 그림 1. 동적 영역 변환 흐름도

JGGJB@_2018_v22n4_901_f0002.png 이미지

Fig. 2. Result image of proposed LDR to HDR Conversion: (a) LDR image, (b) HDR image. 그림 2. 제안하는 동적 영역 확장 방법의 결과: (a) LDR 영상, (b) 변환된 HDR 영상

JGGJB@_2018_v22n4_901_f0003.png 이미지

Fig. 3. Block diagram of proposed hardware. 그림 3. 제안하는 방법의 하드웨어 블록도

JGGJB@_2018_v22n4_901_f0004.png 이미지

Fig. 4. Histogram of LDR and HDR image: (a) histogram of LDR image, (b) histogram of HDR image. 그림 4. LDR 영상과 HDR영상의 히스토그램: (a) LDR 영상의 히스토그램, (b) HDR 영상의 히스토그램

JGGJB@_2018_v22n4_901_f0005.png 이미지

Fig. 5. Error bound of proposed method. 그림 5. 제안하는 방법의 오차 범위

JGGJB@_2018_v22n4_901_f0006.png 이미지

Fig. 6. Block diagram of proposed IP. 그림 6. 제안하는 방법의 IP 내부 블록도

Table 1. XILINX Synthetic Result. 표 1. 자일링스 합성 툴을 이용한 합성 결과

JGGJB@_2018_v22n4_901_t0001.png 이미지

References

  1. ITU-R standard, Rec. ITU-R BT.2020, ITU-R, 2014.
  2. ITU-R standard, Rec. ITU-R BT.2100, ITU-R, 2016.
  3. SMPTE standard, SMPTE 2036-1, SMPTE, 2009.
  4. R. Saha, P. P. Banik, and K. D. Kim, "Conversion of LDR image to HDR-like image through high-level synthesis tool for FPGA implementation," 2018 IEEE International Conference on Consumer Electronics (ICCE2018), pp.1-2, 2018. DOI:10.1109/ICCE.2018.8326111
  5. G. D. Licciardo, C. Cappetta, and L. D. Benedetto, "Design and FPGA implementation of a real-time processor for the HDR conversion of images and videos," 2018 8th Computer Science and Electronic Engineering (CEEC2016), pp. 192-197, 2016. DOI:10.1109/CEEC.2016.7835912
  6. C. Cappetta, G. D. Licciardo, and L. D. Benedetto, "An FPGA oprimization of a multiple resolution architecture for LDR to HDR image conversion," International Symposium on Signals, Circuits and Systems (ISSCS2017), pp.1-4, 2017. DOI:10.1109/ISSCS.2017.8034902
  7. T. Ai, M. A. Ali, G. Steffan, K. Ovtcharov, S. Zulfiqar, and S. Mann, "Real-time HDR video imaging on FPGA with compressed comparametric lookup tables," 2014 IEEE 27th Canadian Conference on Electrical and Computer Engineering (CCECE2014), pp.1-6, 2014. DOI:10.1109/CCECE.2014.6901124
  8. G. Fu, L. Shen, H. Yang, X. Hu, and P. An, "Fast Intra Coding of High Dynamic Range Videos in SHVC," IEEE Signal Processing Letters, vol.25, no.11, pp.1665-1669, 2018. DOI:10.1109/LSP.2018.2867895
  9. S. Park, S. Yu, M. Kim, K. Park, and J. Paik, "Dual Autoencoder Network for Retinex-Based Low-Light Image Enhancement," IEEE Access, vol.6, pp.22084-22093, 2018. DOI:10.1109/ACCESS.2018.2812809
  10. S. Mandal, X. L. Dean-Ben, and D. Razansky, "Visual Quality Enhancement in Optoacoustic Tomography Using Active Contour Segmentation Priors," IEEE Transactions on Medical Imaging, vol.35, no.10, pp.2209-2217, 2016. DOI:10.1109/TMI.2016.2553156
  11. H. Cho, G. J. Kim, K. Jang, S. L, and B. Kang, "Color Image Enhancement Based on Adaptive Nonlinaer Curves of Luminance Features," Journal of Semiconductor Technology and Science, vol.15, no.1, pp.60-67, 2015. DOI:10.5573/JSTS.2015.15.1.060
  12. S. Lee, D. Kim, and C. Kim, "Ramp Distribution-Based Image Enhancement Techniques for Infrared Images," IEEE Signal Processing Letters, vol.25, no.7, pp.931-935, 2018. DOI:10.1109/LSP.2018.2834429
  13. K. Park, S. Yu, S. Park, S. Lee, and J. Paik, "An Optimal Low Dynamic Range Image Generation Method Using a Neural Network," IEEE Transactions on Consumer Electronics, vol.64, no.1, pp.69-76, 2018. DOI:10.1109/TCE.2018.2811257
  14. XILINX, "AMBA AXI4 Interface Protoceol," https://www.xilinx.com/products/intellectual-property/axi.html