Journal of the Korea Computer Graphics Society (한국컴퓨터그래픽스학회논문지)

Korea Computer Graphics Society (한국컴퓨터그래픽스학회)
권호 표지
DOI QR코드

DOI QR Code

Improving Spatial Resolution in Real-time for Ultra-thin Light Field Cameras

초박형 라이트필드 카메라의 실시간 분해능 향상 알고리즘 개발

  • Received : 2021.06.03
  • Accepted : 2021.06.25
  • Published : 2021.07.23
Download PDF
⟨ Previous Next ⟩

Abstract

초박형 라이트필드 카메라 시스템은 이미지 센서 위에 렌즈 어레이를 부착하는 방식으로 만들어진다. 이러한 초박형 라이트필드 카메라는 하나의 이미지 센서를 여러 개의 sub-aperture가 나눠쓰는 방식으로 되어있어 개별 이미지의 분해능이 낮으며, sub-aperture 이미지들을 융합해 추가적인 분해능 향상이 수행되어야 한다. 본 연구에서는 초박형 라이트필드 카메라 시스템을 개발했으며, 개발된 카메라 시스템을 위한 실시간 분해능 향상 알고리즘을 개발, 실험을 통해 검증했다. 개발된 초박형 라이트필드 카메라는 두께 2mm, 24개(6×4)의 551×551 해상도의 sub-aperture로 구성되어 있으며, 임베디드 컴퓨팅 보드를 사용해 휴대가 가능하도록 제작되었다. 실시간 분해능 향상 알고리즘은 임베디드 컴퓨팅 보드의 GPU에서 병렬처리를 통해 라플라시안 피라미드 기반의 이미지 융합 알고리즘을 수행한다. 실험을 통해 검증한 결과로, 개발 시스템은 MTF50값이 평균 35% 정도 개선되었으며, 10.65fps의 처리속도로 실시간 처리가 가능함을 확인했다.

Keywords

Acknowledgement

이 연구는 LIG Nex1 산학협력과제 지원으로 연구되었음.

References

  1. S. J. Gortler, R. Grzeszczuk, R. Szeliski, and M. F. Cohen, "The lumigraph," in Proceedings of SIGGRAPH 1996. ACM, 1996, pp. 43-54.
  2. M. Levoy and P. Hanrahan, "Light field rendering," in Proceedings of the 23rd Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH 1996, New Orleans, LA, USA, August 4-9, 1996. ACM, 1996, pp. 31-42.
  3. D. Kang, D. S. Jeon, H. Kim, H. Jang, and M. H. Kim, "View-dependent scene appearance synthesis using inverse rendering from light fields," in Proc. IEEE International Conference on Computational Photography (ICCP) 2021), May 2021.
  4. K. Venkataraman, D. Lelescu, J. Duparre, A. McMahon, ' G. Molina, P. Chatterjee, R. Mullis, and S. K. Nayar, "PiCam: an ultra-thin high performance monolithic camera array," ACM Trans. Graph., vol. 32, no. 6, pp. 166:1-166:13, 2013.
  5. A. Meuleman, H. Jang, D. S. Jeon, and M. H. Kim, "Real-time sphere sweeping stereo from multiview fisheye images," in The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2021.
  6. E. Rublee, V. Rabaud, K. Konolige, and G. R. Bradski, "ORB: an efficient alternative to SIFT or SURF," in IEEE International Conference on Computer Vision, ICCV 2011, Barcelona, Spain, November 6-13, 2011. IEEE Computer Society, 2011, pp. 2564-2571.
  7. T. Mertens, J. Kautz, and F. V. Reeth, "Exposure fusion: A simple and practical alternative to high dynamic range photography," Comput. Graph. Forum, vol. 28, no. 1, pp. 161-171, 2009. https://doi.org/10.1111/j.1467-8659.2008.01171.x
  8. J. H. Lee, I. Choi, and M. H. Kim, "Laplacian patch-based image synthesis," in Proc. IEEE Computer Vision and Pattern Recognition (CVPR 2016). Las Vegas, USA: IEEE, 2016.
  9. M. H. Kim, T. A. Harvey, D. S. Kittle, H. Rushmeier, J. Dorsey, R. O. Prum, and D. J. Brady, "3d imaging spectroscopy for measuring hyperspectral patterns on solid objects," ACM Transactions on Graphics (Proc. SIGGRAPH 2012), vol. 31, no. 4, pp. 38:1-11, 2012. [Online]. Available: http://dl.acm.org/citation.cfm?doid=2185520.2185534