Journal of the Institute of Convergence Signal Processing (융합신호처리학회논문지)

The Korea Institute of Convergence Signal Processing (한국융합신호처리학회)
권호 표지

The Implementation of Automatic Compensation Modules for Digital Camera Image by Recognition of the Eye State

눈의 상태 인식을 이용한 디지털 카메라 영상 자동 보정 모듈의 구현

  • 전영준 (동의대학교 부산IT융합부품연구소) ;
  • 신홍섭 (동의대학교 컴퓨터공학과) ;
  • 김진일 (동의대학교 컴퓨터공학과)
  • Received : 2013.07.15
  • Accepted : 2013.08.01
  • Published : 2013.07.30
Download PDF
⟨ Previous Next ⟩

Abstract

This paper examines the implementation of automatic compensation modules for digital camera image when a person is closing his/her eyes. The modules detect the face and eye region and then recognize the eye state. If the image is taken when a person is closing his/her eyes, the function corrects the eye and produces the image by using the most satisfactory image of the eye state among the past frames stored in the buffer. In order to recognize the face and eye precisely, the pre-process of image correction is carried out using SURF algorithm and Homography method. For the detection of face and eye region, Haar-like feature algorithm is used. To decide whether the eye is open or not, similarity comparison method is used along with template matching of the eye region. The modules are tested in various facial environments and confirmed to effectively correct the images containing faces.

본 논문에서는 디지털 카메라를 이용하여 사진을 촬영할 때 눈의 감긴 상태를 확인하여 이를 자동으로 보정하여 출력해주는 모듈의 구현에 관하여 연구하였다. 먼저 촬영된 영상에 대하여 얼굴 및 눈의 영역을 검출하고 눈의 상태를 인식한다. 만약 눈이 감긴 영상이 촬영되었을 때 버퍼에 임시로 저장된 이전 프레임 영상들에 대하여 눈의 상태를 인식한 후, 가장 눈의 상태가 만족스러운 영상을 이용하여 눈을 보정한 후에 사진을 출력한다. 얼굴 및 눈을 정확하게 인식하기 위해서 SURF 알고리즘과 호모그래피 방법을 적용하여 영상을 보정하는 전처리 과정을 수행한다. 얼굴 영역과 눈 영역을 검출하는 것은 Haar-like feature 알고리즘을 이용하였다. 눈을 뜨고 있는 상태인지 감은 상태인지를 눈의 영역에 대한 템플릿매칭을 이용한 유사도를 판단하여 확인한다. 본 연구에서 개발된 기능을 다양한 형태의 얼굴 환경에서 테스트한 결과 얼굴이 포함된 영상에 대하여 효과적으로 보정이 수행됨을 확인하였다.

Keywords

References

  1. 한동일, "실시간 얼굴 검출 기술 연구 동향," IDEC NewsLetter, pp. 08-13, 2011.
  2. 박찬우, "텍스처 기반의 눈 검출 기법," 한양대학교 대학원, 석사학위 논문, 2007. 08.
  3. H.Bay, T.Tuytelaars, and L.V.Gool, "Surf: Speeded up robust features," In Proceedings of the ninth European Conference on Computer Vision, 2006.
  4. 윤현섭, 한영준, 한헌수, "컬러 불변 특징과 광역 특징을 갖는 확장 SURF 알고리즘", 전자공학회 논문지, 제 46권 sp편 제 6호, pp. 58-67, 2009.
  5. Meng You, Jong-Seok Lim, Wook-Hyun Kim, "Panoramic Image Stitching using SURF," 한국신호처리.시스템학회논문지, v.12, no.1, pp.26-32, 2011.
  6. 장철희, 이기성, 조근식, "평면 호모그래피 정확도 향상을 위한 제약만족문제(Constraint Satisfaction Problem) 기반의 RANSAC 알고리즘," 정보과학회논문지 : 소프트웨어 및 응용 제39권 제11호, pp. 876-888 2012. 11.
  7. Homography,http://en.wikipedia.org/wiki/Homography, 2012.
  8. Paul Viola, Michael J. Jones, Fast Multi-view Face Detection, Mitsubishi Electric Research Laboratories, TR2003-096, 2003. 08.
  9. P. Viola and M. Jones. Rapid object detection using a boosted cascade of simple features. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, Kauai, HI, pp. 1-9, 2001. 12.
  10. Philip Ian Wilson, John Fernandez, "FACIAL FEATURE DETECTION USING HAAR CLASSIFIERS" JCSC 21, 4, pp.127-133, 2006. 04.
  11. R. Lienhart and J. Maydt, "An extended set of Haar-like features for rapid object detection," In Proc. ICIP(1), pp.900-903, 2002.
  12. Chau, M. and Betke, M., 2005, Real Time Eye tracking and Blink Detection with USB Cameras, Boston University Computer Science Technical Report No. 2005-12, 2005.
  13. OpenCV Computer Vision Application Programming, http://opencv.org/, 2013.
  14. E. Reinhard, M. Adhikhmin, B. Gooch, and P.Shirley, "Color transfer between images," IEEE Computer Graphics and Applications, vol.21, no.5, pp.34-41, Sep./Oct. 2001.
  15. Gary Bradski, Adrian Kaehler, Learning OpenCV: Computer Vision with the OpenCV Library, O'Reilly Media, 1st edition, 2008. 1.
  16. 신홍섭, 김진일, "디지털 카메라의 인물사진 보정 알고리즘에 관한 연구", 한국신호처리.시스템학회 2013 하계학술대회논문집, 14권 1호, pp.87-88, 2013.