Journal of Korea Multimedia Society (한국멀티미디어학회논문지)

Korea Multimedia Society (한국멀티미디어학회)
권호 표지
DOI QR코드

DOI QR Code

Region-growing based Hand Segmentation Algorithm using Skin Color and Depth Information

피부색 및 깊이정보를 이용한 영역채움 기반 손 분리 기법

  • 서종훈 (연세대학교 컴퓨터과학과) ;
  • 채승호 (연세대학교 컴퓨터과학과) ;
  • 심진욱 (연세대학교 컴퓨터과학과) ;
  • 김하영 (연세대학교 컴퓨터과학과) ;
  • 한탁돈 (연세대학교 컴퓨터과학과)
  • Received : 2013.04.30
  • Accepted : 2013.08.19
  • Published : 2013.09.30
Download PDF
⟨ Previous Next ⟩

Abstract

Extracting hand region from images is the first part in the process to recognize hand posture and gesture interaction. Therefore, a good segmenting method is important because it determines the overall performance of hand recognition systems. Conventional hand segmentation researches were prone to changing illumination conditions or limited to the ability to detect multiple people. In this paper, we propose a robust technique based on the fusion of skin-color data and depth information for hand segmentation process. The proposed algorithm uses skin-color data to localize accurate seed location for region-growing from a complicated background. Based on the seed location, our algorithm adjusts each detected blob to fill up the hole region. A region-growing algorithm is applied to the adjusted blob boundary at the detected depth image to obtain a robust hand region against illumination effects. Also, the resulting hand region is used to train our skin-model adaptively which further reduces the effects of changing illumination. We conducted experiments to compare our results with conventional techniques which validates the robustness of the proposed algorithm and in addition we show our method works well even in a counter light condition.

영상에서 배경을 제거하고 손을 분리하는 기술은 손 인식 연구에서 가장 먼저 수행되는 기술이며, 분리된 결과 영상의 성능에 따라 이후의 인식 단계의 성능이 결정되는 중요한 기술이다. 기존의 연구는 조명 및 배경의 변화에 취약하거나 다수의 사용자와 상호작용에 한계가 있었다. 본 논문에서는 컬러 영상과 깊이 영상을 혼용하여 손을 분리하는 기술을 제안한다. 먼저 입력된 컬러 영상을 이용하여 복잡한 환경에서도 정확하게 영역 채움을 위한 초기 위치를 설정하였다. 이 위치를 기준으로 영역 채움 연산을 위한 한계 영역을 재설정하여 조명 변화로 침식된 영역을 포함하도록 하고, 깊이 영상에서 영역 채움 연산을 수행함으로써 조명과 환경의 변화에도 강인하게 손의 영역을 분리하도록 하였다. 또한, 이렇게 분리된 손의 영역을 이용하여 실시간으로 피부 모델을 학습함으로써 조명 환경에 적응적으로 피부 모델을 갱신하여 보다 강인한 인식 성능을 얻을 수 있었다. 이를 다양한 조명 및 배경 환경에서 기존의 알고리즘과 비교 실험을 수행하여 강인한 인식 성능을 확인할 수 있었으며, 특히 역광 환경과 같이 조명 변화가 극심한 환경에서 강인한 성능을 보여주었다.

Keywords

References

  1. L. Dipietro, A.M. Sabatini, and P. Dario, "A Survey of Glove-Based Systems and Their Applications," IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, Vol. 38, No. 4, pp. 461- 482, 2008.
  2. J. Suarez and R.R. Murphy, "Hand Gesture Recognition with Depth Images: A Review," Proc. the 21st IEEE Int. Symposium on Robot and Human Interactive Communication, pp. 411-417, 2012.
  3. D. Michel, I. Oikonomidis, and A. Argyros, "Scale Invariant and Deformation Tolerant Partial Shape Matching," Image and Vision Computing, Vol. 29, No. 7, pp. 459-469, 2011. https://doi.org/10.1016/j.imavis.2011.01.008
  4. I. Oikonomidis, N. Kyriazis, and A. Argyros, "Tracking the Articulated Motion of Two Strongly Interacting Hands," Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, pp. 1862-1869, 2012.
  5. 김지호, 박양우, 한규필, "기울기와 위치 정보를 이용한 손동작기반 실시간 숫자 인식기 구현," 정보처리학회지, 제2권, 제3호, pp. 199-204, 2013. https://doi.org/10.3745/KTSDE.2013.2.3.199
  6. 이광용, 황부현, "Airtouch 기술을 활용한 스마트융합 DID 시스템 설계," 한국항행학회논문지, 제17권, 제2호, pp. 240-246, 2013. https://doi.org/10.12673/jkoni.2013.17.2.240
  7. 정지성, 김종오, 김도형, 권순옥, 주성연, 오원근, 류관희, "3D 전자교과서를 제어하기 위한 손 제스처 인터페이스," 한국컴퓨터게임학회논문지, 제25권, 제4호, pp. 119-127. 2012.
  8. V. Vezhnevets, V. Sazonov, and A. Andreeva, "A Survey on Pixel-based Skin Color Detection Techniques," Proc. Int. Conf. Graphicon, pp. 85-92, 2003.
  9. P. Kakumanu, S. Makrogiannis, and N. Bourbakis, "A Survey of Skin-color Modeling and Detection Methods," Pattern Recognition, Vol. 40, No. 3, pp. 1106-1122, 2007. https://doi.org/10.1016/j.patcog.2006.06.010
  10. 박상윤, 이응주, "복잡한 영상에 강인한 손동작인식 방법," 멀티미디어학회논문지, 제13권, 제7 호, pp. 1000-1015, 2010.
  11. F. Xu and K. Fujimura, "Human Detection using Depth and Gray Images," Proc. IEEE Int. Conf. on Advanced Video and Signal Based Surveillance, pp. 115-121, 2003.
  12. X. Liu and K. Fujimura, "Hand Gesture Recognition using Depth Data," Proc. the 6th IEEE Int. Conf. on Automatic Face and Gesture Recognition, pp. 529-534, 2004.
  13. H. An and D. Kim, Hand Gesture Recognition using 3D Depth Data, Department of Computer Science and Engineering, Pohang University of Science and Technology, Korea, 2009.
  14. Z. Ren, J. Yuan, and Z. Zhang, "Robust Hand Gesture Recognition based on Finger-earth Mover's Distance with a Commodity Depth Camera," Proc. the 19th ACM Int. Conf. on Multimedia, pp. 1093-1096, 2011.
  15. K. Fujimura and X. Liu, "Sign Recognition using Depth Image Streams," Proc. the 7th Int. Conf. on Automatic Face and Gesture Recognition, pp. 381-386, 2006.
  16. X. Chai, Y. Fang, and K. Wang, "Robust Hand Gesture Analysis and Application in Gallery Browsing," Proc. IEEE Int. Conf. on Multimedia and Expo, pp. 938-941, 2009.
  17. M. Elmezain, A. Al-Hamadi, and B. Michaelis, "Improving Hand Gesture Recognition using 3D Combined Features," Proc. the 2nd Int. Conf. on Machine Vision, pp. 128-132, 2009.
  18. M. Elmezain, A. Al-Hamadi, and B. Michaelis, "Hand Trajectory-based Gesture Spotting and Recognition using HMM," Proc. the 16th IEEE Int. Conf. on Image Processing, pp. 3577-3580, 2009.
  19. M. Van den Bergh and L. Van Gool, "Combining RGB and ToF Cameras for Real-time 3D Hand Gesture Interaction," Proc. IEEE Workshop on Applications of Computer Vision, pp. 66-72, 2011.
  20. S. Kang, A. Roh, and H. Hong, "Using Depth and Skin Color for Hand Gesture Classification," IEEE Int. Conf. on Consumer Electronics, pp. 155-156, 2011.
  21. Q. Zhu, C.T. Wu, K.T. Cheng, and Y.L. Wu, "An Adaptive Skin Model and Its Application to Objectionable Image Filtering," Proc. the 12th ACM Int. Conf. on Multimedia, pp. 56-63, 2013.
  22. K. Kim, T.H. Chalidabhongse, D. Harwood, and L. Davis, "Real-time Foreground-background Segmentation using Codebook Model," Real-Time Imaging, Vol. 11, No. 3, pp. 172- 185, 2005.
  23. B.H. Oh, J.H. An, and K.S. Hong, "Mobile User Interface using a Robust Fingertip Detection Algorithm for Complex Lighting and Background Conditions," Int. Proc. of Computer Science and Information Technology, Vol. 27, pp. 143-147, 2012.
  24. F. Dadgostar and A. Sarrafzadeh, "An Adaptive Real-time Skin Detector Based on Hue Thresholding: A Comparison on Two Motion Tracking Methods," Pattern Recognition Letters, Vol. 27, No. 12, pp. 1342-1352, 2006. https://doi.org/10.1016/j.patrec.2006.01.007
  25. C.O. Conaire, N.E. O'Connor, and A.F. Smeaton, "Detector Adaptation by Maximising Agreement Between Independent Data Sources," Proc. IEEE Conf. on Computer Vision and Pattern Recognition, pp. 1- 6, 2007.

Cited by

  1. Real-Time Pig Segmentation for Individual Pig Monitoring in a Weaning Pig Room vol.19, pp.2, 2016, https://doi.org/10.9717/kmms.2016.19.2.215
  2. 다양한 환경에 강인한 컬러기반 실시간 손 영역 검출 vol.14, pp.6, 2013, https://doi.org/10.14372/iemek.2019.14.6.295
  3. 다양한 환경에 강인한 컬러기반 실시간 손 영역 검출 vol.14, pp.6, 2013, https://doi.org/10.14372/iemek.2019.14.6.295