Estimation of Displacements and Velocities of Objects from Soccer Image Sequences

축구 영상 시퀀스로부터 물체 이동거리와 속도 측정

  • Nam, Si-Wook (Dept. of Electrical and Electronic Eng., Yonsei University) ;
  • Yi, Jong-Hyon (Dept. of Electrical and Electronic Eng., Yonsei University) ;
  • Lee, Jae-Cheol (Dept. of Electrical and Electronic Eng., Yonsei University) ;
  • Park, Yeung-Gyu (Dept. of Electrical and Electronic Eng., Yonsei University) ;
  • Kim, Jai-Hie (Dept. of Electrical and Electronic Eng., Yonsei University)
  • 남시욱 (연세대학교 전기.전자공학과) ;
  • 이종현 (연세대학교 전기.전자공학과) ;
  • 이재철 (연세대학교 전기.전자공학과) ;
  • 박영규 (연세대학교 전기.전자공학과) ;
  • 김재희 (연세대학교 전기.전자공학과)
  • Published : 2001.03.25

Abstract

In this paper, we propose an algorithm which estimates the displacements and velocities of objects in the soccer field from the soccer image sequences. Assuming the time interval of an object movement is given, we transform the object positions into those in the soccer field model and compute the distance and the velocity. When four corresponding pairs of the feature points, such as the crossing points of the lines in the soccer field, exist and three of them are not on a line, we transform the object positions in the soccer image into those in the soccer field by using the perspective displacement field model. In addition, when the soccer image has less than four feature points, we first transform the object positions into those in the image which has more than four feature points, and then transform the positions into those in the soccer field again. To find the coordinate transformation between two images, we estimate the panning and zooming for consecutive images in the sequence. In the experimental results, we quantitatively evaluated the estimation accuracy by applying our algorithm to the synthetic. soccer image sequences generated by graphic tools, and applied it to the real soccer image sequences for broadcasting to show its usefulness.

본 논문에서는 축구 영상 시퀀스로부터 공과 같은 물체가 축구 경기장내에서 이동한 거리와 속도를 추정하는 알고리듬을 제안하였다. 물체가 이동한 시간과 그 시간 동안의 경기장에서의 물체 위치를 알면 물체의 이동거리와 속도를 구할 수 있다. 본 논문에서는 물체가 이동한 시간이 주어질 때 영상에서의 물체 위치들을 경기장에서의 위치들로 변환하여 그 사이의 거리를 구하고 주어진 시간으로 구산 거리를 나누어 속도를 구하였다. 축구 영상과 경기장간의 대응되는 특징점(경기장 선들의 교차점)이 4개 이상이고, 그 중 세 특징점이 한 직선 위에 존재하지 않는 경우에는 투영 변위 필드 모델에 의해 영상에서의 물체 위치를 경기장에서의 물체 위치로 직접 변환하였다. 또한, 영상에 특징점이 4개 미만 존재하는 경우에는 일단 특징점이 4개 이상인 영상으로 물체 위치를 변환한 후 다시 투영 변위 필드 모델에 의해 경기장에서의 물체 위치로 변환하였다. 특징점이 4개 미만 존재하는 영상과 4개 이상이 영상간의 위치 변환 관계를 구하기 위하여 영상 시퀀스의 모든 영상간에 존재하는 카메라의 패닝, 확대/축소를 구하였다. 실험결과에서는 제안한 알고리듬을 컴퓨터 그래픽 툴로 합성한 축구 영상에 적용하여 물체의 이동 거리와 속도 추정의 정확도를 정량적으로 분석하고, 방송용 축구 영상에 적용하여 그 유용성을 보였다.

Keywords

References

  1. S.S. Intille, A.F.Bobic, 'Tracking using a local closed-world assumption: Tracking in the football domain', MIT Media Lab Perceptual Computing Group, TR No.296, MIT, August, 1994
  2. Y. Seo, S. Choi, H. Kim and K. S. Hong, 'Where are the ball and players? Soccer game analysis with color-based tracking and image mosaik', Proc. of International Conference on Image Analysis and Processing, Florence, Italy, 1997
  3. T. Kim, Y. Seo, and K. S. Hong, 'Physics-based 3D position analysis of a soccer ball from monocular image sequences', Proc. of International Conference on Computer Vision, Bombay, India, pp. 721-726, Jan. 1998 https://doi.org/10.1109/ICCV.1998.710797
  4. Ian Reid and Andrew Zisserman, 'Goal-directed Video Metrology', Proc. of European Conference on Computer Vision, 1996
  5. T. Bebie, H. Bieri, 'SoccerMan-Reconstructing Soccer Games from Video Sequences', Proc. of International Conference on Image Processing, pp. 898-902, 1998 https://doi.org/10.1109/ICIP.1998.723665
  6. ORAD High Tech Systems(http://www.orad.co.il/sport/dreplay.htm)
  7. T. Taki, J. Hasegawa and T.Fukumura, 'Development of Motion Analysis System for Quantitative Evaluation of Teamwork in Soccer Games', Proc. of International Conference On Image Processing, Vol.III, pp.815-818, 1996 https://doi.org/10.1109/ICIP.1996.560865
  8. Y. Fok and O.Au, 'Fast Motion Estimation Using Spatial Decimation', Proc. of International Conference on Signal and Image Processing, Vol. 1, pp.225-228, Las Vegas, Nevada, Nov., 1995
  9. A. Murat Tekalp, Digital Video Processing, Prentice-Hall, pp. 153-155, 1995
  10. FIFA Home page (http://www.fifa.com)
  11. S. M. Smith and J. M. Brady. 'SUSAN- a new approach to low level image processing', Int. Journal of Computer Vision, 23(1) : 45-78, May 1997 https://doi.org/10.1023/A:1007963824710
  12. 남시욱, 이재철, 이종현, 이재호, 이상길, 김재희, '투영 변위 필드 모델을 이용한 물체 이동거리 추정 및 추정 정확도의 정량적 평가', 1999년 인공지능, 신경망 및 퍼지시스템 종합학술대회 논문집, pp.275-278, 1999년 10월
  13. 이종현, 남시욱, 이재철, 김재희, '배경의 특징 추적을 이용한 물체의 이동 거리 추정 및 정확도 평가', 1999년 대한전자공학회 추계종합학술대회 논문집, Vol.22, No.2, pp.621 624, 1999년 11월
  14. Siwook Nam, Jae Cheol Lee, Jonghyon Yi, Jaihie Kim, 'Quantitative Evaluation of the Estimation Accuracy of Object Displacement and Velocity in Soccer Games', Proc. of International Conference on Computer Vision, Pattern Recognition, and Image Processing, JCIS 2000. Vol. 2, pp.135-138, Atlantic City, New Jersey, Feb.27-Mar.3, 2000