Multi-Object Detection Using Image Segmentation and Salient Points

영상 분할 및 주요 특징 점을 이용한 다중 객체 검출

  • Lee, Jeong-Ho (Dept. of Computer Science and Engineering, Hanyang University) ;
  • Kim, Ji-Hun (PDP DV R&D Center, LG Electronics Inc.) ;
  • Moon, Young-Shik (Dept. of Computer Science and Engineering, Hanyang University)
  • Published : 2008.03.25

Abstract

In this paper we propose a novel method for image retrieval system using image segmentation and salient points. The proposed method consists of four steps. In the first step, images are segmented into several regions by JSEG algorithm. In the second step, for the segmented regions, dominant colors and the corresponding color histogram are constructed. By using dominant colors and color histogram, we identify candidate regions where objects may exist. In the third step, real object regions are detected from candidate regions by SIFT matching. In the final step, we measure the similarity between the query image and DB image by using the color correlogram technique. Color correlogram is computed in the query image and object region of DB image. By experimental results, it has been shown that the proposed method detects multi-object very well and it provides better retrieval performance compared with object-based retrieval systems.

본 논문은 영상 분할 기법 및 특징 점 추출 기법을 이용한 객체 추출 방법과 영상 검색 방법을 제안한다. 제안하는 방법은 크게 네 단계의 과정으로 이루어져 있다. 첫 번째 단계에서는 데이터베이스 영상에 대해서 JSEG 알고리즘을 이용하여 영상을 분할한다. 두 번째 단계에서 각 분할된 영역과 질의 영상에서 대표 색상을 추출하고, 색상 히스토그램을 생성한다. 질의 영상과 데이터베이스 영상의 각 영역간의 대표 색상과 색상 히스토그램을 비교한 결과를 종합하여 객체 후보 영역을 추출한다. 영상분할 과정에서 지나치게 분할된 영역을 위해 인접해 있는 후보 영역들을 합병한다. 세 번째 단계에서는 각 후보 영역과 질의 영상에서 DoG(Difference of Gaussian) 피라미드의 극치 점으로부터 영상의 크기 변화에 일관된 중요 특징 점들을 추출한다. 추출된 특징 점들을 정합하여 질의 영상에 해당하는 객체를 검출한다. 마지막 단계에서는 질의 영상과 객체 영역이 추출된 DB 영상과의 유사도 측정을 통한 검색을 수행하며, 유사도 측정은 색상 상관도표(Color correlogram)를 사용한다. 실험 결과를 통하여 본 논문에서 제안하는 영상 검색 방법은 질의 객체 영상에 대해 영상 전체를 비교하는 것이 아니라 객체가 존재하는 영역을 추출한 후 유사도를 측정함으로써, 배경에 의한 오검색률이 감소하고, 검색 성능이 향상됨을 확인하였다.

Keywords

References

  1. Y. Rui and T. S. Huang, "Image retrieval : current techniques, promising directions, and open issues," Journal of Visual Communications and Image Representation, Vol. 10, pp.39-62, 1999 https://doi.org/10.1006/jvci.1999.0413
  2. A. Yoshitatka and T. Ichikawa, "A survey on content-based retrieval for multimedia databases," IEEE Trans. on Knowledge and Data Engineering, Vol. 11, No. 1, pp. 81-93, 1999 https://doi.org/10.1109/69.755617
  3. A. Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain, "Content-based image retrieval at the end of the early years," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.22, no.12, pp.1349-1380, Dec.2000 https://doi.org/10.1109/34.895972
  4. 박기태, 문영식, "Dominant 컬러쌍 정보와 Color Correlogram을 이용한 객체기반 영상검색," 전자공학회논문지, CI편 제40권 2호, 1-8쪽, 2006년 3월
  5. J. Huang, S. R. Kumar, M. Mitra, W. J. Zhu, and R. Zabih, "Image indexing using color correlograms," Proc. of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 762-768, 1997
  6. M. Das, E. Riseman, and B. Draper, "FOCUS: Searching for multi-colored objects in a diverse image database," Proc. of 16th IEEE Conference on Computer Vision and Pattern Recognition, pp. 756-761, 1997
  7. S. Cohen, "Finding color and shape patterns in images," Technical Report STAN - CS - TR -99 - 1620, Stanford University, STAN - CS - TR-99-1620, May 1999
  8. D. G. Lowe, "Distinctive image features from scale-invariant keypoints," IJCV, Vol. 60(2), pp. 91-110, 2004 https://doi.org/10.1023/B:VISI.0000029664.99615.94
  9. Y. Deng and B. S. Manjunath, "Unsupervised segmentation of color-texture regions in images and video," IEEE Trans. on PAMI, Vol. 23, No. 8. pp. 800-810, 2001 https://doi.org/10.1109/34.946985
  10. M. J. Swain, "Color indexing," Journal of Computer Vision, Vol. II-32, pp. 11-32, 1991
  11. G. Pass and R, Zabih, "Histogram refinement for content-based image retrieval," Journal of Multimedia System, Vol 7. No. 3, pp. 234-240, 1999 https://doi.org/10.1007/s005300050125