A Feature Re-weighting Approach for the Non-Metric Feature Space

가변적인 길이의 특성 정보를 지원하는 특성 가중치 조정 기법

  • ;
  • 김상희 (국방과학연구소 지형영상처리팀) ;
  • 박호현 (중앙대학교 전자전기공학부) ;
  • 이석룡 (한국외국어대학교 산업정보시스템공학과) ;
  • 정진완 (한국과학기술원 전산학전공)
  • Published : 2006.08.01

Abstract

Among the approaches to image database management, content-based image retrieval (CBIR) is viewed as having the best support for effective searching and browsing of large digital image libraries. Typical CBIR systems allow a user to provide a query image, from which low-level features are extracted and used to find 'similar' images in a database. However, there exists the semantic gap between human visual perception and low-level representations. An effective methodology for overcoming this semantic gap involves relevance feedback to perform feature re-weighting. Current approaches to feature re-weighting require the number of components for a feature representation to be the same for every image in consideration. Following this assumption, they map each component to an axis in the n-dimensional space, which we call the metric space; likewise the feature representation is stored in a fixed-length vector. However, with the emergence of features that do not have a fixed number of components in their representation, existing feature re-weighting approaches are invalidated. In this paper we propose a feature re-weighting technique that supports features regardless of whether or not they can be mapped into a metric space. Our approach analyses the feature distances calculated between the query image and the images in the database. Two-sided confidence intervals are used with the distances to obtain the information for feature re-weighting. There is no restriction on how the distances are calculated for each feature. This provides freedom for how feature representations are structured, i.e. there is no requirement for features to be represented in fixed-length vectors or metric space. Our experimental results show the effectiveness of our approach and in a comparison with other work, we can see how it outperforms previous work.

이미지 데이타베이스 분야에 대한 다양한 기법들 가운데, 내용 기반 영상 검색 기법 (Content Based Image Retrieval)은 대용량의 영상을 효율적으로 검색하고 탐색할 수 있도록 한다. 기존의 내용 기반 영상 검색 시스템은 사용자가 입력한 질의 이미지에서 낮은 레벨의 특성 (low-level feature)을 추출하고 그에 기반하여 데이타베이스로부터 유사한 영상을 검색한다. 하지만 컴퓨터에서 사용하는 낮은 레벨의 특성은 실제 인간이 영상을 인식하는 방법과 다르게 영상을 인식한다는 단점이 있다. 이러한 단점을 보완하기 위하여 각 특성에 대한 가중치를 적합성 피드백 (relevance feedback)을 통하여 재조정하는 기법이 개발되었다. 기존의 특성 가중치 조정 (feature re-weighting) 기법은 모든 영상에 대하여 특성은 항상 고정된 길이의 벡터 데이타로 표현된다고 가정한다, 이러한 가정을 전제로 하여 기존의 기법은 특성 표현 (feature representation)의 각 부분을 n 차원 공간의 각 축에 할당한다. 하지만 특성 표현 기법의 발전에 따라 가변적인 길이의 벡터로 표현되는 특성이 출현하였으며 이로 인하여 기존의 제한된 길이의 벡터로 표현되는 특성 표현에 기반한 특성 가중치 조정 기법의 유효성은 감소하게 되었다. 본 논문에서는 가변적인 크기의 벡터로 표현되는 특성에 대해서도 특성 가중치를 효과적으로 조정할 수 있는 기법을 제안한다. 본 기법은 특성에 기반하여 계산된 질의 영상과 데이타베이스 내부의 영상간의 거리와 양방향 신뢰구간을 이용하여 특성 가중치를 조정한다. 이 때 각 특성의 거리 계산 방법에 대해서는 제한을 두지 않는다. 또한 각 특성의 표현에 있어서도 고정적인 크기뿐만이 아니라 가변적인 크기의 데이타 역시 사용할 수 있도록 한다. 본 논문에서는 실험을 통하여 제안한 기법의 유효성을 입증하였으며, 다른 연구 결과와의 비교를 통하여 제안한 기법의 성능이 보다 우수함을 보였다.

Keywords

References

  1. RUi, Y., Huang, T. S., Ortega, M., and Mehrotra, S., 'Relevance Feedback: A Power Tool for Interactive Content-Based Image Retrieval,' IEEE Transactions on Circuits and Video Technology, Vol. 8, No.5, pp, 644-655, 1998 https://doi.org/10.1109/76.718510
  2. Porkaew, K., Mehrotra, S. and Ortega, M., 'Query Reformulation for Content Based Multimedia Retrieval in MARS,' Technical Report TR-DB-99-03, University of California at Irvine, 1999
  3. Wu, Y., and Zhang, A., 'A Feature Re-weighting Approach for Relevance Feedback in Image Retrieval,' Proceedings of the IEEE 2002 International Conference on Image Processing, pp. 581-584, 2002 https://doi.org/10.1109/ICIP.2002.1040017
  4. Aggarwal, G., Ashwin, T. V., and Ghosal, S., 'An Image Retrieval System with Automatic Query Modification,' IEEE Transactions on Multimedia, Vol. 4, No.2, pp. 201-214, 2002 https://doi.org/10.1109/TMM.2002.1017734
  5. Ishikawa, Y., Subramanya, R., and Faloutsos, C., 'MindReader: Querying Databases Through Multiple Examples,' Proceedings of the 24th International Conference on Very Large Data Bases, pp. 218-227, 1998
  6. Kherfi, M.L., Ziou, D., and Bernardi, A., 'Combining Positive and Negative Examples in Relevance Feedback for Content-Based Image Retrieval,' Journal of Visual Communication and Image Representation, Vol. 14, No.4, pp. 428-457, 2003 https://doi.org/10.1016/S1047-3203(03)00043-9
  7. Mokhtarian, F., Abbasi, S., and Kittler, J., 'Robust and Efficient Shape Indexing through Curvature Scale Space,' Proceedings of the British Machine Vision Conference, pp. 53-62, 1996
  8. Huang, P.W. and Lee, C.H., 'Image Database Design Based on 9D-SPA Representation for Spatial Relations,' IEEE Transactions on Knowledge and Data Engineering, Vol. 16, No. 12, pp. 1486-1496, 2004 https://doi.org/10.1109/TKDE.2004.92
  9. Faloutsos, C., Flickner, M., Hafner, J, Niblack, W., Petkovic, D., and Equitz, W., 'Efficient and Effective Querying by Image Content,' Journal of Intelligent Information Systems, Vol. 3, No 3/4, pp 133-150, 1994 https://doi.org/10.1007/BF00962238
  10. Smith, J. R. and Chang, S. F., 'VisuaISEEk: A Fully Automated Content-Based Image Query System,' Proceedings of the 4th ACM International Conference on Multimedia, pp. 87-98, 1997 https://doi.org/10.1145/244130.244151
  11. Manjunath, B.S., Salembier, P., and Sikora, T., 'Introduction to MPEG-7: Multimedia Content Description Interface,' Wiley, 2002
  12. Hayter, A. J., 'Probability and Statistics for Engineers and Scientists,' Duxbury Press, 2002
  13. Kwon, Y. I., Park, H. H., Lee, S. L., and Chung, C. W., 'A Shape Feature Extraction for Complex Topographical Images,' Proceedings of the International Symposium on Remote Sensing, pp. 575-578, 2005
  14. Latecki, L. J., 'Shape Data for the MPEG-7 Core Experiment CE-Shape-1,' http://www.cis.temple.edu/~Iatecki/TestData/mpeg7shapeB.tar.gz, 2002