Evolutionary Hypernetwork Model for Higher Order Pattern Recognition on Real-valued Feature Data without Discretization

이산화 과정을 배제한 실수 값 인자 데이터의 고차 패턴 분석을 위한 진화연산 기반 하이퍼네트워크 모델

  • 하정우 (서울대학교 전기컴퓨터공학부) ;
  • 장병탁 (서울대학교 전기컴퓨터공학부)
  • Published : 2010.02.15

Abstract

A hypernetwork is a generalized hypo-graph and a probabilistic graphical model based on evolutionary learning. Hypernetwork models have been applied to various domains including pattern recognition and bioinformatics. Nevertheless, conventional hypernetwork models have the limitation that they can manage data with categorical or discrete attibutes only since the learning method of hypernetworks is based on equality comparison of hyperedges with learned data. Therefore, real-valued data need to be discretized by preprocessing before learning with hypernetworks. However, discretization causes inevitable information loss and possible decrease of accuracy in pattern classification. To overcome this weakness, we propose a novel feature-wise L1-distance based method for real-valued attributes in learning hypernetwork models in this study. We show that the proposed model improves the classification accuracy compared with conventional hypernetworks and it shows competitive performance over other machine learning methods.

하이퍼네트워크는 하이퍼그래프의 일반화된 모델로 학습과정에 있어 진화적 개념을 도입한 확률 그래프 기반의 기계학습 알고리즘으로서 최근 들어 여러 다양한 분야에 응용되고 있다. 그러나 하이퍼네트워크 모델은 데이터와 모델을 구성하는 하이퍼에지 간의 동등비교를 기반으로 하는 학습과정의 특성상 데이터를 구성하는 인자들이 범주형인 경우에만 학습 및 모델링이 가능하고 실수 값으로 표현된 데이터를 학습하기 위해서는 이산화 등의 전처리가 선행되어야 한다는 한계점이 있다. 하지만 데이터 전처리에 있어 이산화 하는 과정은 필연적으로 정보손실이 발생할 수밖에 없기 때문에 이는 분류 예측 모델의 성능 저하를 유발하는 원인이 될 수 있다. 이러한 기존 하이퍼네트워크 모델의 한계점을 극복하기 위해 본 연구에서는 별도의 데이터 전처리 과정을 거치지 않고 실수 인자로 구성된 데이터의 패턴 학습이 가능한 개선된 하이퍼네트워크 모델을 제안한다. 여러 실험 결과를 통해 제안한 하이퍼네트워크 모델은 기존 하이퍼네트워크 모델에 비해 실수형 데이터에 대한 학습 및 분류 결과 성능이 향상되었을 뿐 아니라, 다른 여러기계학습 방법들에 비해서도 경쟁력 있는 성능이 나타남을 확인하였다.

Keywords

References

  1. Zhou, D., Huang, J., and Schoelkopf, B., "Learning with hypergraphs: Clustering, classification, and embedding," Advances in Neural Information Processing Systems (NIPS) 19. 2007.
  2. Zhang, B.-T., "Hypernetworks: A molecular evolutionary architecture for cognitive learning and memory," IEEE Computational Intelligence Magazine, 3(3), pp.49-63, 2008.
  3. Zhang, B.-T. and Kim, J.-K., "DNA hypernetworks for information storage and retrieval," Lecture Notes in Computer Science, DNA 12 (4287) pp. 298-307, 2006.
  4. Ha, J.-W., Eom, J.-H., Kim, S.-C., and Zhang, B.-T., "Evolutionary hypernetwork models for aptamer-based cardiovascular disease diagnosis," Workshop on Medical Applications of Genetic and Evolutionary Computation in GECCO 2007, pp. 2709-2716, 2007.
  5. Ha, J.-W., Jang J. H., Kang, D.-H., Jung, W. H., Kwon, J. S., and Zhang, B.-T., "Gender Classification with Cortical Thickness Measurement from Magnetic Resonance Imaging by Using a Feature Selection Method Based on Evolutionary Hypernetworks," 2009 IEEE International conference on Fuzzy Systems (FUZZ-IEEE 2009), pp. 41-46, 2009.
  6. Kim, J. -K. and Zhang, B. -T., "Evolving hypernetworks for pattern classification," IEEE Congress on Evolutionary Computation (CEC 2007), pp.1856-1862, 2007.
  7. Ha, J.-W., Kim, B.-H., Kim, H.-W., Yoon, W.C., Eom, J.-H., and Zhang, B.-T., "Text-to-image cross-modal retrieval of magazine articles based on higher-order pattern recall by hypernetworks," The 10th International Symposium on Advanced Intelligent Systems (ISIS 2009), pp.274-277, 2009.
  8. University of California, Irvine, UCI Machine Learning Repository, http://archive.ics.uci.edu/ml/.
  9. Jayasena, S. D. Aptamers: an emerging class of molecules that rival antibodies in diagnostics, Clinical Chemistry, 45(9), pp.1628.1650., 1999.
  10. Fayyad, U. M. and Irani, K. B., "Multi-Interval Discretization of Continuous-Valued Attributes for Classification Learning," Proceedings of the Thirteenth International Joint Conference on Artificial Intelligence, pp.1022-1027, 1993.
  11. University of Waikato, Waikato Environmental for Knowledge Analysis (WEKA) ver 3.6.1