DOI QR코드

DOI QR Code

Input Variables Selection of Artificial Neural Network Using Mutual Information

상호정보량 기법을 적용한 인공신경망 입력자료의 선정

  • Han, Kwang-Hee (School of Civil and Environmental Engineering, Yonsei Univ.) ;
  • Ryu, Yong-Jun (School of Civil and Environmental Engineering, Yonsei Univ.) ;
  • Kim, Tae-Soon (School of Civil and Environmental Engineering, Yonsei Univ.) ;
  • Heo, Jun-Haeng (School of Civil and Environmental Engineering, Yonsei Univ.)
  • 한광희 (연세대학교 대학원 토목공학과) ;
  • 류용준 (연세대학교 대학원 토목공학과) ;
  • 김태순 (연세대학교 대학원 토목공학과 사회환경시스템공학부) ;
  • 허준행 (연세대학교 사회환경시스템공학부 토목환경공학과)
  • Published : 2010.01.31

Abstract

Input variable selection is one of the various techniques for improving the performance of artificial neural network. In this study, mutual information is applied for input variable selection technique instead of correlation coefficient that is widely used. Among 152 variables of RDAPS (Regional Data Assimilation and Prediction System) output results, input variables for artificial neural network are chosen by computing mutual information between rainfall records and RDAPS' variables. At first the rainfall forecast variable of RDAPS result, namely APCP, is included as input variable and the other input variables are selected according to the rank of mutual information and correlation coefficient. The input variables using mutual information are usually those variables about wind velocity such as D300, U925, etc. Several statistical error estimates show that the result from mutual information is generally more accurate than those from the previous research and correlation coefficient. In addition, the artificial neural network using input variables computed by mutual information can effectively reduce the relative errors corresponding to the high rainfall events.

본 연구는 인공신경망의 성능을 향상시키기 위한 여러 가지 방법들 중의 하나인 입력변수 선정기법에 관한 연구로서, 일반적으로 널리 사용되고 있는 상관계수를 이용한 입력변수 선정기법 외에 상호정보량을 활용한 방법을 적용하여 인공신경망의 성능을 향상시키고자 하였다. 대상자료는 기상청에서 제공하는 RDAPS자료의 152개 출력값으로 지상강우량의 예측값인 APCP를 포함하고 있으며, 강우관측값간의 상호정보량을 구해 가장 영향력이 큰 변수를 입력변수로 사용하였다. 기존연구결과, 그리고 상관계수만을 이용해서 입력변수를 선정한 결과와 비교해볼 때, 상호정보량을 적용한 경우 입력변수는 주로 바람과 관련된 변수들이 선정되었으며, 평균제곱근오차, 평균제곱근상대오차, 그룹별로 구분한 경우의 절대오차, 그리고 구간별로 구분한 경우의 상대오차를 비교한 경과 상호정보량을 이용한 입력변수 선정방법의 정확도가 전반적으로 높은 것으로 나타났으며, 특히 강우량이 상대적으로 큰 경우의 오차를 많이 감소시킬 수 있는 것으로 나타났다.

Keywords

References

  1. 강부식, 이봉기 (2008). “가강수량과 인공신경망을 이용한 중규모수치예보의 강수확률예측 개선기법.” 한국수자원학회학술발표회논문집, 한국수자원학회, pp. 1027-1031.
  2. 김광섭 (2006). “상층기상자료와 신경망기법을 이용한 면적강우 예측.” 한국수자원학회논문집, 한국수자원학회, Vol. 39, No. 8, pp. 717-726. https://doi.org/10.3741/JKWRA.2006.39.8.717
  3. 신주영, 최지안, 정창삼, 허준행 (2008). “인공신경망을 이용한 RDAPS 강수량 예측 정확도 향상.” 한국수자원학회학술발표회논문집, 한국수자원학회, pp. 1013-1017.
  4. ASCE Task Committee on Application of Artificial Neural Networks in Hydrology (2000). “Artificial neural networks in hydrology. II: hydrologic applications.” Journal of Hydrologic Engineering, Vol. 5, No. 2, pp. 124-137. https://doi.org/10.1061/(ASCE)1084-0699(2000)5:2(124)
  5. Bishop, C. M. (1995), Neural networks for pattern recognition, Oxford. pp. 140-148.
  6. Cover, T. M. and Thomas, J. A. (2006), Elements of information theory, Wiley-Interscience.
  7. Hall, T., Brooks, H. E. and Doswell, C. A. III (1999), “Precipitation forecasting using a neural network.” Weather and forecasting, Vol. 14, No. 12, pp. 338-345. https://doi.org/10.1175/1520-0434(1999)014<0338:PFUANN>2.0.CO;2
  8. Haykin, S. (1999), Neural Networks a comprehensive foundation, Prentice Hall, Inc.
  9. Kwak, N. J. and Choi, C. H. (2002), “Input Feature Selection by Mutual Information Based on Parzen Window.” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 12, pp. 1667-1671 https://doi.org/10.1109/TPAMI.2002.1114861
  10. Kwak, N. J. and Choi, C. H. (2002), “Input feature selection for classification problems.” IEEE Transactions on Neural Networks, Vol. 13, No. 1, pp. 143-159. https://doi.org/10.1109/72.977291
  11. May, R. J., Maier, H. R., Dandy, G. C. and Fernando, T. M. K. G. (2008), “Non-linear variable selection for artificial neural networks using partial mutual information.” Environmental Modelling & Software, Vol. 23, No. 10-11, pp. 1312-1326. https://doi.org/10.1016/j.envsoft.2008.03.007
  12. Peng, H., Long, F. and Ding, C. (2005), “Feature Selection Based on Mutual Information: Criteria of Max-Dependency, Max-Relevance, and Min-Redundancy.” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 27, No. 8, pp. 1226-1238. https://doi.org/10.1109/TPAMI.2005.159
  13. Shannon, C. E. (1949), A Mathematical Theory of Communication. University of Illinois Press, Urbana, IL.

Cited by

  1. Estimation of river discharge using satellite-derived flow signals and artificial neural network model: application to imjin river vol.49, pp.7, 2016, https://doi.org/10.3741/JKWRA.2016.49.7.589