Hypernetwork Memory-Based Model for Infant's Language Learning

유아 언어학습에 대한 하이퍼망 메모리 기반 모델

  • 이지훈 (서울대학교 생물정보학협동과정) ;
  • 이은석 (서울대학교 인지과학협동과정) ;
  • 장병탁 (서울대학교 컴퓨터공학부)
  • Published : 2009.12.15

Abstract

One of the critical themes in the language acquisition is its exposure to linguistic environments. Linguistic environments, which interact with infants, include not only human beings such as its parents but also artificially crafted linguistic media as their functioning elements. An infant learns a language by exploring these extensive language environments around it. Based on such large linguistic data exposure, we propose a machine learning based method on the cognitive mechanism that simulate flexibly and appropriately infant's language learning. The infant's initial stage of language learning comes with sentence learning and creation, which can be simulated by exposing it to a language corpus. The core of the simulation is a memory-based learning model which has language hypernetwork structure. The language hypernetwork simulates developmental and progressive language learning using the structure of new data stream through making it representing of high level connection between language components possible. In this paper, we simulates an infant's gradual and developmental learning progress by training language hypernetwork gradually using 32,744 sentences extracted from video scripts of commercial animation movies for children.

유아들의 언어습득에 있어서 중요한 점 하나는 학습자에 대한 언어환경의 노출이다. 유아가 접하는 언어환경은 부모와 같은 인간뿐만 아니라 각종 미디어와 같은 인공적 환경도 포함되며, 유아는 이러한 방대한 언어환경을 탐색하면서 언어를 학습한다. 본 연구는 대용량의 언어 데이터 노출이 영향을 미치는 유아언어학습을 유연하고 적절하게 모사하는 인지적 기제에 따른 기계학습 방식을 제안한다. 유아의 초기 언어학습은 문장수준의 학습과 생성 같은 행동들이 수반되는데, 이는 언어 코퍼스에 대한 노출만으로 모사가 가능하다. 모사의 핵심은 언어 하이퍼망 구조를 가진 기억기반 학습모델이다. 언어 하이퍼망은 언어구성 요소들 간의 상위차원 관계 표상을 가능케 함으로써 새로운 데이터 스트림에 대해 유사구조의 적용과 이용을 도모하여 발달적이고 점진적인 학습을 모사한다. 본 연구에서는 11 개의 유아용 비디오로부터 추출한 문장 32744개를 언어 하이퍼망을 통한 점진적 학습을 수행하여 문장을 생성해 유아의 점진적, 발달적 학습을 모사하였다.

Keywords

References

  1. Marcus, G., Poverty of the stimulus arguments, Cambridge MA, MIT Press, pp.660-661, 1999
  2. Seidenberg, M. and MacDonald, M., A probabilistic constraints approach to language acquisition and processing, Cognitive Science, vol.23, pp.569-588, 1999 https://doi.org/10.1016/S0364-0213(99)00016-6
  3. Siskind, J., A computational study of cross-situ-ational techniques for learning word-to-meaning mappings, Ccognition, vol.61(1-2), pp.39-91, 1996 https://doi.org/10.1016/S0010-0277(96)00728-7
  4. Weng, J., A theory for mentally developing robots, In Second International Conference on Develop-ment and Learning, IEEE Computer Society Press, 2002 https://doi.org/10.1109/DEVLRN.2002.1011821
  5. Lungarella, M., Metta, G., Pfeifer, R., and Sandini, G., Developmental robotics: A Survey, Connection Science, vol.15(4) pp.151-190, 2003 https://doi.org/10.1080/09540090310001655110
  6. Oudeyer, P.-Y., Kaplan, F., and Hafner, V., Intrinsic motivation systems for autonomous mental development, IEEE Transactions on Evolutionary Computation, vol.11(2) pp.265-286, 2007 https://doi.org/10.1109/TEVC.2006.890271
  7. Zhang, B.-T. and Kim, J.-K., DNA hypernetworks for information storage and retrieval, Lecture Notes in Computer Science, DNA 12, vol.4287, pp.298-307, 2006
  8. Kim, S., Heo, M.-O., and Zhang, B-T., Text classifiers evolved on a simulated DNA computer, IEEE Congress on Evolutionary Computation, pp.9196-9202, 2006 https://doi.org/10.1109/CEC.2006.1688639
  9. Ha, J.-W., Eom, J.-H., Kim S.-C. and Zhang, B.-T., Evolutionary hypernetwork models for aptamer-based cardiovascular disease diagnosis, The Genetic and Evolutionary Computation Confer-ence, vol.4, pp.2709-2716, 2007 https://doi.org/10.1145/1274000.1274073
  10. Chomsky, N., Rules and Representations, Oxford: Basil Blackwell, 1980
  11. Kucera, H. & Francis, W., Computational analysis of present-day American English, Providence, RI: Brown University Press, 1967