Broadcasting and Media Magazine (방송과미디어)

The Korean Institute of Broadcast and Media Engineers (한국방송∙미디어공학회)
권호 표지

최신 자가 학습 기반의 인공지능 기술 동향

  • Published : 2022.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

본 고에서는 최근 컴퓨터 비전 분야에서 가장 활발히 연구되고 있는 분야 중에 하나인 자가 학습(Self-supervised Learning) 기술의 동향과 향후 방향성에 대해서 논의한다. 컴퓨터 비전 분야에서의 자가 학습 기술은 최근에 Contrastive Learning 기법을 활용하여 활발하게 연구되고 있는데, 이를 위한 좋은 Positive와 Negative를 어떻게 추출할까에 대한 고민으로 수많은 연구들이 진행되어 왔다. 본 고에서는 이러한 방향성에서 대표적인 몇 가지의 방법론에 대해서 논의하고 이의 한계점을 언급하며 컴퓨터 비전 분야에서 자가 학습 기법이 가야 할 방향성에 대해서 논의하고자 한다.

Keywords

References

  1. L.A. Gatys et al., Texture and art with deep neural networks, Neurobiology, 2017
  2. R. Geirhos et al., ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness, ICLR 2019
  3. J. Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, NAACL, 2019
  4. Misra and Maaten, Self-Supervised Learning of Pretext-Invariant Representations, ArXiv, 2020
  5. Dosovitskiy et al., Discriminative Unsupervised Feaature Learning with Exemplar Convolutional Neural Networks, NIPS, 2014
  6. Doersch et al., Unsupervised Visual Representation Learning by Context Prediction, ICCV, 2015
  7. Norrozi et al., Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles, ECCV, 2016
  8. Gidaris et al., Unsupervised Representation Learning by Predicting Image Rotations, ICLR, 2018
  9. Zhang et al., Colorful Image Colorization, ECCV, 2016
  10. Pathak et al., Context Encoders: Feature Learning by Inpainting, CVPR, 2016
  11. Chen et al., A Simple Framework for Contrastive Learning of Visual Representations, ICML, 2020
  12. Z. Wu et al., Unsupervised Feature Learning via Non-Parametric Instance Discrimination, CVPR, 2018
  13. I. Misra et al., Self-Supervised Learning of Pretext-Invariant Representations, CVPR, 2020
  14. K. He et al., Momentum Contrast for Unsupervised Visual Representation Learning, CVPR, 2020
  15. J. B. Grill et al., Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning, NeurIPS, 2020
  16. M. Caron et al., SwAV: Unsupervised Learning of Visual Features by Contrasting Cluster Assignments, NeurIPS, 2020
  17. X. Chen and K. He, Exploring Simple Siamese Representation Learning, CVPR, 2021
  18. S. Atito et al., SiT: Self-Supervised Vision Transformer, ArXiv, 2021
  19. M. Caron et al., Emerging Properties in Self-Supervised Vision Transformers, ArXiv, 2021
  20. H. Bao et al., BEIT: BERT Pre-Training of Image Transformers, ICCV, 2021
  21. K. He et al., Masked Autoencoders Are Scalable Vision Learners, ICCV, 2021