융합신호처리학회논문지 (Journal of the Institute of Convergence Signal Processing)

한국융합신호처리학회 (The Korea Institute of Convergence Signal Processing)
권호 표지
DOI QR코드

DOI QR Code

아웃페인팅 기반 반려동물 자세 추정에 관한 예비 연구

A Pilot Study on Outpainting-powered Pet Pose Estimation

  • 이규빈 (선문대학교 정보통신공학과 인공지능 영상처리 연구실) ;
  • 이영찬 (선문대학교 정보통신공학과 인공지능 영상처리 연구실) ;
  • 유원상 (선문대학교 정보통신공학과 인공지능 영상처리 연구실)
  • Gyubin Lee (Artificial Intelligence and Image Processing Laboratory (AIIP Lab), Department of Information and Communication Engineering, Sun Moon University) ;
  • Youngchan Lee (Artificial Intelligence and Image Processing Laboratory (AIIP Lab), Department of Information and Communication Engineering, Sun Moon University) ;
  • Wonsang You (Artificial Intelligence and Image Processing Laboratory (AIIP Lab), Department of Information and Communication Engineering, Sun Moon University)
  • 투고 : 2023.03.14
  • 심사 : 2023.03.28
  • 발행 : 2023.03.31
PDF 다운로드
⟨ 이전 논문 다음 논문 ⟩

초록

최근 동물 행동 분석 및 건강관리 분야를 중심으로 딥러닝 기반 동물 자세 추정 기법에 대한 관심이 높아지고 있다. 그러나 기존 동물 자세 추정 기법은 영상에서 신체 부위가 가려지거나 존재하지 않을 경우 좋은 성능을 보이지 않는다. 특히 꼬리나 귀가 가려진 경우, 반려견의 행동 및 감정 분석의 성능에도 심각한 영향을 미친다. 본 논문에서는 이러한 다루기 힘든 문제를 해결하기 위해, 이미지 아웃페인팅 네트워크를 자세 추정 네트워크에 연결하여 이미지 외부에 존재하는 반려견의 신체를 복원한 확장된 이미지를 생성하여 반려견의 자세를 추정하는 단순하면서도 새로운 접근방법을 제안하였고, 제안된 방법의 실현가능성을 검토하는 예비 연구를 수행하였다. 이미지 아웃페인팅 모델로는 CE-GAN과 트랜스포머 기반의 BAT-Fill을 사용하였고, 자세 추정 모델로는 SimpleBaseline을 사용하였다. 실험 결과, 크롭된 입력 이미지에서 반려견의 자세를 추정하였을 때보다, BAT-Fill을 사용하여 아웃페인팅된 확장 이미지에서 반려견의 자세를 추정하였을 때 자세 추정의 성능이 향상되었다.

In recent years, there has been a growing interest in deep learning-based animal pose estimation, especially in the areas of animal behavior analysis and healthcare. However, existing animal pose estimation techniques do not perform well when body parts are occluded or not present. In particular, the occlusion of dog tail or ear might lead to a significant degradation of performance in pet behavior and emotion recognition. In this paper, to solve this intractable problem, we propose a simple yet novel framework for pet pose estimation where pet pose is predicted on an outpainted image where some body parts hidden outside the input image are reconstructed by the image inpainting network preceding the pose estimation network, and we performed a preliminary study to test the feasibility of the proposed approach. We assessed CE-GAN and BAT-Fill for image outpainting, and evaluated SimpleBaseline for pet pose estimation. Our experimental results show that pet pose estimation on outpainted images generated using BAT-Fill outperforms the existing methods of pose estimation on outpainting-less input image.

키워드

과제정보

본 연구는 2022년도 교육부의 재원으로 한국연구재단의 지원을 받아 수행된 기본연구(2022R1F1A1075204), 4단계 두뇌한국21 사업(4단계 BK21 사업) 및 지자체-대학 협력기반 지역혁신사업(2022RIS-004), 중소기업벤처부의 재원으로 수행된 2021년도 창업성장기술개발사업(S3228660)의 연구결과로 수행되었음.

참고문헌

  1. M. Chae, C. Lee, "Implementation of Prevention and Eradication System for Harmful Wild Animals Based on YOLO," The Journal of Korea Institute of Convergence Signal Processing, vol.23, no.3, pp. 137-142, 2022.
  2. P. Gao, X. Yang, R. Zhang, J. Y. Goulermas, Y. Geng, Y.Yan, K. Huang, (2023). "Generalised image outpainting with U-Transformer." Neural Networks, 162, pp.1-10. https://doi.org/10.1016/j.neunet.2023.02.021
  3. M., Sabini, G. Rusak, "Painting outside the box: Image outpainting with gans." arXiv arXiv:1808.08483, 2018
  4. Z. Yang, J. Dong, P. Liu, Y. Yang, S. Yan, "Very long natural scenery image prediction by outpainting," in Proc. IEEE/CVF, 2019, pp. 10561-10570.
  5. K.. Kim, Y. Yun, K.-W. Kang, K. Kong, S. Lee, S.-J. Kang, "Painting outside as inside: Edge guided image outpainting via bidirectional rearrangement with progressive step learning," in Proc. IEEE/CVF, 2021, pp. 2122-2130.
  6. C. Li, G. H. Lee, "From synthetic to real: Unsupervised domain adaptation for animal pose estimation," in Proc. IEEE/CVF, 2021, pp. 1482-1491.
  7. J. Cao, H. Tang, H. S. Fang, X. Shen, C. Lu, & Y. W. Tai,"Cross-domain adaptation for animal pose estimation," in Proc. IEEE/CVF, 2019, pp. 9498-9507.
  8. H. Russello, R. van der Tol, & G. Kootstra, (2022). "T-LEAP: Occlusion-robust pose estimation of walking cows using temporal information." Computers and Electronics in Agriculture, 192, 106559.
  9. H. Yu, Y. Xu, J. Zhang, W. Zhao, Z. Guan, & D. Tao,"Ap-10k: A benchmark for animal pose estimation in the wild,", NeurIPS 2021 Datasets and Benchmarks Track (Round 2), 2021.
  10. B. V. Hoorick, "Image outpainting and harmonization using generative adversarial networks" arXiv arXiv:1912. 10960, 2019.
  11. Y. Yu, F. Zhan, R. Wu, J. Pan, K. Cui, S. Lu, Miao, "Diverse image inpainting with bidirectional and autoregressive transformers." in Proc. ACM International Conference on Multimedia, 2021, pp. 69-78.
  12. B. Xiao, H. Wu, & Y. Wei. "Simple baselines for human pose estimation and tracking." in Proc. ECCV, 2018, pp. 466-481.