Journal of Platform Technology

ICT Platform Society (ICT플랫폼학회)
권호 표지

A Study on Design and Analysis of Method for MR-based 3D Biological Object Recognition and Matching

MR 기반 3차원 생체 객체 인식 및 정합을 위한 방법 설계와 해석 연구

  • 조진표 ((주)일렉콤) ;
  • 정용배 (한국폴리텍 VII 대학 스마트팩토리과)
  • Received : 2024.03.04
  • Accepted : 2024.04.09
  • Published : 2024.04.30
Download PDF
⟨ Previous Next ⟩

Abstract

The development of mixed reality (MR) technology has a great influence on the research and development of medical support equipment. In particular, it supports to respond effectively to emergencies occurring in the field. MR technology enables access to first aid and field support by combining virtual information with the real world so that users can see virtual objects in the real world. However, due to the nature of the equipment, there is a limitation in accurately matching virtual objects based on user vision. To improve these limitations, this paper proposes a 3D biometric object recognition and matching algorithm in the MR environment. As a result of the experiment, when a virtual object is rendered and visualized while equipped with an optical-based HMD from the user's side, it was possible to reduce the user's field of view error and eliminate the joint-loss phenomenon during skeleton recognition. The proposed method can reduce errors between the real user's field of view and the virtual image and provide a basis for reducing errors that occur in the process of virtual object recognition and matching. It is expected that this study will contribute to improving the accuracy of the telemedicine support system for first aid.

혼합 현실(MR : Mixed Reality) 기술의 발전은 의료 지원 장비 연구와 개발에 큰 영향을 주고 있다. 특히 현장에서 발생하는 응급 상황에 효과적으로 대응할 수 있도록 지원한다. MR 기술은 가상 정보를 실세계에 결합시켜 사용자가 실세계에서 가상 객체를 볼 수 있게 함으로써 응급 처치 및 현장 지원의 접근을 가능하게 한다. 그러나 장비의 특성 상 가상 객체를 사용자 시각 기준으로 정확히 일치시키는 것은 한계가 있다. 이러한 한계를 개선하기 위해 본 논문은 MR 환경에서의 3차원 생체 객체 인식 및 정합 알고리즘을 제안한다. 실험 결과, 사용자 측면에서 광학 기반 HMD를 장착한 상태에서 가상 오브젝트가 렌더링되어 가시화될 때 사용자의 시야인지 오차를 줄일 수 있었고 스켈레톤 인식 중 관절-Loss 현상을 없앨 수 있었다. 제안 방법은 실제 사용자 시야와 가상 이미지 사이의 오차를 줄이며, 가상 객체 인식 및 정합 과정에서 발생하는 오차를 감소시키는 기초를 제공할 수 있다. 본 연구를 활용하여 응급 처치를 위한 원격 의료 지원 시스템의 정확도를 개선하는 데 이바지할 것으로 기대된다.

Keywords

Acknowledgement

이 논문은 2020 년도 민군기술협력사업 (3 차원공간의 생체객체인식 및 정합 알고리즘 연구)의 지원으로 수행되었다.

References

  1. Rebol M, Rebol K, Krzysztof C, Hood C, Rutenberg A, Sikka N, et al. "Collaborative System Design of Mixed Reality Communication for Medical Training." Proceedings of the 56th Hawaii International Conference on System Sciences. 2023 Jan;418-427.
  2. Burstrom G, Persson O, Edstrom E, Elmi-Terander A. "Augmented Reality Navigation in Spine Surgery." Acta Neurochirurgica. 2021 Jan;163(3):843-852. https://doi.org/10.1007/s00701-021-04708-3
  3. Ryoma A, Ukei A, Hiraku H, Itsuo W, Takahashi T, Ishibashi T. "Augmented Reality Device for Preoperative Marking of Spine Surgery Can Improve the Accuracy of Level Identification." Spine Surg Relat Res. 2022 Nov;6(3):303-309. https://doi.org/10.22603/ssrr.2021-0168
  4. Antevski K, Girletti L, Bernardos CJ, de la Oliva A, Baranda J, Mangues-Bafalluy J. A "5G-Based eHealth Monitoring and Emergency Response System: Experience and Lessons Learned." IEEE Access. 2021;9:131420-131429. https://doi.org/10.1109/ACCESS.2021.3114593
  5. Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh(Carnegie Mellon University), "Realtime Multi-Person 2D Pose Estimation using Part Affinity",Computer Vision and Pattern Recognition,[v2] Fri, 14 Apr 2017
  6. M. Andriluka, S. Roth, and B. Schiele, "Monocular 3D pose estimation and tracking by detection.", In CVPR, 2010. 1
  7. Vijay Badrinarayanan, Alex Kendall, and Roberto Cipolla,"A deep convolutional encoder-decoder architecture for image segmentation.", IEEE TIP, 39(12):2481-2495.
  8. S. Johnson and M. Everingham, "Clustered pose and nonlinear appearance models for human pose estimation.", In BMVC, 2010. 1
  9. JRene Ranftl, Alexey Bochkovskiy, Vladlen Koltun, "Vision Transformers for Dense Prediction," IEEE International Conference on Computer Vision., 24 Mar 2021.
  10. Vincent Casser, Soeren Pirk, Reza Mahjourian, and Anelia Angelova, "Unsupervised learning of depth and ego-motion:A structured approach." In AAAI, 2019.
  11. Qian-Yi Zhou, Jaesik Park, and Vladlen Koltun. "Open3D: A modern library for 3D data processing". arXiv:1801.09847, 2018.
  12. E. Azimi, L. Qian, N. Navab, and P. Kazanzides."Alignment of the virtual scene to the 3D display space of a mixed reality head-mounted display". arXiv preprint arXiv:1703.05834, 2018.
  13. L. Qian, E. Azimi, P. Kazanzides, and N. Navab. "Comprehensive tracker based display calibration for holographic optical see-through headmounted display". arXiv preprint arXiv:1703.05834, 2017