Privacy-preserving Proptech using Domain Adaptation in Metaverse

메타버스 내 원격 부동산 중계 시스템을 위한 부동산 매물 영상 내 민감정보 삭제 기술

본 논문은 메타버스 등 인공지능 연계 증강/가상현실 부동 중계 플랫폼에서 부동산 영상 기반 매물 소개 시스템 구축에서 사생활 및 개인정보가 영상에 담기게 될 수 있는 위험이 존재하기에 부동산 영상 내의 개인정보 및 민감 정보를 인공지능 기술을 기반으로 검출하여 삭제해주고 복원해주는 인공지능 기술 연구개발을 목표로 하였다. 한국형 부동산 내 민감 object 를 정의하고, 최신 인공지능 딥러닝 기술 기반 민감 object detection 알고리즘을 연구 개발하며, 영상에서 삭제된 부분은 인공지능 기술을 기반으로 물체가 없는 실제 공간영상으로 복원해주는 영상복원 기술도 연구 개발하였다. 한국형 부동산 환경 (영상 촬영 조도, 디스플레이 스타일, 주변 가구 배치 등)에 맞는 인공지능 모델 구축을 위하여, 자체적으로 한국 영상 database 구축 및 Transfer learning for target domain adaptation 을 진행하였다. 제안된 알고리즘은 일반적인 환경에서 98%의 정확도와 challenge 환경에서 (occlusion 빛 반사, 저조도 등) 81%의 정확도를 보였다. 본 기술은 Proptech 분야에서 주목받고 있는 메타버스 기반 온라인 중계 서비스 기술을 활성화하기 위하여 기획되었으며, 특히 메타버스 부동산 중계 플랫폼의 활성화를 위하여 사생활 보호 측면에서 필요한 중요 기술을 인공지능 기술을 활용하여 연구 개발하였다.